Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
Tesisquare
Wieloagentowy potok Tesisquare przetwarza 97,0 % z 955 dokumentów dostawców bez rozwiązania awaryjnego
Tesisquare, firma programistyczna z Turynu, zbudowała potok, który sortuje, dzieli, odczytuje i sprawdza faktury dostawców, a ludzie weryfikują tylko niepewne przypadki. Szef AI informuje, że 97,0 % z 955 dokumentów produkcyjnych przeszło przez potok, a trafność w teście na 100 dokumentach wyniosła 98,5 %.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
97,0 %
Odsetek z 955 dokumentów produkcyjnych (przetworzonych do 21 stycznia 2026), które potok obsłużył od początku do końca; 926 dokumentów, podczas gdy 29 trafiło do starszych narzędzi OCR lub do ręcznego portalu internetowego1
98,5 %
Trafność na poziomie dokumentu (wszystkie wymagane pola poprawne) pełnego potoku z weryfikacją przez ludzi, na warstwowym podzbiorze 100 dokumentów produkcyjnych1
60,0 %
Trafność na poziomie dokumentu wariantu bazowego, który wysyłał każdy plik PDF prosto do modelu językowego, na tych samych 100 dokumentach1
17,5
punktu procentowego
Wzrost trafności po dodaniu etapu analizy (układ dokumentu zamieniony na tekst ustrukturyzowany) przed ekstrakcją, na tych samych 100 dokumentach1
Ile to kosztowało
Koszt, wielkość zespołu i harmonogram nie zostały ujawnione w źródłach.
Problem
Firmy, które otrzymują faktury od wielu dostawców, mierzą się ze stałym strumieniem dokumentów o różnych układach i w różnych językach. Ręczne wpisywanie danych jest powolne i podatne na błędy, a starsze narzędzia OCR (oprogramowanie zamieniające skany na tekst) często wymagają interwencji ludzi przy dużej części dokumentów. Autorzy obawiają się też, że model językowy działający samodzielnie może zmyślać wartości, co jest ryzykiem przy danych finansowych.
Co zbudowano
Tesisquare, firma programistyczna z Turynu, zbudowała potok pięciu wyspecjalizowanych etapów, zwanych agentami. Jeden rozpoznaje typ dokumentu i dostawcę, drugi dzieli pliki zbiorcze na pojedyncze faktury, trzeci zamienia każdą stronę na tekst ustrukturyzowany, czwarty używa modelu językowego do wydobycia pól, a piąty waliduje wynik. Dokumenty, co do których system ma wątpliwości, trafiają do osoby, na ekran pokazujący dokument obok wydobytych danych. Według artykułu na produkcji używany jest Mistral-Small-3.2, model open-weight (o otwartych wagach: jego pliki są opublikowane, więc firma może go uruchomić na własnych serwerach), a DeepSeek-OCR służy jako rozwiązanie awaryjne w okresach dużego obciążenia.
Jak to zrobiono
Etap ekstrakcji pracuje na tekście ustrukturyzowanym, a nie na surowych skanach, co według autorów zmniejsza o 35 % ilość tekstu, który model musi przeczytać. Etap walidacji sprawdza formaty i sumy, a wynik pewności decyduje, które dokumenty trafiają do weryfikatora; progi ustawia się zwykle między 80 % a 90 %. Gdy weryfikator poprawia pole, system zamienia poprawkę na zaktualizowane instrukcje dla modelu i stosuje je do podobnych dokumentów już czekających w kolejce, bez ponownego trenowania modelu. Zbiór produkcyjny obejmował ponad 50 dostawców oraz dokumenty po włosku, angielsku, niemiecku i francusku.
Wyniki
Z 955 dokumentów produkcyjnych przetworzonych do 21 stycznia 2026 926 (97,0 %) przeszło przez potok bez przejścia na starsze narzędzia lub ręczny portal. W teście na 100 dokumentach pobranych z produkcji pełny potok z weryfikacją przez ludzi osiągnął trafność 98,5 %, wobec 60,0 % dla prostego wariantu bazowego, który wysyła plik PDF do modelu. Najwięcej dał etap tekstu ustrukturyzowanego, 17,5 punktu procentowego. Weryfikacja oznaczonego dokumentu zajmowała około 45 sekund, wobec około 120 sekund przy w pełni ręcznej obsłudze.
Co warto powtórzyć
Warto traktować ludzi jako część projektu, a nie siatkę bezpieczeństwa. Kierujcie do nich tylko niepewne dokumenty, zapisujcie każdą poprawkę i mierzcie odsetek pozostający na ścieżce zautomatyzowanej osobno od trafności.
Wszystkie zgłoszone liczby
| Miara | Liczba | Przypis |
|---|---|---|
| Odsetek z 955 dokumentów produkcyjnych (przetworzonych do 21 stycznia 2026), które potok obsłużył od początku do końca; 926 dokumentów, podczas gdy 29 trafiło do starszych narzędzi OCR lub do ręcznego portalu internetowego | 97,0 %1 | |
| Trafność na poziomie dokumentu (wszystkie wymagane pola poprawne) pełnego potoku z weryfikacją przez ludzi, na warstwowym podzbiorze 100 dokumentów produkcyjnych | 98,5 %1 | |
| Trafność na poziomie dokumentu wariantu bazowego, który wysyłał każdy plik PDF prosto do modelu językowego, na tych samych 100 dokumentach | 60,0 %1 | |
| Wzrost trafności po dodaniu etapu analizy (układ dokumentu zamieniony na tekst ustrukturyzowany) przed ekstrakcją, na tych samych 100 dokumentach | 17,5 punktu procentowego1 | |
| Średni czas weryfikacji przez człowieka na oznaczony dokument w obecnym wdrożeniu, w porównaniu z w pełni ręcznym przetwarzaniem tych samych faktur | około 45 sekund (wobec około 120 sekund)1 | |
| Wynik F1 (łączna miara pominiętych i błędnych pól) modelu Mistral-Small-3.2 w porównaniu czterech modeli ekstrakcji przeprowadzonym przez autorów | 92,9 %1 |
Wnioski dla Twojego projektu
Przed modelem językowym warto ustawić etap odczytu układu dokumentu. W teście autorów zamiana każdej strony na tekst ustrukturyzowany podniosła trafność o 17,5 punktu procentowego, więcej niż jakikolwiek inny pojedynczy etap.
Warto pozwolić ludziom poprawiać wyniki i zwracać poprawki w postaci zaktualizowanych instrukcji. Autorzy robią to bez ponownego trenowania modelu, co utrzymuje niski koszt ulepszania.
Warto dodać proste kontrole arytmetyczne, takie jak suma częściowa plus podatek równa się suma całkowita, i kierować do ludzi tylko dokumenty o niskiej pewności lub te, które nie przechodzą kontroli. Autorzy ustawiają progi pewności zwykle na poziomie 80-90 %.
Warto zachować ścieżkę awaryjną bez AI. Nierozpoznane formaty i mocno pogorszone skany trafiały do starszych narzędzi OCR lub do ręcznego portalu, zamiast dawać niewiarygodne wyniki.
Warto spodziewać się zimnego startu przy nowych dostawcach. Autorzy radzą zacząć od intensywnej weryfikacji przez ludzi i zmniejszać ją w miarę gromadzenia poprawek.
Zastrzeżenia
- Wszystkie liczby pochodzą z preprintu szefa AI w Tesisquare i naukowca z Politecnico di Torino. Nie został niezależnie zbadany ani potwierdzony przez stronę trzecią, a nie podano, czy przeszedł recenzję naukową.
- Artykuł nie wymienia klienta końcowego, którego faktury przetwarzano, więc kontekstu wdrożenia nie można sprawdzić z zewnątrz.
- Artykuł nie podaje daty uruchomienia. Mówi, że dokumenty przetwarzano do stycznia 2026 (dane do 21 stycznia 2026), więc data wdrożenia jest podana tylko jako 2026.
- 97,0 % to odsetek dokumentów, które pozostały na ścieżce AI. To nie jest wskaźnik trafności. 29 dokumentów, które trafiły na ścieżki bez AI, pominięto w ocenie trafności.
- Trafność 98,5 % pochodzi z zaledwie 100 dokumentów (po 5 z każdej z 20 grup dostawców i typów dokumentów), czyli z małej próby, i jest wynikiem z uwzględnieniem weryfikacji przez ludzi. Przebieg wyłącznie automatyczny autorów na tych samych dokumentach dał 92,5 %.
- Artykuł prognozuje także spadek zatrudnienia w pełnym wymiarze o około 70 % w scenariuszu 100 000 faktur rocznie oraz oszczędności emisji, energii i wody. To scenariusze modelowe, a nie zmierzone wyniki, i nie są tu wykorzystane.
- Czasy weryfikacji 45 i 120 sekund podają autorzy dla obecnego wdrożenia, bez opisu sposobu pomiaru.
- Porównanie modeli oparto na własnym zbiorze testowym autorów. Artykuł mówi, że na produkcji używany jest Mistral-Small-3.2, a DeepSeek-OCR jako rozwiązanie awaryjne w okresach dużego obciążenia.
Źródła
- MADP: A Multi-Agent Pipeline for Sustainable Document Processing with Human-in-the-Loop
arXiv (Tesisquare Head of AI and Politecnico di Torino) · 2026-05-16 · Publikacja naukowa · arxiv.org
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.