Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
UK Department for Transport
Narzędzie do analizy konsultacji brytyjskiego Department for Transport: 90 % pełności (recall) tematów w pilotażach na żywo, 75 % bez przeglądu
Department for Transport i Alan Turing Institute zbudowały narzędzie, które za pomocą AI wyszukuje tematy w odpowiedziach na konsultacje publiczne i oznacza każdą odpowiedź, a urzędnicy przeglądają tematy. W pilotażach na żywo tematy z pierwszego przebiegu osiągnęły 90 % pełności (recall) względem zestawu sprawdzonego przez ludzi, wobec około 75 % w ślepym teście bez udziału człowieka. Departament szacuje osobno, ale nie zmierzył, oszczędności na poziomie około 50-70 %.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
90 %
Tematy znalezione przez narzędzie, które odpowiadały tematom zatwierdzonym przez ludzi w pilotażach na żywo (recall)2
0,93
Wynik oznaczania tematów (F1, gdzie 1 oznacza ideał) w pilotażach na żywo, porównujący pierwszy przebieg narzędzia z wynikiem skorygowanym przez ludzi2
ponad 92 %
Surowa zgodność między narzędziem a recenzentami w oznaczaniu tematów, w obu schematach oceny2
75 %
Tematy wskazane przez ludzi, które narzędzie znalazło samodzielnie, w ślepym teście bez przeglądu przez ludzi (recall)2
Ile to kosztowało
Problem
Department for Transport (DfT) prowadzi około 55 konsultacji rocznie. Każda daje odpowiedzi w wolnym tekście, które trzeba pogrupować w tematy i policzyć. Robienie tego ręcznie jest powolne i drogie, a przy bardzo dużych konsultacjach czasem czyta się tylko próbkę.
Co zbudowano
Zespół AI i nauki o danych DfT oraz Alan Turing Institute zbudowały Consultation Analysis Tool (CAT). Działa w dwóch krokach. Grupa dużych modeli językowych (systemów AI, które czytają i piszą tekst) proponuje na podstawie odpowiedzi główne tematy oraz rzadkie „golden insights”. Gdy urzędnicy przejrzą te tematy, modele oznaczają każdą odpowiedź tematami, które wymienia. Oceniana wersja, v1.0, korzysta z rodziny modeli Gemini firmy Google.
Jak to zrobiono
Prace rozwojowe poprzedziły badania DfT z 2023 r. nad nastawieniem społeczeństwa do używania AI w konsultacjach, w których domagano się nadzoru ludzkiego. Urzędnicy przeglądają losową próbkę odpowiedzi i korygują tematy AI przed krokiem oznaczania. Zespół testował narzędzie na dwa sposoby: ślepy test na 11 pytaniach względem wzorców stworzonych przez ludzi oraz pilotaże na żywo, w których analitycy przeglądali wynik narzędzia, a oryginalny wynik porównywano z ich wersją końcową. Do daty raportu użyto go w czterech konsultacjach, wezwaniach do składania dowodów i wezwaniach do zgłaszania pomysłów, oraz w jednej dodatkowej, w której urzędnicy jedynie weryfikowali jego tematy.
Wyniki
W pilotażach na żywo tematy z pierwszego przebiegu narzędzia osiągnęły 90 % recall względem zestawu ostatecznie zatwierdzonego przez urzędników, a oznaczanie uzyskało 0,93 F1 względem wyniku skorygowanego przez ludzi, przy ponad 92 % surowej zgodności z ludźmi. W ślepym teście recall wyniósł około 75 %, a F1 oznaczania 0,75. Przetwarzana jest każda odpowiedź, a nie próbka. Osobno DfT szacuje, bez pomiaru, że narzędzie oszczędza około 50-70 % kosztu i czasu konsultacji średniej wielkości, a dotychczas około 15 000 godzin.
Co poszło nie tak
Bez przeglądu przez ludzi narzędzie znajdowało około 75 % tematów wskazanych przez ludzi, a dokładność różniła się w zależności od zbioru danych. Recenzenci natrafiali na nakładające się tematy i część błędnych odczytów nastrojów, więc departament utrzymuje przegląd tematów przez ludzi.
Wszystkie zgłoszone liczby
| Miara | Liczba | Przypis |
|---|---|---|
| Tematy znalezione przez narzędzie, które odpowiadały tematom zatwierdzonym przez ludzi w pilotażach na żywo (recall) | 90 %2 | |
| Wynik oznaczania tematów (F1, gdzie 1 oznacza ideał) w pilotażach na żywo, porównujący pierwszy przebieg narzędzia z wynikiem skorygowanym przez ludzi | 0,932 | |
| Surowa zgodność między narzędziem a recenzentami w oznaczaniu tematów, w obu schematach oceny | ponad 92 %2 | |
| Tematy wskazane przez ludzi, które narzędzie znalazło samodzielnie, w ślepym teście bez przeglądu przez ludzi (recall) | 75 %2 | |
| Wynik oznaczania tematów (F1) w ślepym teście, w którym tematy stworzyli ludzie | 0,752 | |
| Odpowiedzi przeanalizowane dotychczas w pilotażach na żywo | 200 0002 | |
| Szacowana oszczędność całkowitego kosztu i czasu konsultacji średniej wielkości (szacunek departamentu) | około 50-70 %2 | |
| Szacowana dotychczas zaoszczędzona praca w porównaniu z pełną analizą ludzką (szacunek departamentu) | około 15 000 godzin2 |
Wnioski dla Twojego projektu
Warto zostawić człowieka za sterami przy tematach. Recall narzędzia w ślepym teście wynosił 75 %, a po przeglądzie przez ludzi wzrósł do 90 %, co zespół uznaje za powód utrzymania przeglądu.
Warto testować dwukrotnie: względem ukrytego wzorca ludzkiego, a potem w użyciu na żywo. Dwa wyniki (0,75 i 0,93 F1) opowiadają bardzo różne historie, więc warto opublikować oba.
Warto planować nakład pracy na przegląd metodą próbkowania. DfT opracował metodę statystyczną, która szacuje, ile odpowiedzi muszą przeczytać recenzenci, by mieć około 95 % pewności, że nie pominięto żadnego głównego tematu.
Warto sprawdzać stronniczość, a nie tylko dokładność. Zespół przetestował dokładność w różnych grupach demograficznych i nie znalazł dowodów na systematyczne różnice.
Warto uwzględnić koszty stałe. Przegląd, projekt ankiety, zarządzanie projektem i pisanie raportu pozostają, więc oszczędności rosną wraz z wielkością konsultacji.
Zastrzeżenia
- Department for Transport, który współtworzył narzędzie z Alan Turing Institute, napisał i opublikował ocenę. Nie jest ona niezależna.
- Oszczędność 50-70 % i 15 000 godzin to szacunki departamentu oparte na założeniach dotyczących kosztów ankiet i opinii badaczy społecznych, a nie zmierzone oszczędności. Raport prognozuje też oszczędności od 1,5 do 4 mln funtów rocznie przy skalowaniu, czego tutaj nie liczy się jako wyniku.
- Wyniki pilotaży na żywo porównują narzędzie z ludźmi, którzy najpierw zobaczyli jego wynik, a potem go skorygowali, więc prawdopodobnie wyglądają lepiej niż w ślepym teście (75 % recall, 0,75 F1). 90 % recall oznacza zatem, że tematy narzędzia w dużej mierze przetrwały przegląd przez ludzi, a nie że dorównało ono niezależnej analizie ludzkiej.
- Dokładność mocno różniła się między zbiorami danych: F1 dla głównych tematów wahał się od 0,61 do 1 w zależności od pytania w pilotażach na żywo. Użytkownicy zgłaszali też nakładające się tematy i część błędnie odczytanych nastrojów.
- Zadowolenie użytkowników opiera się na 15 odpowiedziach z ankiety. Raport mówi, że wyższe wyniki w niektórych zbiorach danych prawdopodobnie wyjaśniają aktualizacje modeli i ulepszenia metody.
- Model jest wskazany tylko jako rodzina Google Gemini; w trakcie rozwoju testowano inne modele. Data wdrożenia to data publikacji raportu, ponieważ nie podano daty uruchomienia.
- To inne narzędzie niż narzędzie Consult zbudowane przez DSIT i Incubator for AI, które ma własny przypadek w bibliotece.
Źródła
- AI Consultation Analysis Tool evaluation
Department for Transport, GOV.UK · 2025-12-23 · Dokument urzędowy · gov.uk
- AI Consultation Analysis Tool (CAT) v1.0 Evaluation
Department for Transport / The Alan Turing Institute · 2025-12-23 · Publikacja naukowa · assets.publishing.service.gov.uk
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.