Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
UK Department for Science, Innovation and Technology
Narzędzie Consult rządu Wielkiej Brytanii porządkuje 2 000 odpowiedzi w konsultacjach i uzyskuje wynik F1 0,76 względem recenzentów-ludzi
Rząd Wielkiej Brytanii użył narzędzia Consult, części swojego zestawu narzędzi AI Humphrey, do pogrupowania w tematy odpowiedzi na konsultacje publiczne rządu Szkocji. Przetworzyło ono ponad 2 000 odpowiedzi na sześć pytań, a urzędnicy przejrzeli też ręcznie każdą odpowiedź. Departament podaje wynik F1 równy 0,76 i mówi, że narzędzie jest wciąż w fazie prób.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
ponad 2 000
Odpowiedzi w konsultacjach przeanalizowane w pierwszym użyciu produkcyjnym, na sześć pytań jakościowych1
0,76
Wynik F1, miara zgodności z recenzentami-ludźmi, którą departament nazywa „dobrą”1
Ile to kosztowało
Koszt, wielkość zespołu i harmonogram nie zostały ujawnione w źródłach.
Problem
Rządy prowadzą wiele konsultacji publicznych, a czytanie tysięcy odpowiedzi w wolnym tekście jest powolne. Rząd Wielkiej Brytanii mówi, że prowadzi około 500 konsultacji rocznie, a analiza często oznacza zlecanie jej kosztownym wykonawcom zewnętrznym. Przypisywanie odpowiedzi do tematów jest też subiektywne, bo recenzenci-ludzie nie zawsze się zgadzają.
Co zbudowano
Consult to narzędzie generatywnej AI, które rząd Wielkiej Brytanii opracował w ramach Humphrey, zestawu narzędzi AI mającego skrócić czas pracy administracyjnej urzędników. Wyszukuje główne tematy w odpowiedziach na konsultacje i przypisuje do nich każdą odpowiedź. Departament mówi, że urzędnicy zawsze będą mogli sprawdzić tematy i sortowanie za pomocą interaktywnego pulpitu.
Jak to zrobiono
Pierwszym użyciem produkcyjnym były konsultacje rządu Szkocji w sprawie regulacji niechirurgicznych zabiegów kosmetycznych, na przykład wypełniaczy ust i depilacji laserowej. Consult zaproponował tematy do każdego z sześciu pytań jakościowych. Eksperci rządu Szkocji sprawdzili je i dopracowali, po czym narzędzie przypisało ponad 2 000 odpowiedzi do tematów. Ponieważ było to pierwsze użycie produkcyjne, urzędnicy przejrzeli też ręcznie każdą odpowiedź i porównali oba wyniki.
Wyniki
Departament podaje wynik F1 równy 0,76 względem recenzentów-ludzi; jest to standardowa miara zgodności, którą nazywa dobrą. Mówi, że AI i recenzenci w większości się zgadzali, a tam, gdzie się różnili, ranking tematów prawie się nie zmieniał. Szkoccy urzędnicy powiedzieli, że wynik był użytecznym punktem wyjścia i zaoszczędził dużo czasu. Narzędzie pozostaje w fazie prób, a dalsza ewaluacja jest planowana przed decyzjami o wdrożeniu.
Wnioski dla Twojego projektu
Najpierw uruchomcie narzędzie równolegle z ludźmi. Eksperci rządu Szkocji przejrzeli ręcznie każdą odpowiedź, dzięki czemu zespół mógł zmierzyć, jak często AI i ludzie się zgadzali.
Zlećcie ekspertom sprawdzanie i dopracowywanie tematów zaproponowanych przez AI i zapewnijcie interaktywny pulpit, by urzędnicy mogli filtrować i weryfikować, jak posortowano odpowiedzi.
Podawajcie uzgodnioną miarę dokładności i publikujcie ewaluację. DSIT opublikował pełną ewaluację razem z ogłoszeniem.
Nie skalujcie deklaracji oszczędności, zanim zakończą się testy. Departament mówi, że przed decyzjami o wdrożeniu odbędzie się dalsza ewaluacja dokładności i wydajności.
Zastrzeżenia
- Głównym źródłem jest ogłoszenie departamentu, a narzędzie i miara pochodzą od samego rządu. Civil Service World, niezależny serwis, relacjonuje ogłoszenie, ale powtarza liczby departamentu, więc nie potwierdza ich niezależnie.
- Consult opisano jako będący w fazie prób. Departament mówi, że przed ostatecznymi decyzjami o wdrożeniu odbędzie się dalsza ewaluacja dokładności i wydajności.
- Komunikat prognozuje około 75 000 dni analiz i 20 milionów funtów kosztów personelu przy około 500 konsultacjach rocznie. To prognoza, a nie zmierzony wynik, i nie jest tu liczona jako rezultat.
- Komunikat mówi, że AI i recenzenci-ludzie w większości się zgadzali, a różnice miały znikomy wpływ na ranking tematów. Nie podaje oszczędności czasu dla tych konsultacji.
- Nie wymieniono żadnego modelu. Data wdrożenia to data ogłoszenia; źródła nie podają daty uruchomienia.
Źródła
- Government-built 'Humphrey' AI tool reviews responses to consultation for first time, in bid to save millions
GOV.UK · 2025-05-14 · Komunikat prasowy · gov.uk
- Civil service AI tool for consultation analysis passes first public test
Civil Service World · 2025-05-14 · Wiadomości · civilserviceworld.com
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.