Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
UK Home Office
Brytyjskie Home Office pilotuje streszczenia rozmów azylowych tworzone przez AI i mierzy 23 minuty oszczędności na sprawę
Brytyjskie Home Office pilotowało narzędzie oparte na dużym modelu językowym, które streszcza transkrypcje rozmów azylowych dla osób podejmujących decyzje, z grupą porównawczą koleżanek i kolegów pracujących po staremu. Użytkownicy z grupy testowej przeglądali transkrypcje średnio o 23 minuty szybciej, ale 9 % streszczeń uznano za niedokładne lub niepełne i wycofano z pilotażu.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
23
minuty
Średni czas zaoszczędzony na przeglądzie transkrypcji rozmowy, grupa testowa wobec grupy porównawczej (pilotaż narzędzia do streszczeń)1
32 %
Odsetek zaoszczędzonego czasu przeglądu transkrypcji, grupa testowa wobec grupy porównawczej1
9 %
Streszczenia uznane przez specjalistów technicznych za niedokładne lub niepełne i wycofane z pilotażu1
23 %
Użytkownicy streszczeń, którzy zadeklarowali, że nie mają pełnego zaufania do informacji w streszczeniu1
Ile to kosztowało
Koszt, wielkość zespołu i harmonogram nie zostały ujawnione w źródłach.
Problem
Osoby podejmujące decyzje azylowe spędzają dużą część każdej sprawy na czytaniu transkrypcji rozmów, które mogą liczyć 50 stron lub więcej. Ponowne wejście w sprawę zwiększa i tak duże obciążenie umysłowe, a Home Office chciało sprawdzić, czy narzędzie AI skróci ten etap bez osłabiania decyzji.
Co zbudowano
Narzędzie Asylum Case Summarisation używa dużego modelu językowego, systemu AI, który czyta i pisze tekst, aby zamienić istniejącą transkrypcję rozmowy w krótkie streszczenie. Jest pomocą. Osoba decydująca nie może za jego pomocą rozstrzygnąć sprawy, a pełna transkrypcja pozostaje dostępna. Drugie narzędzie, Asylum Policy Search, czyli interfejs czatu do krajowych not politycznych, pilotowano osobno, w innych jednostkach; ten przypadek dotyczy wyłącznie narzędzia do streszczeń.
Jak to zrobiono
Home Office przeprowadziło pilotaż streszczeń w dwóch jednostkach decyzyjnych, z grupą testową i grupą porównawczą pracującą po staremu. Pierwsza faza trwała osiem tygodni, w maju i czerwcu 2024 r., i porównała 60 osób korzystających z narzędzia z 15 pracującymi po staremu. Druga trwała osiem tygodni, we wrześniu i październiku 2024 r., i porównała 45 użytkowników z 15. Wszyscy rejestrowali każdą sprawę, co dało 334 sprawy testowe i 95 porównawczych. Specjaliści techniczni sprawdzali każde streszczenie przed użyciem. Zespół prowadził też ankiety i wywiady oraz pobierał próby decyzji do kontroli jakości.
Wyniki
Osoby korzystające z narzędzia przechodziły przez transkrypcje średnio o 23 minuty szybciej niż grupa porównawcza, czyli oszczędzały 32 %. Próba decyzji wykazała w obu grupach podobny odsetek utrzymanych decyzji, więc w tej kontroli narzędzie ani nie pomogło, ani nie zaszkodziło jakości. Specjaliści techniczni uznali 9 % streszczeń za niedokładne lub niepełne, a te sprawy poszły zwykłą ścieżką. Wśród użytkowników streszczeń 23 % nie miało do nich pełnego zaufania.
Co poszło nie tak
Główne słabości dotyczyły dokładności i śledzalności. Streszczenia, które nie przeszły kontroli specjalistów (9 %), były głównym problemem z dokładnością, a użytkownicy chcieli też odesłań do transkrypcji. Raport mówi, że te ograniczenia należy usunąć przed jakimkolwiek pełnym wdrożeniem.
Wszystkie zgłoszone liczby
| Miara | Liczba | Przypis |
|---|---|---|
| Średni czas zaoszczędzony na przeglądzie transkrypcji rozmowy, grupa testowa wobec grupy porównawczej (pilotaż narzędzia do streszczeń) | 23 minuty1 | |
| Odsetek zaoszczędzonego czasu przeglądu transkrypcji, grupa testowa wobec grupy porównawczej | 32 %1 | |
| Streszczenia uznane przez specjalistów technicznych za niedokładne lub niepełne i wycofane z pilotażu | 9 %1 | |
| Użytkownicy streszczeń, którzy zadeklarowali, że nie mają pełnego zaufania do informacji w streszczeniu | 23 %1 | |
| Ankietowani, którzy uznali, że streszczenie pomogło im szybko zrozumieć sprawę | 77 %1 |
Wnioski dla Twojego projektu
Warto testować wobec grupy porównawczej. Home Office rejestrowało sprawy zarówno grupy testowej, jak i porównawczej, więc oszczędność czasu jest różnicą między grupami, a nie tylko opinią.
Warto sprawdzać każdy wynik przed użyciem, dopóki narzędzie jest nowe. Specjaliści techniczni przeglądali wszystkie streszczenia, zanim zobaczyły je osoby podejmujące decyzje, i dzięki temu wychwycono te słabe.
Warto zostawić decyzję osobie odpowiedzialnej. Narzędzie zbudowano jako pomoc, która nie może samodzielnie rozstrzygnąć sprawy, a użytkownicy mówili, że nie wpływało na ich decyzje.
Warto projektować z myślą o śledzalności. Część rozmówców widziała niewielką oszczędność czasu, bo streszczenia nie odsyłały do miejsca w transkrypcji.
Zastrzeżenia
- Home Office oceniało własne narzędzia i opublikowało ocenę. Raport nazywa swoje ustalenia wskazówką z pilotaży na małą skalę i mówi, że pełne wdrożenie wymagałoby dalszej oceny.
- Wszystkie metody oceny opierają się na samodzielnych deklaracjach, a jednostki pilotażowe wybrano według dostępności, a nie po to, by były reprezentatywne.
- Raport nie podaje modelu. Open Rights Group, organizacja kampanijna na rzecz praw cyfrowych, twierdzi, że narzędzie używa GPT-4 od OpenAI przez Microsoft Azure, ale pochodzi to od organizacji, a nie ze strony Home Office.
- Open Rights Group ostro krytykuje te narzędzia i kwestionuje ich rzetelność; jej strona nosi datę 14 stycznia 2026 r. Powtarza liczby Home Office i nie dodaje własnych, więc wyniki opierają się wyłącznie na raporcie Home Office. Jej argumentów nie wykorzystano.
- Przyjęta data to początek pierwszej fazy pilotażu w maju 2024 r. Raport podaje fazy pilotażu od maja do czerwca oraz od września do października 2024 r.; narzędzie nie było wówczas w rutynowym użyciu.
- Ankieta z drugiej fazy miała tylko 6 odpowiedzi (13 %) i pominięto ją w analizie raportu. Kontrola jakości na próbie wykazała w obu grupach podobne odsetki utrzymanych decyzji.
Źródła
- Evaluation of AI trials in the asylum decision making process
GOV.UK (Home Office) · 2025-04-29 · Publikacja naukowa · gov.uk
- Automating the hostile environment: AI in the asylum decision making process
Open Rights Group · 2026-01-14 · Wiadomości · openrightsgroup.org
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.