Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
UK Home Office
Britse Home Office test AI-samenvattingen van asielgesprekken en meet 23 minuten tijdwinst per dossier
Het Britse Home Office testte een tool op basis van een groot taalmodel die gespreksverslagen uit asielprocedures samenvat voor beslissers, met een vergelijkingsgroep van collega's die werkten zoals gewoonlijk. Gebruikers in de testgroep beoordeelden verslagen gemiddeld 23 minuten sneller, maar 9% van de samenvattingen werd onnauwkeurig of onvolledig bevonden en uit de pilot gehaald.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
23
minuten
Gemiddeld bespaarde tijd bij het beoordelen van een gespreksverslag, testgroep ten opzichte van vergelijkingsgroep (pilot van de samenvattingstool)1
32%
Aandeel bespaarde beoordelingstijd voor verslagen, testgroep ten opzichte van vergelijkingsgroep1
9%
Samenvattingen die door technisch specialisten onnauwkeurig of onvolledig werden bevonden en uit de pilot werden gehaald1
23%
Gebruikers van de samenvattingen die aangaven niet volledig te vertrouwen op de informatie in de samenvatting1
Wat het kostte
Kosten, teamgrootte en doorlooptijd zijn in de bronnen niet openbaar gemaakt.
Het probleem
Beslissers in asielzaken besteden een groot deel van elk dossier aan het lezen van gespreksverslagen, die 50 pagina's of meer kunnen beslaan. Opnieuw inlezen in een dossier vergroot een toch al hoge mentale belasting, en het Home Office wilde weten of een AI-tool die stap kon verkorten zonder de beslissing te verzwakken.
Wat ze bouwden
De tool Asylum Case Summarisation gebruikt een groot taalmodel, een AI-systeem dat tekst leest en schrijft, om een bestaand gespreksverslag om te zetten in een korte samenvatting. Hij is ontworpen als hulpmiddel. Een beslisser kan er geen dossier mee beslissen, en het volledige verslag blijft beschikbaar. Een tweede tool, Asylum Policy Search, een chatinterface voor landenbeleidsnota's, werd apart en in andere eenheden getest; deze case gaat alleen over de samenvattingstool.
Hoe ze het aanpakten
Het Home Office voerde de samenvattingspilot uit in twee beslissingseenheden, met een testgroep en een vergelijkingsgroep die werkte zoals gewoonlijk. Fase één duurde acht weken, in mei en juni 2024, en vergeleek 60 beslissers met de tool met 15 die werkten zoals gewoonlijk. Fase twee duurde acht weken, in september en oktober 2024, en vergeleek 45 gebruikers met 15. Iedereen legde elk dossier vast, wat 334 testdossiers en 95 vergelijkingsdossiers opleverde. Technisch specialisten controleerden elke samenvatting vóór gebruik. Het team hield ook enquêtes en interviews en nam steekproeven van beslissingen voor de kwaliteitscontrole.
Resultaten
Beslissers met de tool werkten verslagen gemiddeld 23 minuten sneller door dan de vergelijkingsgroep, een besparing van 32%. Een steekproef van beslissingen toonde in beide groepen een vergelijkbaar aandeel gehandhaafde beslissingen, dus bij die controle hielp noch schaadde de tool de kwaliteit. Technisch specialisten oordeelden dat 9% van de samenvattingen onnauwkeurig of onvolledig was, en die dossiers volgden de gewone procedure. Van de gebruikers van de samenvattingen had 23% niet volledig vertrouwen in de samenvattingen.
Wat er misging
De belangrijkste zwakke punten waren nauwkeurigheid en traceerbaarheid. De 9% samenvattingen die de controle van de specialisten niet doorstond, was het grootste nauwkeurigheidsprobleem, en gebruikers wilden ook verwijzingen terug naar het verslag. Het rapport zegt dat deze beperkingen moeten worden verholpen vóór een volledige uitrol.
Alle gemelde cijfers
| Maatstaf | Cijfer | Bronvermelding |
|---|---|---|
| Gemiddeld bespaarde tijd bij het beoordelen van een gespreksverslag, testgroep ten opzichte van vergelijkingsgroep (pilot van de samenvattingstool) | 23 minuten1 | |
| Aandeel bespaarde beoordelingstijd voor verslagen, testgroep ten opzichte van vergelijkingsgroep | 32%1 | |
| Samenvattingen die door technisch specialisten onnauwkeurig of onvolledig werden bevonden en uit de pilot werden gehaald | 9%1 | |
| Gebruikers van de samenvattingen die aangaven niet volledig te vertrouwen op de informatie in de samenvatting | 23%1 | |
| Respondenten die vonden dat de samenvatting hen hielp het dossier snel te begrijpen | 77%1 |
Lessen voor uw project
Test tegen een vergelijkingsgroep. Het Home Office legde de dossiers van zowel een test- als een vergelijkingsgroep vast, zodat de tijdwinst een verschil tussen groepen is en niet alleen een mening.
Controleer elk resultaat vóór gebruik zolang de tool nieuw is. Technisch specialisten beoordeelden alle samenvattingen voordat beslissers ze zagen, waardoor de zwakke werden opgespoord.
Laat de beslissing bij de verantwoordelijke persoon. De tool is gebouwd als hulpmiddel dat een dossier niet zelfstandig kan beslissen, en gebruikers zeiden dat hij hun beslissingen niet beïnvloedde.
Ontwerp voor traceerbaarheid. Sommige geïnterviewden zagen weinig tijdwinst omdat de samenvattingen niet terugverwezen naar de plek in het verslag.
Kanttekeningen
- Het Home Office evalueerde zijn eigen tools en publiceerde de evaluatie. Het rapport noemt de bevindingen een indicatie uit kleinschalige pilots en zegt dat een volledige uitrol verdere evaluatie vraagt.
- Alle evaluatiemethoden berusten op zelfrapportage, en de pilooteenheden zijn gekozen op beschikbaarheid, niet om representatief te zijn.
- Het rapport noemt het model niet. De Open Rights Group, een campagneorganisatie voor digitale rechten, zegt dat de tool GPT-4 van OpenAI via Microsoft Azure gebruikt, maar dat komt van de organisatie en niet van de pagina van het Home Office.
- De Open Rights Group bekritiseert de tools scherp en betwist hun betrouwbaarheid; haar pagina is gedateerd op 14 januari 2026. Ze herhaalt de cijfers van het Home Office en voegt er geen eigen toe, dus de resultaten rusten alleen op het rapport van het Home Office. We hebben niet op haar argumenten vertrouwd.
- De datum is de start van de eerste pilotfase in mei 2024. Het rapport noemt pilotfases van mei tot juni en van september tot oktober 2024; de tool was toen niet in reguliere dienst.
- De enquête van de tweede fase had slechts 6 reacties (13%) en werd buiten de analyse van het rapport gelaten. De kwaliteitscontrole op een steekproef toonde in beide groepen vergelijkbare aandelen gehandhaafde beslissingen.
Bronnen
- Evaluation of AI trials in the asylum decision making process
GOV.UK (Home Office) · 2025-04-29 · Onderzoeksrapport · gov.uk
- Automating the hostile environment: AI in the asylum decision making process
Open Rights Group · 2026-01-14 · Nieuws · openrightsgroup.org
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.