Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
UK Home Office
Das britische Home Office pilotiert KI-Zusammenfassungen von Asylanhörungen und misst 23 Minuten Zeitersparnis pro Fall
Das britische Home Office hat ein Werkzeug auf Basis eines großen Sprachmodells pilotiert, das Anhörungsprotokolle in Asylverfahren für Entscheidende zusammenfasst, mit einer Vergleichsgruppe von Kolleginnen und Kollegen, die wie gewohnt arbeiteten. Die Testgruppe prüfte Protokolle im Schnitt 23 Minuten schneller, doch 9 % der Zusammenfassungen wurden als ungenau oder unvollständig beurteilt und aus dem Pilotprojekt genommen.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
23
Minuten
Durchschnittlich eingesparte Zeit beim Prüfen eines Anhörungsprotokolls, Testgruppe gegenüber Vergleichsgruppe (Pilotprojekt des Zusammenfassungswerkzeugs)1
32 %
Anteil der eingesparten Prüfzeit für Protokolle, Testgruppe gegenüber Vergleichsgruppe1
9 %
Zusammenfassungen, die von technischen Fachleuten als ungenau oder unvollständig beurteilt und aus dem Pilotprojekt genommen wurden1
23 %
Nutzende der Zusammenfassungen, die angaben, den Informationen der Zusammenfassung nicht voll zu vertrauen1
Was es erforderte
Kosten, Teamgröße und Zeitplan wurden in den Quellen nicht veröffentlicht.
Das Problem
Entscheidende in Asylverfahren verbringen einen großen Teil jedes Falls mit dem Lesen von Anhörungsprotokollen, die 50 Seiten oder mehr umfassen können. Das erneute Einarbeiten in einen Fall erhöht eine ohnehin hohe geistige Belastung, und das Home Office wollte prüfen, ob ein KI-Werkzeug diesen Schritt verkürzen kann, ohne die Entscheidung zu schwächen.
Was sie gebaut haben
Das Werkzeug Asylum Case Summarisation nutzt ein großes Sprachmodell, ein KI-System, das Text liest und schreibt, um ein vorhandenes Anhörungsprotokoll in eine kurze Zusammenfassung zu verwandeln. Es ist als Hilfe gedacht. Entscheidende können damit keinen Fall entscheiden, und das vollständige Protokoll bleibt verfügbar. Ein zweites Werkzeug, Asylum Policy Search, eine Chat-Oberfläche für Länderleitlinien, wurde getrennt in anderen Einheiten pilotiert; dieser Fall betrifft nur das Zusammenfassungswerkzeug.
Wie sie vorgegangen sind
Das Home Office führte das Pilotprojekt zur Zusammenfassung in zwei Entscheidungseinheiten durch, mit einer Testgruppe und einer Vergleichsgruppe, die wie gewohnt arbeitete. Phase eins dauerte acht Wochen, im Mai und Juni 2024, und verglich 60 Entscheidende mit Werkzeug mit 15, die wie gewohnt arbeiteten. Phase zwei dauerte acht Wochen, im September und Oktober 2024, und verglich 45 Nutzende mit 15. Alle erfassten jeden Fall, sodass 334 Testfälle und 95 Vergleichsfälle entstanden. Technische Fachleute prüften jede Zusammenfassung vor der Verwendung. Das Team führte außerdem Befragungen und Interviews durch und zog Stichproben von Entscheidungen zur Qualitätsprüfung.
Ergebnisse
Entscheidende mit dem Werkzeug arbeiteten Protokolle im Schnitt 23 Minuten schneller durch als die Vergleichsgruppe, eine Ersparnis von 32 %. Eine Stichprobe von Entscheidungen zeigte in beiden Gruppen einen ähnlichen Anteil bestätigter Entscheidungen; bei dieser Prüfung hat das Werkzeug die Qualität also weder verbessert noch verschlechtert. Technische Fachleute beurteilten 9 % der Zusammenfassungen als ungenau oder unvollständig, und diese Fälle liefen im normalen Verfahren. Unter den Nutzenden der Zusammenfassungen vertrauten 23 % ihnen nicht voll.
Was schiefgelaufen ist
Die größten Schwächen betrafen Genauigkeit und Nachvollziehbarkeit. Die 9 % der Zusammenfassungen, die die Prüfung der Fachleute nicht bestanden, waren das Hauptproblem bei der Genauigkeit, und die Nutzenden wünschten sich außerdem Verweise auf das Protokoll. Laut Bericht sollten diese Grenzen vor einer vollständigen Einführung behoben werden.
Alle berichteten Zahlen
| Messgröße | Wert | Quellenangabe |
|---|---|---|
| Durchschnittlich eingesparte Zeit beim Prüfen eines Anhörungsprotokolls, Testgruppe gegenüber Vergleichsgruppe (Pilotprojekt des Zusammenfassungswerkzeugs) | 23 Minuten1 | |
| Anteil der eingesparten Prüfzeit für Protokolle, Testgruppe gegenüber Vergleichsgruppe | 32 %1 | |
| Zusammenfassungen, die von technischen Fachleuten als ungenau oder unvollständig beurteilt und aus dem Pilotprojekt genommen wurden | 9 %1 | |
| Nutzende der Zusammenfassungen, die angaben, den Informationen der Zusammenfassung nicht voll zu vertrauen | 23 %1 | |
| Befragte, die fanden, die Zusammenfassung habe ihnen geholfen, den Fall schnell zu erfassen | 77 %1 |
Erkenntnisse für Ihr Projekt
Testen Sie gegen eine Vergleichsgruppe. Das Home Office hat die Fälle einer Test- und einer Vergleichsgruppe erfasst, sodass die Zeitersparnis ein Unterschied zwischen Gruppen ist und nicht nur eine Meinung.
Prüfen Sie jedes Ergebnis vor der Verwendung, solange das Werkzeug neu ist. Technische Fachleute prüften alle Zusammenfassungen, bevor die Entscheidenden sie sahen; so wurden die schwachen entdeckt.
Lassen Sie die Entscheidung bei der verantwortlichen Person. Das Werkzeug wurde als Hilfe gebaut, die einen Fall nicht allein entscheiden kann, und die Nutzenden sagten, es habe ihre Entscheidungen nicht beeinflusst.
Achten Sie beim Entwurf auf Nachvollziehbarkeit. Einige Befragte sahen kaum Zeitersparnis, weil die Zusammenfassungen nicht auf die jeweilige Stelle im Protokoll verwiesen.
Einschränkungen
- Das Home Office hat seine eigenen Werkzeuge bewertet und die Bewertung veröffentlicht. Der Bericht nennt seine Ergebnisse einen Hinweis aus kleinen Pilotprojekten und sagt, dass für eine vollständige Einführung weitere Bewertungen nötig wären.
- Alle Bewertungsmethoden beruhen auf Selbstauskünften, und die Pilot-Einheiten wurden nach Verfügbarkeit ausgewählt, nicht um repräsentativ zu sein.
- Der Bericht nennt das Modell nicht. Die Open Rights Group, eine Kampagnenorganisation für digitale Rechte, sagt, das Werkzeug nutze GPT-4 von OpenAI über Microsoft Azure; das stammt jedoch von der Organisation, nicht von der Seite des Home Office.
- Die Open Rights Group kritisiert die Werkzeuge scharf und bestreitet ihre Zuverlässigkeit; ihre Seite ist auf den 14. Januar 2026 datiert. Sie wiederholt die Zahlen des Home Office und fügt keine eigenen hinzu, die Ergebnisse stützen sich also allein auf den Bericht des Home Office. Auf ihre Argumente haben wir uns nicht gestützt.
- Als Datum gilt der Beginn der ersten Pilotphase im Mai 2024. Der Bericht nennt Pilotphasen von Mai bis Juni und von September bis Oktober 2024; das Werkzeug war zu dieser Zeit nicht im Regelbetrieb.
- Die Befragung der zweiten Phase hatte nur 6 Antworten (13 %) und wurde aus der Analyse des Berichts ausgeschlossen. Die Qualitätsprüfung an einer Stichprobe zeigte in beiden Gruppen ähnliche Anteile bestätigter Entscheidungen.
Quellen
- Evaluation of AI trials in the asylum decision making process
GOV.UK (Home Office) · 2025-04-29 · Forschungsarbeit · gov.uk
- Automating the hostile environment: AI in the asylum decision making process
Open Rights Group · 2026-01-14 · Nachrichten · openrightsgroup.org
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.