L'Home Office britannico sperimenta riassunti IA dei colloqui di asilo e misura 23 minuti risparmiati per pratica

Il problema

Chi decide sulle domande di asilo dedica gran parte di ogni pratica alla lettura delle trascrizioni dei colloqui, che possono arrivare a 50 pagine o più. Rientrare in una pratica aggiunge carico mentale a un carico già elevato, e l'Home Office voleva verificare se uno strumento di IA potesse accorciare questo passaggio senza indebolire la decisione.

Cosa hanno costruito

Lo strumento Asylum Case Summarisation usa un modello linguistico di grandi dimensioni, un sistema di IA che legge e scrive testo, per trasformare una trascrizione di colloquio esistente in un breve riassunto. È pensato come un aiuto. Chi decide non può usarlo per decidere una pratica, e la trascrizione completa resta disponibile. Un secondo strumento, Asylum Policy Search, un'interfaccia di chat per le note di politica per paese, è stato sperimentato separatamente, in altre unità; questo caso riguarda solo lo strumento di riassunto.

Come ci sono riusciti

L'Home Office ha condotto il pilota di riassunto in due unità decisionali, con un gruppo di prova e un gruppo di confronto che lavorava come al solito. La prima fase è durata otto settimane, a maggio e giugno 2024, e ha confrontato 60 decisori che usavano lo strumento con 15 che lavoravano come al solito. La seconda è durata otto settimane, a settembre e ottobre 2024, e ha confrontato 45 utenti con 15. Tutti registravano ogni pratica, per un totale di 334 pratiche di prova e 95 di confronto. Specialisti tecnici hanno controllato ogni riassunto prima dell'uso. Il team ha anche condotto sondaggi e interviste e ha campionato le decisioni per verificarne la qualità.

Risultati

I decisori che usavano lo strumento hanno esaminato le trascrizioni in media 23 minuti più in fretta del gruppo di confronto, un risparmio del 32%. Un campione di decisioni ha mostrato una quota simile di decisioni confermate nei due gruppi, quindi in quel controllo lo strumento non ha né aiutato né danneggiato la qualità. Gli specialisti tecnici hanno giudicato inesatto o incompleto il 9% dei riassunti, e quelle pratiche hanno seguito il processo normale. Tra gli utenti dei riassunti, il 23% non aveva piena fiducia in essi.

Cosa è andato storto

I principali punti deboli sono stati l'accuratezza e la tracciabilità. Il 9% di riassunti che non ha superato il controllo degli specialisti è stato il principale problema di accuratezza, e gli utenti volevano anche rimandi alla trascrizione. Il rapporto dice che questi limiti andrebbero corretti prima di qualsiasi diffusione completa.