Le Home Office britannique pilote des synthèses d’entretiens d’asile par IA et mesure un gain de 23 minutes par dossier

Le problème

Les décideurs en matière d’asile passent une grande partie de chaque dossier à lire des transcriptions d’entretiens, qui peuvent atteindre 50 pages ou plus. Se réapproprier un dossier alourdit une charge mentale déjà forte, et le Home Office voulait savoir si un outil d’IA pouvait raccourcir cette étape sans affaiblir la décision.

Ce qu’ils ont construit

L’outil Asylum Case Summarisation utilise un grand modèle de langage, un système d’IA qui lit et écrit du texte, pour transformer une transcription d’entretien existante en une courte synthèse. Il est conçu comme une aide. Un décideur ne peut pas s’en servir pour trancher un dossier, et la transcription complète reste disponible. Un second outil, Asylum Policy Search, une interface de discussion pour les notes de politique par pays, a été piloté séparément, dans d’autres unités ; ce cas ne porte que sur l’outil de synthèse.

Comment ils s’y sont pris

Le Home Office a mené le pilote de synthèse dans deux unités de décision, avec un groupe test et un groupe de comparaison travaillant comme d’habitude. La première phase a duré huit semaines, en mai et juin 2024, et comparait 60 décideurs utilisant l’outil à 15 travaillant comme d’habitude. La seconde a duré huit semaines, en septembre et octobre 2024, et comparait 45 utilisateurs à 15. Tous les participants consignaient chaque dossier, ce qui donne 334 dossiers test et 95 dossiers de comparaison. Des spécialistes techniques ont vérifié chaque synthèse avant usage. L’équipe a aussi mené des enquêtes et des entretiens, et examiné un échantillon de décisions pour en contrôler la qualité.

Résultats

Les décideurs utilisant l’outil ont parcouru les transcriptions 23 minutes plus vite en moyenne que le groupe de comparaison, soit un gain de 32 %. Un échantillon de décisions a montré une part similaire de décisions confirmées dans les deux groupes : sur ce contrôle, l’outil n’a donc ni aidé ni nui à la qualité. Les spécialistes techniques ont jugé 9 % des synthèses inexactes ou incomplètes, et ces dossiers ont suivi la procédure normale. Parmi les utilisateurs des synthèses, 23 % n’avaient pas pleinement confiance en elles.

Ce qui a mal tourné

Les principales faiblesses concernaient l’exactitude et la traçabilité. Les 9 % de synthèses écartées par les spécialistes constituaient le principal problème d’exactitude, et les utilisateurs voulaient aussi des renvois vers la transcription. Le rapport indique que ces limites devraient être corrigées avant tout déploiement complet.