Traduit de l’original anglais. Les chiffres et les sources sont inchangés. Lire l’original en anglais
UK Department for Transport
L’outil d’analyse de consultations du Department for Transport britannique : 90 % de rappel des thèmes en pilotes réels, 75 % sans relecture
Le Department for Transport et l’Alan Turing Institute ont construit un outil qui utilise l’IA pour repérer les thèmes dans les réponses aux consultations publiques et étiqueter chaque réponse, les agents relisant les thèmes. Dans des pilotes réels, ses thèmes de première passe atteignent 90 % de rappel par rapport à l’ensemble relu par des humains, contre environ 75 % lors d’un test en aveugle sans intervention humaine. Le ministère estime par ailleurs, sans l’avoir mesuré, des économies d’environ 50-70 %.
Chiffres clés
Repris tels quels des sources. Copiez n’importe quel chiffre avec sa citation.
90 %
Thèmes trouvés par l’outil qui correspondent aux thèmes validés par des humains dans les pilotes réels (rappel)2
0,93
Score d’étiquetage des thèmes (F1, 1 étant parfait) dans les pilotes réels, en comparant la première passe de l’outil au résultat ajusté par des humains2
plus de 92 %
Accord brut entre l’outil et les relecteurs humains sur l’étiquetage des thèmes, dans les deux protocoles d’évaluation2
75 %
Thèmes humains trouvés seul par l’outil, dans le test en aveugle sans relecture humaine (rappel)2
Ce que cela a demandé
Le problème
Le Department for Transport (DfT) mène environ 55 consultations par an. Chacune produit des réponses libres qu’il faut regrouper en thèmes et dénombrer. Le faire à la main est lent et coûteux, et pour les très grandes consultations, seul un échantillon est parfois lu.
Ce qu’ils ont construit
L’équipe IA et science des données du DfT et l’Alan Turing Institute ont construit le Consultation Analysis Tool (CAT). Il fonctionne en deux étapes. Un groupe de grands modèles de langage (des systèmes d’IA qui lisent et écrivent du texte) propose les principaux thèmes et de rares « golden insights » à partir des réponses. Une fois ces thèmes relus par des agents, les modèles étiquettent chaque réponse avec les thèmes qu’elle mentionne. La version évaluée, la v1.0, utilise la famille de modèles Gemini de Google.
Comment ils s’y sont pris
Le développement a fait suite aux recherches menées en 2023 par le DfT sur l’opinion du public quant à l’usage de l’IA pour les consultations, qui demandait une supervision humaine. Des agents relisent un échantillon aléatoire de réponses et ajustent les thèmes de l’IA avant l’étape d’étiquetage. L’équipe a testé l’outil de deux façons : un test en aveugle sur 11 questions face à des références établies par des humains, et des pilotes réels dans lesquels des analystes ont relu les résultats de l’outil, la sortie d’origine étant comparée à leur version finale. À la date du rapport, il avait servi pour quatre consultations, appels à contributions et appels à idées, plus une autre où les agents n’ont fait que recouper ses thèmes.
Résultats
Dans les pilotes réels, les thèmes de première passe de l’outil atteignent 90 % de rappel par rapport à l’ensemble finalement validé par les agents, et son étiquetage obtient 0,93 de F1 face au résultat ajusté par des humains, avec plus de 92 % d’accord brut avec les humains. Dans le test en aveugle, le rappel est d’environ 75 % et le F1 d’étiquetage de 0,75. Chaque réponse est traitée, et non un échantillon. Par ailleurs, le DfT estime, sans l’avoir mesuré, que l’outil économise environ 50-70 % du coût et du temps d’une consultation de taille moyenne, et environ 15 000 heures à ce jour.
Ce qui a mal tourné
Sans relecture humaine, l’outil retrouve environ 75 % des thèmes humains, et la précision varie selon les jeux de données. Les relecteurs ont rencontré des thèmes qui se chevauchent et quelques lectures erronées du sentiment ; le ministère maintient donc la relecture humaine des thèmes.
Tous les chiffres publiés
| Indicateur | Chiffre | Citation |
|---|---|---|
| Thèmes trouvés par l’outil qui correspondent aux thèmes validés par des humains dans les pilotes réels (rappel) | 90 %2 | |
| Score d’étiquetage des thèmes (F1, 1 étant parfait) dans les pilotes réels, en comparant la première passe de l’outil au résultat ajusté par des humains | 0,932 | |
| Accord brut entre l’outil et les relecteurs humains sur l’étiquetage des thèmes, dans les deux protocoles d’évaluation | plus de 92 %2 | |
| Thèmes humains trouvés seul par l’outil, dans le test en aveugle sans relecture humaine (rappel) | 75 %2 | |
| Score d’étiquetage des thèmes (F1) dans le test en aveugle, où des humains avaient créé les thèmes | 0,752 | |
| Réponses analysées dans les pilotes réels à ce jour | 200 0002 | |
| Économie estimée sur l’ensemble du coût et du temps d’une consultation de taille moyenne (estimation du ministère) | environ 50-70 %2 | |
| Travail économisé à ce jour par rapport à une analyse entièrement humaine (estimation du ministère) | environ 15 000 heures2 |
Enseignements pour votre projet
Gardez une personne aux commandes des thèmes. Le rappel de l’outil en aveugle était de 75 %, et passait à 90 % après relecture humaine, ce qui, selon l’équipe, justifie de maintenir la relecture.
Testez deux fois : face à une référence humaine tenue cachée, puis en usage réel. Les deux résultats (0,75 et 0,93 de F1) racontent des histoires très différentes ; publiez-les tous les deux.
Planifiez l’effort de relecture par échantillonnage. Le DfT a conçu une méthode statistique pour estimer combien de réponses les relecteurs doivent lire pour être sûrs à environ 95 % qu’aucun thème principal n’est manqué.
Vérifiez les biais, pas seulement la précision. L’équipe a testé la précision selon les groupes démographiques et n’a trouvé aucune preuve de différences systématiques.
Prévoyez les coûts fixes. La relecture, la conception de l’enquête, la gestion de projet et la rédaction du rapport demeurent, de sorte que les économies augmentent avec la taille de la consultation.
Réserves
- Le Department for Transport, qui a coconstruit l’outil avec l’Alan Turing Institute, a rédigé et publié l’évaluation. Elle n’est pas indépendante.
- L’économie de 50-70 % et les 15 000 heures sont des estimations du ministère fondées sur des hypothèses concernant les coûts d’enquête et les retours de chercheurs sociaux, et non des économies mesurées. Le rapport projette aussi des économies de 1,5 à 4 millions de livres par an en cas de généralisation, ce qui n’est pas comptabilisé comme un résultat ici.
- Les scores des pilotes réels comparent l’outil à des humains qui ont d’abord vu le résultat de l’outil puis l’ont ajusté ; ils paraissent donc vraisemblablement meilleurs que ceux du test en aveugle (75 % de rappel, 0,75 de F1). Les 90 % de rappel signifient donc que les thèmes de l’outil ont largement survécu à la relecture humaine, et non qu’il a égalé une analyse humaine indépendante.
- La précision a beaucoup varié selon les jeux de données : le F1 sur les thèmes principaux allait de 0,61 à 1 selon la question dans les pilotes réels. Les utilisateurs ont aussi signalé des thèmes qui se chevauchent et quelques erreurs de lecture du sentiment.
- La satisfaction des utilisateurs repose sur 15 réponses à l’enquête. Le rapport indique que les mises à niveau des modèles et les améliorations de méthode expliquent probablement les meilleurs scores sur certains jeux de données.
- Le modèle n’est désigné que comme la famille Google Gemini ; d’autres modèles ont été testés pendant le développement. La date de déploiement est la date de publication du rapport, faute de date de mise en service.
- Il s’agit d’un outil différent de l’outil Consult construit par le DSIT et l’Incubator for AI, qui fait l’objet de son propre cas dans la bibliothèque.
Sources
- AI Consultation Analysis Tool evaluation
Department for Transport, GOV.UK · 2025-12-23 · Document réglementaire · gov.uk
- AI Consultation Analysis Tool (CAT) v1.0 Evaluation
Department for Transport / The Alan Turing Institute · 2025-12-23 · Article de recherche · assets.publishing.service.gov.uk
Résumé dans nos propres mots à partir des sources ci-dessus. Une erreur ? Consultez les corrections.