Traduit de l’original anglais. Les chiffres et les sources sont inchangés. Lire l’original en anglais
UK Department for Science, Innovation and Technology
L’outil Consult du gouvernement britannique classe 2 000 réponses à une consultation et obtient 0,76 face aux relecteurs humains
Le gouvernement britannique a utilisé Consult, un élément de sa boîte à outils d’IA Humphrey, pour regrouper en thèmes les réponses à une consultation publique du gouvernement écossais. L’outil a traité plus de 2 000 réponses sur six questions, tandis que des agents relisaient aussi chaque réponse à la main. Le ministère annonce un score F1 de 0,76 et précise que l’outil est encore en phase d’essai.
Chiffres clés
Repris tels quels des sources. Copiez n’importe quel chiffre avec sa citation.
plus de 2 000
Réponses à la consultation analysées lors du premier usage réel, sur six questions qualitatives1
0,76
Score F1, mesure de la concordance avec les relecteurs humains, que le ministère juge « bon »1
Ce que cela a demandé
Le coût, la taille de l’équipe et le calendrier ne sont pas communiqués dans les sources.
Le problème
Les gouvernements mènent de nombreuses consultations publiques, et lire des milliers de réponses en texte libre est long. Le gouvernement britannique dit en organiser environ 500 par an, et l’analyse passe souvent par des prestataires externes coûteux. Classer les réponses par thèmes est aussi subjectif, car les relecteurs humains ne sont pas toujours d’accord.
Ce qu’ils ont construit
Consult est un outil d’IA générative que le gouvernement britannique a développé au sein de Humphrey, un ensemble d’outils d’IA destiné à réduire le temps que les fonctionnaires passent sur l’administratif. Il repère les principaux thèmes des réponses à une consultation et classe chaque réponse dans ces thèmes. Le ministère affirme que les agents pourront toujours examiner les thèmes et le classement grâce à un tableau de bord interactif.
Comment ils s’y sont pris
Son premier usage réel a porté sur une consultation du gouvernement écossais sur la réglementation des actes esthétiques non chirurgicaux, par exemple les injections de comblement des lèvres et l’épilation au laser. Consult a proposé des thèmes pour chacune des six questions qualitatives. Des experts du gouvernement écossais les ont vérifiés et affinés, puis l’outil a classé plus de 2 000 réponses dans ces thèmes. Comme il s’agissait du premier essai réel, les agents ont aussi relu chaque réponse à la main et comparé les deux résultats.
Résultats
Le ministère annonce un score F1 de 0,76 par rapport aux relecteurs humains, une mesure courante de concordance qu’il juge bonne. Il indique que l’IA et les relecteurs étaient en grande partie d’accord, et que lorsqu’ils divergeaient, le classement des thèmes bougeait à peine. Les agents écossais ont estimé que le résultat constituait un bon point de départ et qu’il avait fait gagner beaucoup de temps. L’outil reste en phase d’essai, et de nouvelles évaluations sont prévues avant toute décision de généralisation.
Enseignements pour votre projet
Faites d’abord tourner l’outil en parallèle avec des personnes. Les experts du gouvernement écossais ont relu chaque réponse à la main, ce qui a permis de mesurer la fréquence d’accord entre l’IA et les humains.
Faites vérifier et affiner par des experts les thèmes proposés par l’IA, et gardez un tableau de bord interactif pour que les agents puissent filtrer et contrôler le classement des réponses.
Publiez une mesure d’exactitude convenue ainsi que l’évaluation. Le DSIT a publié une évaluation complète avec son annonce.
N’extrapolez pas les économies avant la fin des tests. Le ministère indique que de nouvelles évaluations de l’exactitude et de l’efficacité précéderont toute décision de généralisation.
Réserves
- L’annonce du ministère est la source principale, et l’outil comme la mesure sont ceux du gouvernement. Civil Service World, un média indépendant, relaie l’annonce mais reprend les chiffres du ministère ; il ne les confirme donc pas de manière indépendante.
- Consult est présenté comme étant en phase d’essai. Le ministère indique que de nouvelles évaluations de l’exactitude et de l’efficacité auront lieu avant les décisions finales de généralisation.
- Le communiqué projette environ 75 000 jours d’analyse et 20 millions de livres sterling de coûts de personnel sur quelque 500 consultations par an. Il s’agit d’une projection, non d’un résultat mesuré, et elle n’est pas comptée ici comme un résultat.
- Le communiqué indique que l’IA et les relecteurs humains étaient en grande partie d’accord et que les différences avaient un effet négligeable sur le classement des thèmes. Il ne donne aucun chiffre de temps gagné pour cette consultation.
- Aucun modèle n’est nommé. La date de déploiement est celle de l’annonce ; les sources ne donnent pas de date de mise en service.
Sources
- Government-built 'Humphrey' AI tool reviews responses to consultation for first time, in bid to save millions
GOV.UK · 2025-05-14 · Communiqué de presse · gov.uk
- Civil service AI tool for consultation analysis passes first public test
Civil Service World · 2025-05-14 · Presse · civilserviceworld.com
Résumé dans nos propres mots à partir des sources ci-dessus. Une erreur ? Consultez les corrections.