Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
UK Department for Transport
Konsultationsanalyse-Werkzeug des britischen Department for Transport: 90 % Themen-Recall in Live-Piloten, 75 % ohne Prüfung
Das Department for Transport und das Alan Turing Institute haben ein Werkzeug gebaut, das mit KI Themen in Antworten auf öffentliche Konsultationen findet und jede Antwort zuordnet, während Beamte die Themen prüfen. In Live-Piloten erreichten die Themen des ersten Durchgangs 90 % Recall gegenüber dem von Menschen geprüften Themensatz, in einem Blindtest ohne menschliche Eingabe etwa 75 %. Das Ministerium schätzt zudem Einsparungen von rund 50-70 %, hat sie aber nicht gemessen.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
90 %
Vom Werkzeug gefundene Themen, die mit den von Menschen validierten Themen in Live-Piloten übereinstimmten (Recall)2
0,93
Bewertung der Themenzuordnung (F1, wobei 1 perfekt ist) in Live-Piloten, im Vergleich des ersten Durchgangs des Werkzeugs mit dem von Menschen angepassten Ergebnis2
über 92 %
Rohe Übereinstimmung zwischen Werkzeug und menschlichen Prüfern bei der Themenzuordnung, in beiden Evaluierungsdesigns2
75 %
Vom Werkzeug allein gefundene menschliche Themen im Blindtest ohne menschliche Prüfung (Recall)2
Was es erforderte
Das Problem
Das Department for Transport (DfT) führt etwa 55 Konsultationen pro Jahr durch. Jede liefert Freitextantworten, die zu Themen gruppiert und gezählt werden müssen. Von Hand ist das langsam und teuer, und bei sehr großen Konsultationen wird manchmal nur eine Stichprobe gelesen.
Was sie gebaut haben
Das KI- und Data-Science-Team des DfT und das Alan Turing Institute bauten das Consultation Analysis Tool (CAT). Es arbeitet in zwei Schritten. Eine Gruppe großer Sprachmodelle (KI-Systeme, die Text lesen und schreiben) schlägt aus den Antworten die Hauptthemen und seltene „Golden Insights“ vor. Nachdem Beamte diese Themen geprüft haben, ordnen die Modelle jeder Antwort die Themen zu, die sie erwähnt. Die evaluierte Version v1.0 nutzt Googles Gemini-Modellfamilie.
Wie sie vorgegangen sind
Die Entwicklung folgte der DfT-Forschung von 2023 zur Haltung der Öffentlichkeit zum KI-Einsatz bei Konsultationen, die menschliche Aufsicht forderte. Beamte prüfen eine Zufallsstichprobe von Antworten und passen die Themen der KI vor dem Zuordnungsschritt an. Das Team testete das Werkzeug auf zwei Arten: in einem Blindtest zu 11 Fragen gegen von Menschen erstellte Maßstäbe und in Live-Piloten, in denen Analysten die Ausgabe des Werkzeugs prüften und die ursprüngliche Ausgabe mit ihrer endgültigen Fassung verglichen wurde. Bis zum Datum des Berichts war es bei vier Konsultationen, Calls for Evidence und Calls for Ideas, im Einsatz, dazu bei einer weiteren, bei der Beamte seine Themen nur gegenprüften.
Ergebnisse
In Live-Piloten erreichten die Themen des ersten Durchgangs 90 % Recall gegenüber dem Themensatz, den Beamte schließlich validierten, und die Zuordnung erzielte 0,93 F1 gegenüber dem von Menschen angepassten Ergebnis, bei über 92 % roher Übereinstimmung mit Menschen. Im Blindtest lag der Recall bei etwa 75 % und der F1-Wert der Zuordnung bei 0,75. Jede Antwort wird verarbeitet, nicht nur eine Stichprobe. Davon getrennt schätzt das DfT, ohne es zu messen, dass das Werkzeug etwa 50-70 % der Kosten und der Zeit einer mittelgroßen Konsultation spart, bislang rund 15.000 Stunden.
Was schiefgelaufen ist
Ohne menschliche Prüfung fand das Werkzeug etwa 75 % der menschlichen Themen, und die Genauigkeit unterschied sich je nach Datensatz. Prüfer stießen auf sich überschneidende Themen und einige falsche Deutungen der Stimmung, weshalb das Ministerium die menschliche Themenprüfung beibehält.
Alle berichteten Zahlen
| Messgröße | Wert | Quellenangabe |
|---|---|---|
| Vom Werkzeug gefundene Themen, die mit den von Menschen validierten Themen in Live-Piloten übereinstimmten (Recall) | 90 %2 | |
| Bewertung der Themenzuordnung (F1, wobei 1 perfekt ist) in Live-Piloten, im Vergleich des ersten Durchgangs des Werkzeugs mit dem von Menschen angepassten Ergebnis | 0,932 | |
| Rohe Übereinstimmung zwischen Werkzeug und menschlichen Prüfern bei der Themenzuordnung, in beiden Evaluierungsdesigns | über 92 %2 | |
| Vom Werkzeug allein gefundene menschliche Themen im Blindtest ohne menschliche Prüfung (Recall) | 75 %2 | |
| Bewertung der Themenzuordnung (F1) im Blindtest, bei dem Menschen die Themen erstellt hatten | 0,752 | |
| Bislang in Live-Piloten analysierte Antworten | 200.0002 | |
| Geschätzte Einsparung bei Gesamtkosten und -zeit einer mittelgroßen Konsultation (Schätzung des Ministeriums) | rund 50-70 %2 | |
| Geschätzte bislang eingesparte Arbeit im Vergleich zu vollständiger menschlicher Analyse (Schätzung des Ministeriums) | etwa 15.000 Stunden2 |
Erkenntnisse für Ihr Projekt
Lassen Sie einen Menschen die Themen verantworten. Der Blind-Recall des Werkzeugs lag bei 75 % und stieg nach menschlicher Prüfung auf 90 %, was laut Team der Grund ist, die Prüfung beizubehalten.
Testen Sie zweimal: gegen einen verdeckten menschlichen Maßstab und dann im Live-Einsatz. Die beiden Ergebnisse (0,75 und 0,93 F1) erzählen sehr unterschiedliche Geschichten, veröffentlichen Sie daher beide.
Planen Sie den Prüfaufwand per Stichprobe. Das DfT entwickelte eine statistische Methode, um zu schätzen, wie viele Antworten die Prüfer lesen müssen, um mit etwa 95 % Sicherheit auszuschließen, dass ein Hauptthema übersehen wird.
Prüfen Sie auf Verzerrungen, nicht nur auf Genauigkeit. Das Team testete die Genauigkeit über demografische Gruppen hinweg und fand keine Hinweise auf systematische Unterschiede.
Planen Sie Fixkosten ein. Prüfung, Umfragegestaltung, Projektmanagement und Berichtsverfassung bleiben bestehen, sodass die Einsparungen mit der Größe der Konsultation wachsen.
Einschränkungen
- Das Department for Transport, das das Werkzeug gemeinsam mit dem Alan Turing Institute gebaut hat, hat die Evaluierung verfasst und veröffentlicht. Sie ist nicht unabhängig.
- Die Einsparung von 50-70 % und die 15.000 Stunden sind Schätzungen des Ministeriums auf Grundlage von Annahmen zu Umfragekosten und Rückmeldungen von Sozialforschern, keine gemessenen Einsparungen. Der Bericht prognostiziert außerdem Einsparungen von 1,5 bis 4 Millionen Pfund pro Jahr bei Skalierung, die hier nicht als Ergebnis gezählt werden.
- Die Werte der Live-Piloten vergleichen das Werkzeug mit Menschen, die zuerst die Ausgabe des Werkzeugs sahen und sie dann anpassten, und dürften daher besser ausfallen als im Blindtest (75 % Recall, 0,75 F1). Die 90 % Recall bedeuten also, dass die Themen des Werkzeugs die menschliche Prüfung weitgehend überstanden, nicht dass es einer unabhängigen menschlichen Analyse entsprach.
- Die Genauigkeit schwankte stark zwischen den Datensätzen: Der F1-Wert für Hauptthemen reichte in den Live-Piloten je nach Frage von 0,61 bis 1. Nutzer berichteten zudem von sich überschneidenden Themen und einigen fehlgedeuteten Stimmungen.
- Die Nutzerzufriedenheit beruht auf 15 Umfrageantworten. Laut Bericht erklären Modell-Upgrades und Methodenverbesserungen wahrscheinlich die höheren Werte bei einigen Datensätzen.
- Das Modell wird nur als Google-Gemini-Familie genannt; während der Entwicklung wurden andere Modelle getestet. Als Einführungsdatum gilt das Veröffentlichungsdatum des Berichts, da kein Startdatum genannt wird.
- Dies ist ein anderes Werkzeug als das von DSIT und dem Incubator for AI gebaute Werkzeug Consult, das einen eigenen Fall in der Bibliothek hat.
Quellen
- AI Consultation Analysis Tool evaluation
Department for Transport, GOV.UK · 2025-12-23 · Behördliche Meldung · gov.uk
- AI Consultation Analysis Tool (CAT) v1.0 Evaluation
Department for Transport / The Alan Turing Institute · 2025-12-23 · Forschungsarbeit · assets.publishing.service.gov.uk
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.