Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
UK Department for Science, Innovation and Technology
Das KI-Werkzeug Consult der britischen Regierung sortiert 2.000 Konsultationsantworten und erreicht 0,76 im Vergleich zu menschlichen Prüfern
Die britische Regierung nutzte Consult, einen Teil ihres KI-Werkzeugkastens Humphrey, um die Antworten auf eine öffentliche Konsultation der schottischen Regierung nach Themen zu gruppieren. Es verarbeitete mehr als 2.000 Antworten zu sechs Fragen, während Beamte zusätzlich jede Antwort von Hand prüften. Das Ministerium meldet einen F1-Wert von 0,76 und sagt, das Werkzeug befinde sich noch in der Erprobung.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
mehr als 2.000
Im ersten Praxiseinsatz ausgewertete Konsultationsantworten zu sechs qualitativen Fragen1
0,76
F1-Wert, ein Maß für die Übereinstimmung mit menschlichen Prüfern, den das Ministerium als „gut“ bezeichnet1
Was es erforderte
Kosten, Teamgröße und Zeitplan wurden in den Quellen nicht veröffentlicht.
Das Problem
Regierungen führen viele öffentliche Konsultationen durch, und das Lesen Tausender Freitextantworten ist langsam. Die britische Regierung sagt, sie führe etwa 500 Konsultationen im Jahr durch, und die Auswertung laufe oft über teure externe Auftragnehmer. Die Einordnung der Antworten in Themen ist zudem subjektiv, da menschliche Prüfer nicht immer übereinstimmen.
Was sie gebaut haben
Consult ist ein generatives KI-Werkzeug, das die britische Regierung innerhalb von Humphrey entwickelt hat, einem Bündel von KI-Werkzeugen, das den Verwaltungsaufwand von Beamten senken soll. Es findet die Hauptthemen in den Konsultationsantworten und ordnet jede Antwort ihnen zu. Das Ministerium sagt, Beamte könnten die Themen und die Zuordnung stets über ein interaktives Dashboard überprüfen.
Wie sie vorgegangen sind
Der erste Praxiseinsatz war eine Konsultation der schottischen Regierung zur Regulierung nichtchirurgischer kosmetischer Eingriffe, zum Beispiel Lippenfüllern und Laser-Haarentfernung. Consult schlug für jede der sechs qualitativen Fragen Themen vor. Experten der schottischen Regierung prüften und verfeinerten sie, danach ordnete das Werkzeug mehr als 2.000 Antworten den Themen zu. Weil es der erste Praxislauf war, prüften Beamte zusätzlich jede Antwort von Hand und verglichen beide Ergebnisse.
Ergebnisse
Das Ministerium meldet einen F1-Wert von 0,76 im Vergleich zu den menschlichen Prüfern, ein gängiges Maß für Übereinstimmung, das es als gut bezeichnet. Es sagt, KI und Prüfer hätten überwiegend übereingestimmt, und wo sie abwichen, habe sich die Rangfolge der Themen kaum verändert. Schottische Beamte sagten, das Ergebnis sei ein nützlicher Ausgangspunkt gewesen und habe viel Zeit gespart. Das Werkzeug bleibt in der Erprobung, weitere Evaluierungen sind vor Entscheidungen über eine Einführung geplant.
Erkenntnisse für Ihr Projekt
Lassen Sie das Werkzeug zuerst parallel zu Menschen laufen. Experten der schottischen Regierung prüften jede Antwort von Hand, sodass das Team messen konnte, wie oft KI und Menschen übereinstimmten.
Lassen Sie Fachleute die von der KI vorgeschlagenen Themen prüfen und verfeinern, und halten Sie ein interaktives Dashboard bereit, damit Beamte die Zuordnung der Antworten filtern und nachvollziehen können.
Legen Sie ein vereinbartes Genauigkeitsmaß offen und veröffentlichen Sie die Evaluierung. Das DSIT veröffentlichte zur Ankündigung eine vollständige Evaluierung.
Skalieren Sie Einsparungsbehauptungen nicht, bevor die Tests abgeschlossen sind. Das Ministerium sagt, weitere Evaluierungen von Genauigkeit und Effizienz gingen den Entscheidungen über eine Einführung voraus.
Einschränkungen
- Die Ankündigung des Ministeriums ist die Hauptquelle, und Werkzeug und Kennzahl stammen von der Regierung selbst. Civil Service World, ein unabhängiges Medium, berichtet über die Ankündigung, wiederholt aber die Zahlen des Ministeriums und bestätigt sie daher nicht unabhängig.
- Consult wird als in der Erprobung befindlich beschrieben. Das Ministerium sagt, vor den endgültigen Entscheidungen über eine Einführung werde es weitere Evaluierungen von Genauigkeit und Effizienz geben.
- Die Mitteilung rechnet bei rund 500 Konsultationen im Jahr mit etwa 75.000 Tagen Analyse und 20 Millionen Pfund Personalkosten. Das ist eine Projektion, kein gemessenes Ergebnis, und sie wird hier nicht als Ergebnis gezählt.
- Die Mitteilung sagt, KI und menschliche Prüfer hätten überwiegend übereingestimmt, und Abweichungen hätten einen vernachlässigbaren Einfluss auf die Rangfolge der Themen gehabt. Eine Zeitersparnis für diese Konsultation nennt sie nicht.
- Es wird kein Modell genannt. Das Einführungsdatum ist das Datum der Ankündigung; die Quellen nennen kein Startdatum.
Quellen
- Government-built 'Humphrey' AI tool reviews responses to consultation for first time, in bid to save millions
GOV.UK · 2025-05-14 · Pressemitteilung · gov.uk
- Civil service AI tool for consultation analysis passes first public test
Civil Service World · 2025-05-14 · Nachrichten · civilserviceworld.com
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.