Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
UK Department for Transport
Consultatieanalysetool van het Britse Department for Transport: 90% recall van thema's in live pilots, 75% zonder beoordeling
Het Department for Transport en het Alan Turing Institute bouwden een tool die met AI thema's vindt in antwoorden op openbare consultaties en elk antwoord labelt, waarbij ambtenaren de thema's beoordelen. In live pilots haalden de thema's uit de eerste ronde 90% recall ten opzichte van de door mensen beoordeelde set, tegen ongeveer 75% in een blinde test zonder menselijke inbreng. Het departement schat daarnaast, maar heeft niet gemeten, besparingen van circa 50-70%.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
90%
Door de tool gevonden thema's die overeenkwamen met de door mensen gevalideerde thema's in live pilots (recall)2
0,93
Score voor het labelen van thema's (F1, waarbij 1 perfect is) in live pilots, waarbij de eerste ronde van de tool is vergeleken met het door mensen aangepaste resultaat2
meer dan 92%
Ruwe overeenstemming tussen de tool en menselijke beoordelaars bij het labelen van thema's, in beide evaluatieopzetten2
75%
Menselijke thema's die de tool zelfstandig vond, in de blinde test zonder menselijke beoordeling (recall)2
Wat het kostte
Het probleem
Het Department for Transport (DfT) houdt per jaar ongeveer 55 consultaties. Elke consultatie levert vrije-tekstantwoorden op die in thema's moeten worden gegroepeerd en geteld. Dat met de hand doen is traag en duur, en bij zeer grote consultaties wordt soms slechts een steekproef gelezen.
Wat ze bouwden
Het AI- en datasciencesteam van het DfT en het Alan Turing Institute bouwden de Consultation Analysis Tool (CAT). Die werkt in twee stappen. Een groep grote taalmodellen (AI-systemen die tekst lezen en schrijven) stelt uit de antwoorden de hoofdthema's en zeldzame "golden insights" voor. Nadat ambtenaren die thema's hebben beoordeeld, labelen de modellen elk antwoord met de thema's die het noemt. De geëvalueerde versie, v1.0, gebruikt de Gemini-modelfamilie van Google.
Hoe ze het aanpakten
De ontwikkeling volgde op onderzoek van het DfT uit 2023 naar de houding van het publiek ten opzichte van AI bij consultaties, dat menselijk toezicht vroeg. Ambtenaren beoordelen een willekeurige steekproef van antwoorden en passen de thema's van de AI aan vóór de labelstap. Het team testte de tool op twee manieren: een blinde test met 11 vragen tegen door mensen gemaakte maatstaven, en live pilots waarin analisten de uitvoer van de tool beoordeelden en de oorspronkelijke uitvoer werd vergeleken met hun uiteindelijke versie. Op de datum van het rapport was de tool gebruikt bij vier consultaties, calls for evidence en calls for ideas, plus nog een waarbij ambtenaren alleen de thema's ervan controleerden.
Resultaten
In live pilots haalden de thema's uit de eerste ronde van de tool 90% recall ten opzichte van de set die ambtenaren uiteindelijk valideerden, en de labeling scoorde 0,93 F1 ten opzichte van het door mensen aangepaste resultaat, met meer dan 92% ruwe overeenstemming met mensen. In de blinde test was de recall ongeveer 75% en de F1 voor labeling 0,75. Elk antwoord wordt verwerkt, niet slechts een steekproef. Los daarvan schat het DfT, zonder het te meten, dat de tool circa 50-70% van de kosten en tijd van een middelgrote consultatie bespaart, en tot nu toe ongeveer 15.000 uur.
Wat er misging
Zonder menselijke beoordeling vond de tool ongeveer 75% van de menselijke thema's, en de nauwkeurigheid verschilde per dataset. Beoordelaars kwamen overlappende thema's en enkele verkeerde sentimentlezingen tegen, dus het departement houdt de menselijke beoordeling van thema's in stand.
Alle gemelde cijfers
| Maatstaf | Cijfer | Bronvermelding |
|---|---|---|
| Door de tool gevonden thema's die overeenkwamen met de door mensen gevalideerde thema's in live pilots (recall) | 90%2 | |
| Score voor het labelen van thema's (F1, waarbij 1 perfect is) in live pilots, waarbij de eerste ronde van de tool is vergeleken met het door mensen aangepaste resultaat | 0,932 | |
| Ruwe overeenstemming tussen de tool en menselijke beoordelaars bij het labelen van thema's, in beide evaluatieopzetten | meer dan 92%2 | |
| Menselijke thema's die de tool zelfstandig vond, in de blinde test zonder menselijke beoordeling (recall) | 75%2 | |
| Score voor het labelen van thema's (F1) in de blinde test, waarbij mensen de thema's hadden gemaakt | 0,752 | |
| Tot nu toe in live pilots geanalyseerde antwoorden | 200.0002 | |
| Geschatte besparing op de totale kosten en tijd van een middelgrote consultatie (schatting van het departement) | circa 50-70%2 | |
| Geschat tot nu toe bespaard werk ten opzichte van volledige menselijke analyse (schatting van het departement) | ongeveer 15.000 uur2 |
Lessen voor uw project
Houd een mens aan het roer bij de thema's. De blinde recall van de tool was 75% en steeg na menselijke beoordeling naar 90%, wat het team als reden noemt om de beoordeling te behouden.
Test twee keer: tegen een verborgen menselijke maatstaf en daarna in live gebruik. De twee resultaten (0,75 en 0,93 F1) vertellen heel verschillende verhalen, dus publiceer beide.
Plan de beoordelingsinspanning met steekproeven. Het DfT bouwde een statistische methode om te schatten hoeveel antwoorden beoordelaars moeten lezen om ongeveer 95% zeker te zijn dat geen hoofdthema wordt gemist.
Controleer op vooringenomenheid, niet alleen op nauwkeurigheid. Het team testte de nauwkeurigheid over demografische groepen heen en vond geen aanwijzingen voor systematische verschillen.
Begroot vaste kosten. Beoordeling, enquêteopzet, projectmanagement en rapportage blijven bestaan, waardoor de besparingen groeien met de omvang van de consultatie.
Kanttekeningen
- Het Department for Transport, dat de tool samen met het Alan Turing Institute bouwde, schreef en publiceerde de evaluatie. Die is niet onafhankelijk.
- De besparing van 50-70% en de 15.000 uur zijn schattingen van het departement op basis van aannames over enquêtekosten en feedback van sociale onderzoekers, geen gemeten besparingen. Het rapport projecteert ook besparingen van 1,5 tot 4 miljoen pond per jaar bij opschaling, wat hier niet als resultaat wordt meegeteld.
- De scores van de live pilots vergelijken de tool met mensen die eerst de uitvoer van de tool zagen en die daarna aanpasten, en vallen daarom waarschijnlijk gunstiger uit dan de blinde test (75% recall, 0,75 F1). De 90% recall betekent dus dat de thema's van de tool grotendeels de menselijke beoordeling doorstonden, niet dat de tool een onafhankelijke menselijke analyse evenaarde.
- De nauwkeurigheid verschilde sterk per dataset: de F1 voor hoofdthema's liep in live pilots uiteen van 0,61 tot 1 per vraag. Gebruikers meldden ook overlappende thema's en enkele verkeerd gelezen sentimenten.
- De tevredenheid van gebruikers is gebaseerd op 15 enquêtereacties. Het rapport zegt dat modelupgrades en methodeverbeteringen waarschijnlijk hogere scores op sommige datasets verklaren.
- Het model wordt alleen genoemd als de Google Gemini-familie; tijdens de ontwikkeling werden andere modellen getest. De datum van uitrol is de publicatiedatum van het rapport, omdat geen startdatum wordt genoemd.
- Dit is een andere tool dan de Consult-tool die DSIT en het Incubator for AI bouwden, die een eigen casus in de bibliotheek heeft.
Bronnen
- AI Consultation Analysis Tool evaluation
Department for Transport, GOV.UK · 2025-12-23 · Officiële melding · gov.uk
- AI Consultation Analysis Tool (CAT) v1.0 Evaluation
Department for Transport / The Alan Turing Institute · 2025-12-23 · Onderzoeksrapport · assets.publishing.service.gov.uk
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.