Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
UK Department for Science, Innovation and Technology
Het AI-hulpmiddel Consult van de Britse overheid sorteert 2.000 consultatiereacties en scoort 0,76 tegenover menselijke beoordelaars
De Britse overheid gebruikte Consult, onderdeel van haar AI-gereedschapskist Humphrey, om de reacties op een openbare consultatie van de Schotse overheid in thema's te groeperen. Het verwerkte meer dan 2.000 reacties op zes vragen, terwijl ambtenaren ook elke reactie met de hand beoordeelden. Het ministerie meldt een F1-score van 0,76 en zegt dat het hulpmiddel nog in een proefperiode zit.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
meer dan 2.000
Consultatiereacties geanalyseerd in het eerste live gebruik, over zes kwalitatieve vragen1
0,76
F1-score, een maat voor overeenstemming met menselijke beoordelaars, die het ministerie 'goed' noemt1
Wat het kostte
Kosten, teamgrootte en doorlooptijd zijn in de bronnen niet openbaar gemaakt.
Het probleem
Overheden houden veel openbare consultaties, en het lezen van duizenden vrije-tekstantwoorden is traag. De Britse overheid zegt ongeveer 500 consultaties per jaar te houden, en de analyse gaat vaak via dure externe partijen. Het indelen van reacties in thema's is bovendien subjectief, omdat menselijke beoordelaars het niet altijd eens zijn.
Wat ze bouwden
Consult is een generatief AI-hulpmiddel dat de Britse overheid ontwikkelde binnen Humphrey, een bundel AI-hulpmiddelen om de administratieve tijd van ambtenaren te verkorten. Het vindt de hoofdthema's in consultatiereacties en deelt elke reactie daarin in. Het ministerie zegt dat ambtenaren de thema's en de indeling altijd kunnen controleren via een interactief dashboard.
Hoe ze het aanpakten
Het eerste live gebruik was een consultatie van de Schotse overheid over de regulering van niet-chirurgische cosmetische ingrepen, bijvoorbeeld lipfillers en laserontharing. Consult stelde thema's voor bij elk van de zes kwalitatieve vragen. Experts van de Schotse overheid controleerden en verfijnden ze, waarna het hulpmiddel meer dan 2.000 reacties in de thema's indeelde. Omdat het de eerste live run was, beoordeelden ambtenaren ook elke reactie met de hand en vergeleken ze beide uitkomsten.
Resultaten
Het ministerie meldt een F1-score van 0,76 tegenover de menselijke beoordelaars, een gangbare maat voor overeenstemming die het goed noemt. Het zegt dat AI en beoordelaars het grotendeels eens waren en dat de rangorde van thema's nauwelijks verschoof waar ze verschilden. Schotse ambtenaren zeiden dat de uitkomst een bruikbaar uitgangspunt was en veel tijd bespaarde. Het hulpmiddel blijft in de proefperiode, met verdere evaluatie gepland vóór besluiten over uitrol.
Lessen voor uw project
Laat het hulpmiddel eerst parallel met mensen draaien. Experts van de Schotse overheid beoordeelden elke reactie met de hand, zodat het team kon meten hoe vaak AI en mensen het eens waren.
Laat experts de door de AI voorgestelde thema's controleren en aanscherpen, en houd een interactief dashboard bij zodat ambtenaren kunnen filteren en nagaan hoe reacties zijn gesorteerd.
Rapporteer een afgesproken nauwkeurigheidsmaat en publiceer de evaluatie. DSIT publiceerde bij de aankondiging een volledige evaluatie.
Schaal besparingsclaims niet op voordat het testen klaar is. Het ministerie zegt dat verdere evaluatie van nauwkeurigheid en efficiëntie voorafgaat aan besluiten over uitrol.
Kanttekeningen
- De aankondiging van het ministerie is de belangrijkste bron, en het hulpmiddel en de maatstaf zijn die van de overheid zelf. Civil Service World, een onafhankelijk medium, bericht over de aankondiging maar herhaalt de cijfers van het ministerie en bevestigt ze dus niet onafhankelijk.
- Consult wordt beschreven als in de proefperiode. Het ministerie zegt dat er verdere evaluatie van nauwkeurigheid en efficiëntie komt vóór de definitieve besluiten over uitrol.
- Het bericht rekent voor ongeveer 500 consultaties per jaar op zo'n 75.000 dagen analyse en 20 miljoen pond aan personeelskosten. Dat is een projectie, geen gemeten resultaat, en wordt hier niet als uitkomst meegeteld.
- Het bericht zegt dat AI en menselijke beoordelaars het grotendeels eens waren en dat verschillen een verwaarloosbaar effect hadden op de rangorde van thema's. Het noemt geen tijdwinst voor deze consultatie.
- Er wordt geen model genoemd. De datum van uitrol is de datum van de aankondiging; de bronnen geven geen datum van ingebruikname.
Bronnen
- Government-built 'Humphrey' AI tool reviews responses to consultation for first time, in bid to save millions
GOV.UK · 2025-05-14 · Persbericht · gov.uk
- Civil service AI tool for consultation analysis passes first public test
Civil Service World · 2025-05-14 · Nieuws · civilserviceworld.com
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.