Tradotto dall'originale inglese. Dati e fonti restano invariati. Leggi l'originale in inglese
UK Department for Science, Innovation and Technology
Lo strumento Consult del governo britannico smista 2.000 risposte a una consultazione e ottiene 0,76 rispetto ai revisori umani
Il governo britannico ha usato Consult, parte della sua suite di strumenti di IA Humphrey, per raggruppare per temi le risposte a una consultazione pubblica del governo scozzese. Ha elaborato oltre 2.000 risposte a sei domande, mentre i funzionari hanno rivisto a mano anche ogni risposta. Il dipartimento riferisce un punteggio F1 di 0,76 e dice che lo strumento è ancora in fase di prova.
Dati chiave
Copiati esattamente dalle fonti. Copiate qualsiasi dato insieme alla sua citazione.
oltre 2.000
Risposte alla consultazione analizzate nel primo uso reale, su sei domande qualitative1
0,76
Punteggio F1, una misura della concordanza con i revisori umani, che il dipartimento definisce «buono»1
Cosa è servito
Le fonti non rendono noti costi, dimensioni del team e tempi.
Il problema
I governi conducono molte consultazioni pubbliche, e leggere migliaia di risposte a testo libero è lento. Il governo britannico dice di condurne circa 500 all'anno, e l'analisi comporta spesso l'affidamento a costosi fornitori esterni. Inoltre classificare le risposte per temi è soggettivo, perché i revisori umani non sempre concordano.
Cosa hanno costruito
Consult è uno strumento di IA generativa che il governo britannico ha sviluppato all'interno di Humphrey, un insieme di strumenti di IA pensato per ridurre il tempo che i dipendenti pubblici dedicano alle pratiche amministrative. Individua i temi principali nelle risposte a una consultazione e colloca ogni risposta al loro interno. Il dipartimento dice che i funzionari potranno sempre rivedere i temi e lo smistamento tramite una dashboard interattiva.
Come ci sono riusciti
Il primo uso reale è stato una consultazione del governo scozzese sulla regolamentazione delle procedure estetiche non chirurgiche, per esempio i filler alle labbra e la depilazione laser. Consult ha proposto temi per ciascuna delle sei domande qualitative. Gli esperti del governo scozzese li hanno verificati e affinati, poi lo strumento ha smistato oltre 2.000 risposte nei temi. Poiché era la prima esecuzione reale, i funzionari hanno rivisto a mano anche ogni risposta e confrontato i due risultati.
Risultati
Il dipartimento riferisce un punteggio F1 di 0,76 rispetto ai revisori umani, una misura standard di concordanza che definisce buona. Dice che IA e revisori hanno in gran parte concordato e che, dove divergevano, la classifica dei temi è cambiata appena. I funzionari scozzesi hanno detto che il risultato era un utile punto di partenza e che ha fatto risparmiare molto tempo. Lo strumento resta in fase di prova, con ulteriori valutazioni previste prima delle decisioni sull'adozione.
Lezioni per il vostro progetto
Far girare prima lo strumento in parallelo alle persone. Gli esperti del governo scozzese hanno rivisto ogni risposta a mano, così il team ha potuto misurare quanto spesso IA e persone concordavano.
Far verificare e affinare agli esperti i temi proposti dall'IA e mantenere una dashboard interattiva, perché i funzionari possano filtrare e controllare come sono state smistate le risposte.
Riportare una misura di accuratezza condivisa e pubblicare la valutazione. Il DSIT ha pubblicato una valutazione completa insieme all'annuncio.
Non estrapolare le stime di risparmio su larga scala prima della fine dei test. Il dipartimento dice che ulteriori valutazioni di accuratezza ed efficienza precederanno le decisioni sull'adozione.
Avvertenze
- L'annuncio del dipartimento è la fonte principale, e lo strumento e la metrica sono del governo stesso. Civil Service World, una testata indipendente, riporta l'annuncio ma ripete le cifre del dipartimento, quindi non le conferma in modo indipendente.
- Consult è descritto come in fase di prova. Il dipartimento dice che ci saranno ulteriori valutazioni di accuratezza ed efficienza prima delle decisioni finali sull'adozione.
- Il comunicato stima circa 75.000 giorni di analisi e 20 milioni di sterline di costi di personale su circa 500 consultazioni all'anno. È una proiezione, non un risultato misurato, e qui non viene conteggiata come esito.
- Il comunicato dice che IA e revisori umani hanno in gran parte concordato e che le differenze hanno avuto un effetto trascurabile sulla classifica dei temi. Non fornisce alcuna cifra sul tempo risparmiato per questa consultazione.
- Non viene indicato alcun modello. La data di rilascio è quella dell'annuncio; le fonti non indicano una data di avvio.
Fonti
- Government-built 'Humphrey' AI tool reviews responses to consultation for first time, in bid to save millions
GOV.UK · 2025-05-14 · Comunicato stampa · gov.uk
- Civil service AI tool for consultation analysis passes first public test
Civil Service World · 2025-05-14 · Notizia · civilserviceworld.com
Riassunto con parole nostre a partire dalle fonti sopra indicate. Avete notato un errore? Consultate le rettifiche.