Tradotto dall'originale inglese. Dati e fonti restano invariati. Leggi l'originale in inglese
UK Department for Transport
Lo strumento di analisi delle consultazioni del Department for Transport britannico: 90% di recall dei temi nei progetti pilota reali, 75% senza revisione
Il Department for Transport e l’Alan Turing Institute hanno costruito uno strumento che usa l’IA per individuare i temi nelle risposte alle consultazioni pubbliche ed etichettare ogni risposta, mentre i funzionari rivedono i temi. Nei progetti pilota reali, i suoi temi di prima passata hanno raggiunto il 90% di recall rispetto all’insieme rivisto da persone, contro circa il 75% in un test cieco senza intervento umano. Il dipartimento stima separatamente, senza averli misurati, risparmi di circa il 50-70%.
Dati chiave
Copiati esattamente dalle fonti. Copiate qualsiasi dato insieme alla sua citazione.
90%
Temi trovati dallo strumento che coincidevano con i temi convalidati da persone nei progetti pilota reali (recall)2
0,93
Punteggio di etichettatura dei temi (F1, dove 1 è perfetto) nei progetti pilota reali, confrontando la prima passata dello strumento con il risultato corretto da persone2
oltre il 92%
Concordanza grezza tra lo strumento e i revisori umani nell’etichettatura dei temi, in entrambi i disegni di valutazione2
75%
Temi umani trovati dallo strumento da solo, nel test cieco senza revisione umana (recall)2
Cosa è servito
Il problema
Il Department for Transport (DfT) conduce circa 55 consultazioni l’anno. Ognuna produce risposte a testo libero che vanno raggruppate in temi e contate. Farlo a mano è lento e costoso, e per le consultazioni molto grandi a volte si legge solo un campione.
Cosa hanno costruito
Il team di IA e data science del DfT e l’Alan Turing Institute hanno costruito il Consultation Analysis Tool (CAT). Funziona in due passaggi. Un gruppo di grandi modelli linguistici (sistemi di IA che leggono e scrivono testo) propone dalle risposte i temi principali e rari «golden insights». Dopo che i funzionari hanno rivisto quei temi, i modelli etichettano ogni risposta con i temi che menziona. La versione valutata, la v1.0, usa la famiglia di modelli Gemini di Google.
Come ci sono riusciti
Lo sviluppo ha fatto seguito alla ricerca del DfT del 2023 sugli atteggiamenti del pubblico verso l’uso dell’IA nelle consultazioni, che chiedeva una supervisione umana. I funzionari rivedono un campione casuale di risposte e correggono i temi dell’IA prima del passaggio di etichettatura. Il team ha testato lo strumento in due modi: un test cieco su 11 domande rispetto a riferimenti creati da persone, e progetti pilota reali in cui gli analisti hanno rivisto l’output dello strumento e l’output originale è stato confrontato con la loro versione finale. Alla data del rapporto era stato usato su quattro consultazioni, richieste di contributi e richieste di idee, più un’altra in cui i funzionari hanno solo verificato i suoi temi.
Risultati
Nei progetti pilota reali i temi di prima passata dello strumento hanno raggiunto il 90% di recall rispetto all’insieme infine convalidato dai funzionari, e l’etichettatura ha ottenuto 0,93 di F1 rispetto al risultato corretto da persone, con oltre il 92% di concordanza grezza con le persone. Nel test cieco il recall è stato di circa il 75% e l’F1 di etichettatura 0,75. Viene elaborata ogni risposta, non un campione. Separatamente, il DfT stima, senza averlo misurato, che lo strumento faccia risparmiare circa il 50-70% del costo e del tempo di una consultazione di medie dimensioni, e circa 15.000 ore finora.
Cosa è andato storto
Senza revisione umana lo strumento ha trovato circa il 75% dei temi umani, e l’accuratezza è variata a seconda del dataset. I revisori hanno incontrato temi sovrapposti e alcune letture errate del sentiment, quindi il dipartimento mantiene la revisione umana dei temi.
Tutti i dati dichiarati
| Indicatore | Dato | Citazione |
|---|---|---|
| Temi trovati dallo strumento che coincidevano con i temi convalidati da persone nei progetti pilota reali (recall) | 90%2 | |
| Punteggio di etichettatura dei temi (F1, dove 1 è perfetto) nei progetti pilota reali, confrontando la prima passata dello strumento con il risultato corretto da persone | 0,932 | |
| Concordanza grezza tra lo strumento e i revisori umani nell’etichettatura dei temi, in entrambi i disegni di valutazione | oltre il 92%2 | |
| Temi umani trovati dallo strumento da solo, nel test cieco senza revisione umana (recall) | 75%2 | |
| Punteggio di etichettatura dei temi (F1) nel test cieco, in cui i temi erano stati creati da persone | 0,752 | |
| Risposte analizzate finora nei progetti pilota reali | 200.0002 | |
| Risparmio stimato sul costo e sul tempo complessivi di una consultazione di medie dimensioni (stima del dipartimento) | circa il 50-70%2 | |
| Lavoro risparmiato stimato finora rispetto a un’analisi interamente umana (stima del dipartimento) | circa 15.000 ore2 |
Lezioni per il vostro progetto
Tenere una persona al comando dei temi. Il recall cieco dello strumento era del 75% e saliva al 90% dopo la revisione umana, motivo per cui, secondo il team, la revisione resta.
Testare due volte: contro un riferimento umano nascosto, poi nell’uso reale. I due risultati (0,75 e 0,93 di F1) raccontano storie molto diverse, quindi pubblicarli entrambi.
Pianificare l’impegno di revisione con il campionamento. Il DfT ha costruito un metodo statistico per stimare quante risposte i revisori devono leggere per avere circa il 95% di confidenza che nessun tema principale sfugga.
Controllare i pregiudizi, non solo l’accuratezza. Il team ha testato l’accuratezza tra gruppi demografici e non ha trovato prove di differenze sistematiche.
Prevedere i costi fissi. Revisione, progettazione del sondaggio, gestione del progetto e stesura del rapporto restano, quindi i risparmi crescono con le dimensioni della consultazione.
Avvertenze
- Il Department for Transport, che ha costruito lo strumento insieme all’Alan Turing Institute, ha scritto e pubblicato la valutazione. Non è indipendente.
- Il risparmio del 50-70% e le 15.000 ore sono stime del dipartimento basate su ipotesi sui costi dei sondaggi e sui riscontri di ricercatori sociali, non risparmi misurati. Il rapporto proietta anche risparmi da 1,5 a 4 milioni di sterline l’anno su larga scala, che qui non sono conteggiati come risultato.
- I punteggi dei progetti pilota reali confrontano lo strumento con persone che hanno prima visto il suo output e poi lo hanno corretto, quindi è probabile che appaiano migliori del test cieco (75% di recall, 0,75 di F1). Il 90% di recall significa dunque che i temi dello strumento hanno in gran parte superato la revisione umana, non che abbia eguagliato un’analisi umana indipendente.
- L’accuratezza è variata molto tra i dataset: l’F1 sui temi principali andava da 0,61 a 1 a seconda della domanda nei progetti pilota reali. Gli utenti hanno anche segnalato temi sovrapposti e alcune letture errate del sentiment.
- La soddisfazione degli utenti si basa su 15 risposte al sondaggio. Il rapporto dice che gli aggiornamenti del modello e i miglioramenti del metodo spiegano probabilmente i punteggi più alti su alcuni dataset.
- Il modello è indicato solo come la famiglia Google Gemini; durante lo sviluppo sono stati testati altri modelli. La data di messa in produzione è la data di pubblicazione del rapporto, perché non è indicata una data di avvio.
- È uno strumento diverso dallo strumento Consult costruito dal DSIT e dall’Incubator for AI, che ha un proprio caso nella libreria.
Fonti
- AI Consultation Analysis Tool evaluation
Department for Transport, GOV.UK · 2025-12-23 · Documento depositato · gov.uk
- AI Consultation Analysis Tool (CAT) v1.0 Evaluation
Department for Transport / The Alan Turing Institute · 2025-12-23 · Articolo di ricerca · assets.publishing.service.gov.uk
Riassunto con parole nostre a partire dalle fonti sopra indicate. Avete notato un errore? Consultate le rettifiche.