Tradotto dall'originale inglese. Dati e fonti restano invariati. Leggi l'originale in inglese
City of Yokosuka
La città di Yokosuka sperimenta ChatGPT con circa 3.800 dipendenti, poi passa all’adozione completa
Nell’aprile 2023 la città giapponese di Yokosuka ha dato ChatGPT a tutti i dipendenti che usano il suo strumento di chat interno, circa 3.800 persone. Dopo 41 giorni 1.913 dei 3.828 dipendenti, circa la metà, lo avevano usato, e il 76,0% dei rispondenti al sondaggio finale voleva continuare a usarlo. La città ha rilevato anche lamentele sull’accuratezza e ha annunciato il passaggio all’adozione completa.
Dati chiave
Copiati esattamente dalle fonti. Copiate qualsiasi dato insieme alla sua citazione.
1.913
Dipendenti con una chat room ChatGPT al 31 maggio 2023, su 3.828 dipendenti, nei primi 41 giorni della sperimentazione1
25.897
Messaggi inviati al bot ChatGPT nei primi 41 giorni della sperimentazione1
76,0%
Rispondenti al sondaggio finale (n=433) che hanno detto di voler continuare a usare ChatGPT1
almeno circa 10 minuti
Stima della città del tempo di lavoro risparmiato al giorno, come riportato da Government Transformation2
Cosa è servito
Il problema
Yokosuka, una città del Giappone, voleva sapere se un chatbot di IA generalista potesse ridurre il tempo dedicato a redigere, riassumere e rivedere documenti, senza esporre dati personali.
Cosa hanno costruito
Dal 20 aprile 2023 la città ha reso ChatGPT disponibile a tutti i dipendenti che possono usare il suo strumento di chat interno, LoGo Chat, circa 3.800 persone. I dipendenti dialogavano con un bot ChatGPT all’interno dello strumento che già usavano. Non dovevano essere inseriti dati personali.
Come ci sono riusciti
La sperimentazione è stata condotta come un esperimento con due sondaggi tra i dipendenti. Il primo si è svolto dal 27 aprile al 2 maggio e il secondo dal 23 al 29 maggio. Nel mezzo la città ha inviato due numeri di una newsletter interna con consigli per usare bene ChatGPT. Le domande erano le stesse in entrambi i sondaggi, così la città ha potuto confrontare i risultati. La città ha anche intervistato gli utenti su come risparmiavano tempo. Il bot usava ChatGPT-3.5-turbo.
Risultati
Al 31 maggio 1.913 dei 3.828 dipendenti, il 50%, avevano una chat room con il bot e avevano inviato 25.897 messaggi. Nel sondaggio finale la città riferisce che oltre l’80% ha detto che ChatGPT avrebbe aumentato la propria efficienza sul lavoro e che il 76,0% voleva continuare a usarlo. Separatamente, la città ha calcolato una stima approssimativa di circa 22.700 ore di lavoro all’anno solo per la redazione di documenti, ipotizzando 10 minuti risparmiati al giorno per il 29,3% di utenti che redigono documenti. Government Transformation ha riportato la stima della città come almeno circa 10 minuti risparmiati al giorno.
Cosa è andato storto
Non tutti i dipendenti erano soddisfatti. Molti usavano ChatGPT per ricerche in stile web, per cui secondo la città è poco adatto, e la città riferisce che quasi la metà dei rispondenti era insoddisfatta dell’accuratezza delle risposte. La città ha risposto con la formazione e un piano per passare a GPT-4.
Tutti i dati dichiarati
| Indicatore | Dato | Citazione |
|---|---|---|
| Dipendenti con una chat room ChatGPT al 31 maggio 2023, su 3.828 dipendenti, nei primi 41 giorni della sperimentazione | 1.9131 | |
| Messaggi inviati al bot ChatGPT nei primi 41 giorni della sperimentazione | 25.8971 | |
| Rispondenti al sondaggio finale (n=433) che hanno detto di voler continuare a usare ChatGPT | 76,0%1 | |
| Stima della città del tempo di lavoro risparmiato al giorno, come riportato da Government Transformation | almeno circa 10 minuti2 | |
| Stima approssimativa della città (un calcolo basato su ipotesi, non un risparmio misurato) delle ore di lavoro risparmiate all’anno nella redazione di documenti, partendo da 1.913 utenti, di cui il 29,3% lo usa per redigere, 10 minuti risparmiati al giorno e 243 giorni lavorativi | 22.700 ore1 |
Lezioni per il vostro progetto
Condurre una sperimentazione breve e misurata prima di impegnarsi. Yokosuka ha svolto due sondaggi tra i dipendenti a sei settimane di distanza e ha usato il primo per correggere i problemi emersi nel secondo.
Insegnare alle persone come porre le domande. Il primo sondaggio ha mostrato che molti dipendenti usavano ChatGPT per ricerche in stile web, un uso poco adatto. Una newsletter interna con consigli ha ridotto questa quota.
Mettere lo strumento dove i dipendenti già lavorano. Yokosuka ha collegato ChatGPT allo strumento di chat che ogni dipendente già usava.
Fissare regole sui dati fin dal primo giorno. La città non permetteva di inserire dati personali.
Mettere in conto le lamentele sull’accuratezza. L’insoddisfazione dei dipendenti per le risposte è rimasta alta, quindi la città ha previsto un modello più potente (GPT-4) e formazione.
Avvertenze
- I dati provengono dalla città stessa. Le 22.700 ore sono una stima approssimativa costruita sulle ipotesi della città, non un risparmio misurato; moltiplica il numero di utenti per 10 minuti al giorno ipotizzati.
- I tassi di risposta ai sondaggi sono stati bassi: 693 dipendenti nel primo sondaggio (circa il 18%) e 433 in quello finale (circa l’11%). I risultati potrebbero non rappresentare tutti i dipendenti.
- Secondo il rapporto della città, oltre il 40% dei rispondenti al sondaggio finale ha visto alcune risposte inappropriate e quasi la metà era insoddisfatta dell’accuratezza delle risposte. La città prevedeva di passare da ChatGPT-3.5-turbo a GPT-4.
- Il rapporto della città dice che erano previsti l’adozione completa, un consulente per la strategia di IA e la formazione. Queste fonti non chiariscono se siano stati realizzati.
Fonti
- ChatGPT活用実証結果報告
City of Yokosuka, Digital Government Promotion Division · 2023-06-05 · Comunicato stampa · city.yokosuka.kanagawa.jp
- Japan to use ChatGPT as a tool in city government
Government Transformation · 2023-06-27 · Notizia · government-transformation.com
Riassunto con parole nostre a partire dalle fonti sopra indicate. Avete notato un errore? Consultate le rettifiche.