Tradotto dall'originale inglese. Dati e fonti restano invariati. Leggi l'originale in inglese
Australian Government Digital Transformation Agency
Il governo australiano sperimenta Microsoft 365 Copilot in 56 enti: opinioni positive, uso moderato
Da gennaio a giugno 2024 la Digital Transformation Agency ha condotto una sperimentazione di sei mesi di Microsoft 365 Copilot in tutta l’amministrazione. La valutazione pubblicata rileva che il personale era positivo e dichiarava risparmi di tempo su alcune attività, ma che solo circa uno su tre usava lo strumento ogni giorno e che i controlli sull’accuratezza erodevano i vantaggi.
Dati chiave
Copiati esattamente dalle fonti. Copiate qualsiasi dato insieme alla sua citazione.
77%
Partecipanti alla sperimentazione ottimisti su Microsoft 365 Copilot al termine della prova2
86%
Partecipanti alla sperimentazione che volevano continuare a usare Copilot2
69%
Intervistati d’accordo sul fatto che Copilot abbia migliorato la rapidità con cui completavano le attività2
Cosa è servito
Il problema
Il servizio pubblico australiano voleva che il proprio personale provasse l’IA generativa in sicurezza, su strumenti già noti. I chatbot pubblici come ChatGPT avevano raggiunto milioni di utenti e il governo voleva che il personale sperimentasse in un contesto sicuro e familiare. Doveva capire se un assistente di IA avrebbe portato vantaggi reali sul lavoro prima di decidere su quale scala acquistarlo.
Cosa hanno costruito
La Digital Transformation Agency (DTA) ha condotto una sperimentazione di Microsoft 365 Copilot in tutta l’amministrazione. Copilot è un assistente di IA integrato in Word, Teams, Outlook e altri strumenti Microsoft. È stata annunciata il 16 novembre 2023 ed è durata dal 1° gennaio al 30 giugno 2024. Copilot era già coperto dai contratti esistenti del governo con Microsoft, il che ne ha reso rapido il rilascio.
Come ci sono riusciti
Gli enti hanno aderito in momenti diversi e ciascuno ha distribuito le licenze al personale che si era candidato. La DTA e la società di consulenza Nous Group hanno valutato la sperimentazione. Le loro evidenze erano tre sondaggi (prima, durante e dopo), 24 interviste condotte dalla DTA, 17 focus group e 8 interviste condotte da Nous Group, più sei valutazioni interne degli enti. Hanno contribuito oltre 2.000 partecipanti.
Risultati
Il personale era positivo: il 77% era ottimista alla fine e l’86% voleva tenere Copilot. L’uso, però, è stato moderato. Solo un terzo lo usava ogni giorno, soprattutto per riassumere e riscrivere testi in Teams e Word. Tra gli intervistati, il 69% era d’accordo che Copilot avesse velocizzato le attività e il 61% che ne avesse migliorato la qualità. Alcuni gruppi hanno percepito risparmi di circa un’ora al giorno su alcune attività. La DTA ha concluso che ci sono vantaggi chiari e anche ostacoli reali.
Cosa è andato storto
L’accuratezza ha limitato i vantaggi. La valutazione ha rilevato che controllare e correggere i risultati di Copilot annullava parte dei risparmi e che fino al 7% dei partecipanti ha dichiarato che Copilot aveva aggiunto tempo. Le funzioni di Excel hanno deluso gli utenti e i problemi di accesso a Outlook hanno bloccato l’uso. Secondo iTnews, le alte aspettative sono state in gran parte deluse. La valutazione ha anche sollevato preoccupazioni sui posti di lavoro entry-level, sulla distorsione a favore delle norme occidentali e sulla dipendenza da un solo fornitore.
Tutti i dati dichiarati
| Indicatore | Dato | Citazione |
|---|---|---|
| Partecipanti alla sperimentazione ottimisti su Microsoft 365 Copilot al termine della prova | 77%2 | |
| Partecipanti alla sperimentazione che volevano continuare a usare Copilot | 86%2 | |
| Partecipanti alla sperimentazione che usavano Copilot ogni giorno | 1 su 32 | |
| Intervistati d’accordo sul fatto che Copilot abbia migliorato la rapidità con cui completavano le attività | 69%2 | |
| Intervistati d’accordo sul fatto che Copilot abbia migliorato la qualità del loro lavoro | 61%2 | |
| Tempo risparmiato percepito su sintesi, prime bozze e ricerche, per il personale dei livelli APS da 3 a 6, Executive Level 1 e dei ruoli ICT | circa un’ora al giorno2 | |
| Partecipanti alla sperimentazione che hanno dichiarato che Copilot ha aggiunto tempo alle attività | Fino al 7%2 |
Lezioni per il vostro progetto
Prevedere un budget per la formazione e adattarla al proprio lavoro. Nella sperimentazione il 75% delle persone con tre o più forme di formazione si sentiva sicuro nell’usare Copilot, 28 punti percentuali in più rispetto a chi ne aveva seguita una sola.
Scegliere i casi d’uso prima di distribuire le licenze. La valutazione ha rilevato che le persone usavano lo strumento soprattutto per riassumere e riscrivere testi e che indicare casi d’uso specifici poteva aumentarne l’uso.
Testare gli strumenti che le persone usano davvero. Copilot funzionava bene in Word e Teams, ma i problemi in Excel e Outlook hanno frenato l’uso.
Pianificare i controlli. Secondo la valutazione, verificare e correggere i risultati di Copilot ha eliminato parte dei risparmi di tempo, quindi conviene misurare il tempo netto risparmiato e non solo la velocità della prima bozza.
Sistemare prima i permessi sui dati. La valutazione avverte che Copilot può amplificare abitudini deboli di sicurezza dei dati e di gestione delle informazioni.
Avvertenze
- I dati provengono dalla valutazione della stessa Digital Transformation Agency, basata soprattutto su sondaggi di autovalutazione e focus group. iTnews osserva che la valutazione poggia interamente sull’autovalutazione e sovrarappresenta i dirigenti.
- I partecipanti si sono candidati da soli e gli enti hanno iniziato in momenti diversi con versioni diverse di Copilot, quindi i risultati potrebbero non rispecchiare l’intera pubblica amministrazione.
- I dati sulle dimensioni differiscono. L’articolo della DTA parla di oltre 7.600 dipendenti in più di 60 enti, il rapporto di valutazione di quasi 5.765 licenze in 56 enti e iTnews di circa 5765 licenze.
- Le fonti nominano Microsoft 365 Copilot ma non il modello linguistico sottostante, quindi il modello è indicato come non divulgato.
- Le pagine della DTA non hanno potuto essere recuperate direttamente e sono state lette da copie su web.archive.org. L’articolo della DTA è datato 23 ottobre 2024. Il PDF di sintesi non riporta alcuna data oltre a una nota di copyright del 2024, quindi per esso non viene indicata alcuna data.
Fonti
- Evaluation of whole-of-government trial into generative AI: Now available
Digital Transformation Agency · 2024-10-23 · Comunicato stampa · dta.gov.au
- Evaluation of the whole-of-government trial of Microsoft 365 Copilot: Summary of evaluation findings
Digital Transformation Agency · Senza data · Documento depositato · digital.gov.au
- Gov Copilot trial unsettled by usage metrics and unmet expectations
iTnews · 2024-10-23 · Notizia · itnews.com.au
Riassunto con parole nostre a partire dalle fonti sopra indicate. Avete notato un errore? Consultate le rettifiche.