Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Australian Government Digital Transformation Agency
Australische overheid test Microsoft 365 Copilot bij 56 organisaties: positieve houding, matig gebruik
Van januari tot juni 2024 voerde de Digital Transformation Agency een zesmaandse proef uit met Microsoft 365 Copilot voor de hele overheid. Uit de gepubliceerde evaluatie blijkt dat medewerkers positief waren en bij enkele taken tijdwinst meldden, maar dat slechts ongeveer een op de drie de tool dagelijks gebruikte en dat controles op juistheid de winst verkleinden.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
77%
Deelnemers aan de proef die aan het einde optimistisch waren over Microsoft 365 Copilot2
86%
Deelnemers aan de proef die Copilot wilden blijven gebruiken2
69%
Respondenten die het ermee eens waren dat Copilot hun taken sneller maakte2
Wat het kostte
Het probleem
De Australian Public Service (het Australische overheidsapparaat) wilde dat zijn medewerkers veilig met generatieve AI konden experimenteren, met tools die ze al kenden. Openbare chatbots zoals ChatGPT hadden miljoenen gebruikers bereikt en de overheid wilde dat medewerkers in een veilige, vertrouwde omgeving konden oefenen. Ze moest weten of een AI-assistent echte winst op het werk zou opleveren voordat ze besloot hoe breed ze die zou aanschaffen.
Wat ze bouwden
De Digital Transformation Agency (DTA) voerde een proef met Microsoft 365 Copilot uit voor de hele overheid. Copilot is een AI-assistent die is ingebouwd in Word, Teams, Outlook en andere Microsoft-tools. De proef werd op 16 november 2023 aangekondigd en liep van 1 januari tot en met 30 juni 2024. Copilot viel al onder bestaande overheidscontracten met Microsoft, waardoor het snel kon worden uitgerold.
Hoe ze het aanpakten
Organisaties sloten op verschillende momenten aan en elke organisatie gaf licenties aan medewerkers die zichzelf hadden aangemeld. De DTA en het adviesbureau Nous Group evalueerden de proef. Hun bewijs bestond uit drie enquêtes (ervoor, tijdens en erna), 24 interviews door de DTA, 17 focusgroepen en 8 interviews door Nous Group, en zes interne evaluaties van organisaties. Meer dan 2.000 deelnemers droegen bij.
Resultaten
Medewerkers waren positief: 77% was aan het einde optimistisch en 86% wilde Copilot houden. Het gebruik was echter matig. Slechts een derde gebruikte het dagelijks, vooral om tekst samen te vatten en te herschrijven in Teams en Word. Van de respondenten was 69% het ermee eens dat Copilot hun taken versnelde en 61% dat het de kwaliteit verbeterde. Sommige groepen ervoeren bij enkele taken een besparing van ongeveer een uur per dag. De DTA concludeerde dat er duidelijke voordelen zijn, maar ook echte belemmeringen.
Wat er misging
De juistheid beperkte de winst. De evaluatie constateerde dat het controleren en bewerken van de uitvoer van Copilot een deel van de besparing tenietdeed, en tot 7% van de deelnemers zei dat het extra tijd kostte. Excel-functies stelden gebruikers teleur en toegangsproblemen met Outlook belemmerden het gebruik. Volgens iTnews werden de hoge verwachtingen grotendeels niet waargemaakt. De evaluatie noemde ook zorgen over instapbanen, vooroordelen ten gunste van westerse normen en afhankelijkheid van één leverancier.
Alle gemelde cijfers
| Maatstaf | Cijfer | Bronvermelding |
|---|---|---|
| Deelnemers aan de proef die aan het einde optimistisch waren over Microsoft 365 Copilot | 77%2 | |
| Deelnemers aan de proef die Copilot wilden blijven gebruiken | 86%2 | |
| Deelnemers aan de proef die Copilot dagelijks gebruikten | 1 op 32 | |
| Respondenten die het ermee eens waren dat Copilot hun taken sneller maakte | 69%2 | |
| Respondenten die het ermee eens waren dat Copilot de kwaliteit van hun werk verbeterde | 61%2 | |
| Ervaren tijdwinst bij samenvatten, eerste concepten en zoeken, voor medewerkers op APS-niveau 3 tot 6, Executive Level 1 en in ICT-functies | ongeveer een uur per dag2 | |
| Deelnemers aan de proef die meldden dat Copilot extra tijd kostte bij activiteiten | Tot 7%2 |
Lessen voor uw project
Reserveer budget voor training en stem die af op uw eigen werk. In de proef voelde 75% van de mensen met drie of meer vormen van training zich zeker bij het gebruik van Copilot, 28 procentpunt meer dan mensen met één vorm.
Kies de toepassingen voordat u licenties uitdeelt. De evaluatie constateerde dat mensen vooral tekst samenvatten en herschreven en dat het benoemen van concrete toepassingen het gebruik kon verhogen.
Test de tools die uw mensen echt gebruiken. Copilot werkte goed in Word en Teams, maar problemen in Excel en Outlook remden het gebruik.
Plan controle in. Volgens de evaluatie nam het nalopen en bewerken van de uitvoer van Copilot een deel van de tijdwinst weg, dus meet de nettotijdwinst en niet alleen de snelheid van een eerste concept.
Regel eerst de gegevensrechten. De evaluatie waarschuwt dat Copilot zwakke gewoonten rond gegevensbeveiliging en informatiebeheer kan versterken.
Kanttekeningen
- De cijfers komen uit de eigen evaluatie van de Digital Transformation Agency, die vooral berust op zelfgerapporteerde enquêtes en focusgroepen. iTnews merkt op dat de evaluatie volledig op zelfbeoordeling berust en leidinggevenden oververtegenwoordigt.
- Deelnemers meldden zichzelf aan en organisaties begonnen op verschillende momenten met verschillende Copilot-versies, dus de resultaten zijn mogelijk niet representatief voor de hele overheid.
- De cijfers over de omvang verschillen. Het artikel van de DTA noemt meer dan 7.600 medewerkers bij 60 of meer organisaties, het evaluatierapport bijna 5.765 licenties bij 56 organisaties en iTnews zo'n 5765 licenties.
- De bronnen noemen Microsoft 365 Copilot maar niet het taalmodel eronder, dus het model staat als niet bekendgemaakt vermeld.
- De DTA-pagina's konden niet rechtstreeks worden opgehaald en zijn gelezen via kopieën op web.archive.org. Het artikel van de DTA is gedateerd op 23 oktober 2024. De samenvattende pdf vermeldt geen datum behalve een copyrightregel uit 2024, dus daarvoor is geen datum opgegeven.
Bronnen
- Evaluation of whole-of-government trial into generative AI: Now available
Digital Transformation Agency · 2024-10-23 · Persbericht · dta.gov.au
- Evaluation of the whole-of-government trial of Microsoft 365 Copilot: Summary of evaluation findings
Digital Transformation Agency · Zonder datum · Officiële melding · digital.gov.au
- Gov Copilot trial unsettled by usage metrics and unmet expectations
iTnews · 2024-10-23 · Nieuws · itnews.com.au
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.