Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
Australian Government Digital Transformation Agency
Australische Regierung testet Microsoft 365 Copilot in 56 Behörden: positive Einschätzung, mäßige Nutzung
Von Januar bis Juni 2024 führte die Digital Transformation Agency einen sechsmonatigen, behördenübergreifenden Test von Microsoft 365 Copilot durch. Die veröffentlichte Evaluation kommt zu dem Ergebnis, dass die Beschäftigten positiv eingestellt waren und bei einigen Aufgaben Zeitersparnis meldeten, dass aber nur etwa jeder Dritte das Tool täglich nutzte und die Prüfung der Ergebnisse auf Genauigkeit die Gewinne schmälerte.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
77 %
Testteilnehmende, die am Ende des Tests optimistisch gegenüber Microsoft 365 Copilot waren2
86 %
Testteilnehmende, die Copilot weiter nutzen wollten2
69 %
Befragte, die zustimmten, dass Copilot sie bei der Erledigung ihrer Aufgaben schneller gemacht hat2
Was es erforderte
Das Problem
Der australische öffentliche Dienst wollte, dass seine Beschäftigten generative KI sicher ausprobieren, und zwar mit Werkzeugen, die sie bereits kannten. Öffentliche Chatbots wie ChatGPT hatten Millionen Nutzer erreicht, und die Regierung wollte, dass die Beschäftigten in einem sicheren, vertrauten Umfeld experimentieren. Sie musste wissen, ob ein KI-Assistent im Arbeitsalltag echte Gewinne bringt, bevor sie entschied, wie breit sie ihn beschafft.
Was sie gebaut haben
Die Digital Transformation Agency (DTA) führte einen behördenübergreifenden Test von Microsoft 365 Copilot durch, einem KI-Assistenten, der in Word, Teams, Outlook und andere Microsoft-Werkzeuge integriert ist. Der Test wurde am 16. November 2023 angekündigt und lief vom 1. Januar bis zum 30. Juni 2024. Copilot war bereits von bestehenden Regierungsverträgen mit Microsoft abgedeckt, was eine schnelle Einführung ermöglichte.
Wie sie vorgegangen sind
Die Behörden stiegen zu unterschiedlichen Zeitpunkten ein, und jede vergab Lizenzen an Beschäftigte, die sich selbst gemeldet hatten. Die DTA und die Beratung Nous Group werteten den Test aus. Ihre Grundlage waren drei Umfragen (vorher, währenddessen und danach), 24 von der DTA geführte Interviews, 17 Fokusgruppen und 8 von Nous Group geführte Interviews sowie sechs interne Evaluationen von Behörden. Über 2.000 Teilnehmende trugen dazu bei.
Ergebnisse
Die Beschäftigten waren positiv eingestellt: 77 % waren am Ende optimistisch, und 86 % wollten Copilot behalten. Die Nutzung war jedoch mäßig. Nur ein Drittel nutzte es täglich, meist zum Zusammenfassen und Umschreiben von Texten in Teams und Word. Von den Befragten stimmten 69 % zu, dass Copilot ihre Aufgaben beschleunigte, und 61 %, dass es die Qualität verbesserte. Einige Gruppen nahmen bei einzelnen Aufgaben Einsparungen von etwa einer Stunde pro Tag wahr. Die DTA kam zu dem Schluss, dass es klare Vorteile, aber auch echte Hürden gibt.
Was schiefgelaufen ist
Die Genauigkeit begrenzte die Gewinne. Die Evaluation stellte fest, dass das Prüfen und Überarbeiten der Copilot-Ergebnisse einen Teil der Einsparungen aufhob, und bis zu 7 % der Teilnehmenden gaben an, es habe zusätzliche Zeit gekostet. Excel-Funktionen enttäuschten die Nutzer, und Zugriffsprobleme in Outlook verhinderten die Nutzung. Laut iTnews wurden die hohen Erwartungen weitgehend nicht erfüllt. Die Evaluation äußerte außerdem Bedenken zu Einstiegsstellen, zu einer Ausrichtung an westlichen Normen und zur Abhängigkeit von einem einzigen Anbieter.
Alle berichteten Zahlen
| Messgröße | Wert | Quellenangabe |
|---|---|---|
| Testteilnehmende, die am Ende des Tests optimistisch gegenüber Microsoft 365 Copilot waren | 77 %2 | |
| Testteilnehmende, die Copilot weiter nutzen wollten | 86 %2 | |
| Testteilnehmende, die Copilot täglich nutzten | 1 von 32 | |
| Befragte, die zustimmten, dass Copilot sie bei der Erledigung ihrer Aufgaben schneller gemacht hat | 69 %2 | |
| Befragte, die zustimmten, dass Copilot die Qualität ihrer Arbeit verbessert hat | 61 %2 | |
| Wahrgenommene Zeitersparnis beim Zusammenfassen, bei ersten Entwürfen und bei der Suche, für Beschäftigte der APS-Stufen 3 bis 6, des Executive Level 1 und in IT-Rollen | etwa eine Stunde pro Tag2 | |
| Testteilnehmende, die angaben, Copilot habe bei Tätigkeiten zusätzlichen Zeitaufwand verursacht | Bis zu 7 %2 |
Erkenntnisse für Ihr Projekt
Planen Sie Budget für Schulungen ein und passen Sie sie an Ihre eigene Arbeit an. Im Test fühlten sich 75 % der Personen mit drei oder mehr Schulungsformen sicher im Umgang mit Copilot, 28 Prozentpunkte mehr als bei Personen mit einer Schulungsform.
Legen Sie die Anwendungsfälle fest, bevor Sie Lizenzen verteilen. Die Evaluation stellte fest, dass die Beschäftigten vor allem Texte zusammenfassten und umschrieben und dass die Nennung konkreter Anwendungsfälle die Nutzung steigern konnte.
Testen Sie die Werkzeuge, die Ihre Leute tatsächlich nutzen. Copilot funktionierte in Word und Teams gut, doch Probleme in Excel und Outlook bremsten die Nutzung.
Planen Sie die Kontrolle ein. Laut Evaluation hat das Prüfen und Überarbeiten der Copilot-Ergebnisse einen Teil der Zeitersparnis aufgezehrt. Messen Sie daher die Netto-Zeitersparnis und nicht nur die Geschwindigkeit des ersten Entwurfs.
Klären Sie zuerst die Datenberechtigungen. Die Evaluation warnt, Copilot könne schwache Gewohnheiten bei Datensicherheit und Informationsmanagement verstärken.
Einschränkungen
- Die Zahlen stammen aus der eigenen Evaluation der Digital Transformation Agency, die sich überwiegend auf Selbstauskünfte in Umfragen und Fokusgruppen stützt. iTnews merkt an, die Evaluation beruhe vollständig auf Selbsteinschätzung und überrepräsentiere Führungskräfte.
- Die Teilnehmenden meldeten sich selbst, und die Behörden starteten zu unterschiedlichen Zeiten mit unterschiedlichen Copilot-Versionen. Die Ergebnisse spiegeln daher möglicherweise nicht den gesamten öffentlichen Dienst wider.
- Die Angaben zum Umfang weichen voneinander ab. Der DTA-Artikel nennt über 7.600 Beschäftigte in mehr als 60 Behörden, der Evaluationsbericht knapp 5.765 Lizenzen in 56 Behörden und iTnews rund 5765 Lizenzen.
- Die Quellen nennen Microsoft 365 Copilot, aber nicht das darunterliegende Sprachmodell. Das Modell wird daher als nicht offengelegt angegeben.
- Die DTA-Seiten konnten nicht direkt abgerufen werden und wurden anhand von Kopien auf web.archive.org gelesen. Der DTA-Artikel ist auf den 23. Oktober 2024 datiert. Das Zusammenfassungs-PDF enthält außer einem Urheberrechtsvermerk für 2024 kein Datum, daher wird für es keines angegeben.
Quellen
- Evaluation of whole-of-government trial into generative AI: Now available
Digital Transformation Agency · 2024-10-23 · Pressemitteilung · dta.gov.au
- Evaluation of the whole-of-government trial of Microsoft 365 Copilot: Summary of evaluation findings
Digital Transformation Agency · Ohne Datum · Behördliche Meldung · digital.gov.au
- Gov Copilot trial unsettled by usage metrics and unmet expectations
iTnews · 2024-10-23 · Nachrichten · itnews.com.au
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.