Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
UK Department for Work and Pensions
Britisches DWP stellt 3.549 Beschäftigten Microsoft 365 Copilot bereit und schätzt 19 Minuten Zeitersparnis pro Tag gegenüber einer Vergleichsgruppe
Das britische Department for Work and Pensions gab 3.549 Beschäftigten der Zentrale sechs Monate lang Microsoft-365-Copilot-Lizenzen und verglich ihre Umfrageantworten mit denen einer Stichprobe von Kolleginnen und Kollegen ohne Lizenz. Das Modell des Ministeriums schätzt eine durchschnittliche Ersparnis von 19 Minuten pro Tag über acht Routineaufgaben. Es weist darauf hin, dass die Ergebnisse auf Selbstauskünften beruhen und nicht aus einem randomisierten Versuch stammen.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
19
Minuten
Geschätzte durchschnittliche Zeitersparnis pro Tag über acht Routineaufgaben, Lizenzinhaber gegenüber Vergleichsgruppe, aus dem Regressionsmodell des Ministeriums mit allen Kontrollvariablen1
0,56
Punkte
Anstieg der Arbeitszufriedenheit auf einer 7-Punkte-Skala gegenüber Nichtnutzenden, aus dem Regressionsmodell des Ministeriums1
0,49
Punkte
Anstieg der wahrgenommenen Arbeitsqualität auf einer 7-Punkte-Skala gegenüber der Vergleichsgruppe, aus dem Regressionsmodell des Ministeriums1
90 %
Befragte Nutzende, die angaben, dass Copilot ihnen Zeit gespart hat1
Was es erforderte
Das Problem
Ein großes Ministerium verbringt einen Großteil der Arbeitszeit seiner Beschäftigten mit Routineaufgaben wie E-Mails verfassen, Informationen suchen und Dokumente zusammenfassen. Das DWP wollte Belege dafür, ob ein kostenpflichtiger KI-Assistent Zeit spart und die Arbeit verbessert und ob frühere Ergebnisse der Regierung einem Test gegen eine Vergleichsgruppe standhalten.
Was sie gebaut haben
Das DWP führte einen Versuch mit der lizenzierten Version von Microsoft 365 Copilot durch. Das ist ein KI-Assistent, der in Word, Outlook, Teams und andere Microsoft-Anwendungen eingebaut ist und Zugriff auf die Daten der Organisation der Nutzenden hat. Die Lizenzen gingen an Beschäftigte der Zentrale in 12 Gruppen, die an Geschäftsbereiche wie Digitales, Politik und Finanzen gebunden waren.
Wie sie vorgegangen sind
Zwischen Oktober 2024 und März 2025 vergab das DWP 3.549 Lizenzen an Freiwillige und von Kolleginnen und Kollegen Vorgeschlagene. Die Forschenden schickten eine Umfrage an alle Lizenzinhaber und an eine geschichtete Zufallsstichprobe von 9.300 Beschäftigten ohne Lizenz und erhielten 1.716 und 2.535 Antworten. Sie verglichen die beiden Gruppen mit einer Regressionsanalyse, einem statistischen Verfahren, das Unterschiede wie Besoldungsgruppe und KI-Interesse ausgleicht, und ergänzten 19 Interviews mit Beschäftigten.
Ergebnisse
Das Modell schätzte eine durchschnittliche Ersparnis von 19 Minuten pro Tag über acht Routineaufgaben. Laut Bericht gab es die größten Verkürzungen bei der Informationssuche und beim Schreiben von E-Mails. Die Arbeitszufriedenheit lag auf einer 7-Punkte-Skala 0,56 Punkte höher und die wahrgenommene Arbeitsqualität 0,49 Punkte höher als in der Vergleichsgruppe. In der Umfrage sagten 90 % der Nutzenden, Copilot habe ihnen Zeit gespart, und 65 % nutzten ihn täglich. Die Nutzenden gaben an, die Zeit in Projektumsetzung, Planung und die Unterstützung von Führungskräften zu investieren.
Was Sie übernehmen können
Legen Sie Ergebnismaße und Analyseplan fest, bevor Sie Daten erheben, und befragen Sie wie das DWP eine Vergleichsgruppe, damit sich das Ergebnis neben anderen Versuchen lesen lässt. Erheben Sie außerdem eine Ausgangsbasis, was das DWP nicht getan hat.
Alle berichteten Zahlen
| Messgröße | Wert | Quellenangabe |
|---|---|---|
| Geschätzte durchschnittliche Zeitersparnis pro Tag über acht Routineaufgaben, Lizenzinhaber gegenüber Vergleichsgruppe, aus dem Regressionsmodell des Ministeriums mit allen Kontrollvariablen | 19 Minuten1 | |
| Anstieg der Arbeitszufriedenheit auf einer 7-Punkte-Skala gegenüber Nichtnutzenden, aus dem Regressionsmodell des Ministeriums | 0,56 Punkte1 | |
| Anstieg der wahrgenommenen Arbeitsqualität auf einer 7-Punkte-Skala gegenüber der Vergleichsgruppe, aus dem Regressionsmodell des Ministeriums | 0,49 Punkte1 | |
| Befragte Nutzende, die angaben, dass Copilot ihnen Zeit gespart hat | 90 %1 | |
| Befragte Nutzende, die angaben, Copilot täglich zu nutzen | 65 %1 |
Erkenntnisse für Ihr Projekt
Bauen Sie eine Vergleichsgruppe in den Versuch ein. Das DWP befragte Lizenzinhaber und eine geschichtete Zufallsstichprobe von Beschäftigten ohne Lizenz und kann so einen Unterschied schätzen, statt nur Meinungen zu berichten.
Berücksichtigen Sie, wie begeistert Menschen von KI sind. Die geschätzte Ersparnis stieg, wenn das Modell KI-Interesse und -Erfahrung einbezog; wer das auslässt, kann den Effekt falsch darstellen.
Planen Sie Schulungen, die zu den Rollen passen. Die meisten Nutzenden brachten es sich selbst bei, und viele wünschten sich rollenspezifische Sitzungen und Kurzanleitungen.
Behalten Sie die menschliche Kontrolle bei. Die Nutzenden beschrieben Copilot als Ausgangspunkt, dessen Ergebnisse ihre Bearbeitung und ihr Urteil brauchten.
Einschränkungen
- Das Ministerium hat seinen eigenen Versuch bewertet. Alle Ergebnisse beruhen auf Selbstauskünften in Umfragen, ohne objektive Zeitmessung.
- Die Lizenzen gingen nach dem Prinzip „wer zuerst kommt“ an Freiwillige und von Kolleginnen und Kollegen Vorgeschlagene; es war also kein randomisierter Versuch, und eine Auswahlverzerrung ist möglich. Vor dem Versuch wurde keine Ausgangsbasis erhoben.
- Die 19 Minuten stammen aus dem Modell, das KI-Interesse und -Erfahrung kontrolliert. Modelle ohne diese Kontrollen ergeben niedrigere Schätzungen, zwischen 10 und 12 Minuten in Tabelle 4.3 des Berichts, was der Bericht damit erklärt, dass KI-begeisterte Beschäftigte ohnehin mehr Zeit für die Aufgaben aufwenden.
- Der Versuch umfasste nur Beschäftigte der Zentrale. Jobcentre und andere Beschäftigte an der Basis hatten keine Lizenzen, und die kostenlose Version von Copilot erreichte erst im April 2025 alle Beschäftigten, nach der Feldphase.
- Die Quellen nennen das Produkt, Microsoft 365 Copilot, aber nicht das zugrunde liegende Sprachmodell.
- Das DWP nahm auch am separaten ressortübergreifenden Copilot-Versuch des Government Digital Service teil. Dieser Fall betrifft die eigene, gesondert veröffentlichte Bewertung des DWP.
Quellen
- An Evaluation of DWP's Microsoft 365 Copilot Trial
GOV.UK (Department for Work and Pensions) · 2026-01-29 · Forschungsarbeit · gov.uk
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.