Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
UK Department for Work and Pensions
Brytyjski DWP daje 3 549 pracownikom Microsoft 365 Copilot i szacuje 19 minut oszczędności dziennie wobec grupy porównawczej
Brytyjski Department for Work and Pensions przyznał licencje Microsoft 365 Copilot 3 549 pracownikom centrali na sześć miesięcy i porównał ich odpowiedzi w ankiecie z odpowiedziami próby kolegów bez licencji. Model departamentu szacuje średnią oszczędność 19 minut dziennie w ośmiu rutynowych zadaniach. Departament ostrzega, że wyniki pochodzą z samodzielnych deklaracji i nie z badania randomizowanego.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
19
minut
Szacowany średni czas zaoszczędzony dziennie w ośmiu rutynowych zadaniach, posiadacze licencji wobec grupy porównawczej, z modelu regresji departamentu ze wszystkimi zmiennymi kontrolnymi1
0,56
punktu
Wzrost satysfakcji z pracy w 7-stopniowej skali względem osób niekorzystających, z modelu regresji departamentu1
0,49
punktu
Wzrost postrzeganej jakości pracy w 7-stopniowej skali względem grupy porównawczej, z modelu regresji departamentu1
90 %
Użytkownicy w ankiecie, którzy wskazali, że Copilot pomógł im zaoszczędzić czas1
Ile to kosztowało
Problem
Duży departament rządowy poświęca znaczną część czasu pracowników na rutynowe zadania, takie jak pisanie e-maili, szukanie informacji i streszczanie dokumentów. DWP chciał mieć dowody, czy płatny asystent AI oszczędza czas i poprawia pracę oraz czy wcześniejsze wyniki rządowe wytrzymują porównanie z grupą porównawczą.
Co zbudowano
DWP przeprowadził próbę licencjonowanej wersji Microsoft 365 Copilot. To asystent AI wbudowany w Word, Outlook, Teams i inne aplikacje Microsoftu, z dostępem do danych organizacji użytkownika. Licencje trafiły do pracowników centrali w 12 grupach powiązanych z obszarami działalności, takimi jak cyfryzacja, polityka i finanse.
Jak to zrobiono
Między październikiem 2024 r. a marcem 2025 r. DWP przydzielił 3 549 licencji ochotnikom i osobom wskazanym przez współpracowników. Badacze wysłali ankietę do wszystkich posiadaczy licencji i do losowej próby warstwowej 9 300 pracowników bez licencji, otrzymując 1 716 i 2 535 odpowiedzi. Porównali obie grupy analizą regresji, metodą statystyczną, która koryguje różnice, takie jak stopień służbowy i zainteresowanie AI, oraz dodali 19 wywiadów z pracownikami.
Wyniki
Model oszacował średnią oszczędność 19 minut dziennie w ośmiu rutynowych zadaniach. Według raportu największe skrócenia dotyczyły szukania informacji i pisania e-maili. Satysfakcja z pracy była o 0,56 punktu wyższa, a postrzegana jakość pracy o 0,49 punktu wyższa, w 7-stopniowej skali, niż w grupie porównawczej. W ankiecie 90 % użytkowników powiedziało, że Copilot pomógł im zaoszczędzić czas, a 65 % korzystało z niego codziennie. Użytkownicy mówili, że reinwestowali ten czas w realizację projektów, planowanie i wsparcie dla kadry kierowniczej.
Co warto powtórzyć
Warto ustalić miary wyników i plan analizy przed zbieraniem danych oraz ankietować grupę porównawczą, jak zrobił DWP, aby wynik można było czytać obok innych prób. Warto też zebrać stan wyjściowy, czego DWP nie zrobił.
Wszystkie zgłoszone liczby
| Miara | Liczba | Przypis |
|---|---|---|
| Szacowany średni czas zaoszczędzony dziennie w ośmiu rutynowych zadaniach, posiadacze licencji wobec grupy porównawczej, z modelu regresji departamentu ze wszystkimi zmiennymi kontrolnymi | 19 minut1 | |
| Wzrost satysfakcji z pracy w 7-stopniowej skali względem osób niekorzystających, z modelu regresji departamentu | 0,56 punktu1 | |
| Wzrost postrzeganej jakości pracy w 7-stopniowej skali względem grupy porównawczej, z modelu regresji departamentu | 0,49 punktu1 | |
| Użytkownicy w ankiecie, którzy wskazali, że Copilot pomógł im zaoszczędzić czas | 90 %1 | |
| Użytkownicy w ankiecie, którzy zadeklarowali codzienne korzystanie z Copilota | 65 %1 |
Wnioski dla Twojego projektu
Warto włączyć grupę porównawczą do próby. DWP ankietował posiadaczy licencji i losową próbę warstwową pracowników bez licencji, dzięki czemu może oszacować różnicę, a nie tylko zgłaszać opinie.
Warto kontrolować, jak bardzo ludzie są entuzjastami AI. Szacowana oszczędność rosła, gdy model uwzględniał zainteresowanie AI i doświadczenie z nią, więc pominięcie tego może zniekształcić efekt.
Warto zaplanować szkolenia dopasowane do ról. Większość użytkowników uczyła się sama, a wielu prosiło o sesje dla konkretnych ról i krótkie ściągawki.
Warto utrzymać kontrolę człowieka. Użytkownicy opisywali Copilota jako punkt wyjścia, którego wynik wymagał ich redakcji i oceny.
Zastrzeżenia
- Departament oceniał własną próbę. Wszystkie wyniki pochodzą z samodzielnych deklaracji w ankietach, bez obiektywnego pomiaru czasu.
- Licencje trafiły do ochotników i osób wskazanych przez współpracowników, według kolejności zgłoszeń, więc nie było to badanie randomizowane i możliwe jest obciążenie doborem. Przed próbą nie zebrano stanu wyjściowego.
- 19 minut pochodzi z modelu, który kontroluje zainteresowanie AI i doświadczenie z nią. Modele bez tych kontroli dają niższe szacunki, między 10 a 12 minut w tabeli 4.3 raportu, co raport tłumaczy tym, że pracownicy entuzjastycznie nastawieni do AI i tak poświęcają zadaniom więcej czasu.
- Próba objęła tylko pracowników centrali. Pracownicy Jobcentre i inni pracownicy pierwszej linii nie mieli licencji, a bezpłatna wersja Copilota dotarła do wszystkich pracowników dopiero w kwietniu 2025 r., po badaniu terenowym.
- Źródła podają nazwę produktu, Microsoft 365 Copilot, ale nie podają bazowego modelu językowego.
- DWP uczestniczył też w odrębnej, międzyresortowej próbie Copilota prowadzonej przez Government Digital Service. Ten przypadek dotyczy własnej oceny DWP, opublikowanej osobno.
Źródła
- An Evaluation of DWP's Microsoft 365 Copilot Trial
GOV.UK (Department for Work and Pensions) · 2026-01-29 · Publikacja naukowa · gov.uk
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.