Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
Australian Government Digital Transformation Agency
Rząd Australii testuje Microsoft 365 Copilot w 56 agencjach: pozytywne opinie, umiarkowane użycie
Od stycznia do czerwca 2024 roku Digital Transformation Agency przeprowadziła półroczny test Microsoft 365 Copilot w całej administracji rządowej. Opublikowana ewaluacja wykazała, że pracownicy byli nastawieni pozytywnie i zgłaszali oszczędność czasu przy kilku zadaniach, ale tylko mniej więcej co trzeci używał narzędzia codziennie, a sprawdzanie poprawności wyników zmniejszało zyski.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
77 %
Uczestnicy testu, którzy pod jego koniec byli optymistycznie nastawieni do Microsoft 365 Copilot2
86 %
Uczestnicy testu, którzy chcieli nadal korzystać z Copilota2
69 %
Ankietowani, którzy zgodzili się, że Copilot przyspieszył wykonywanie ich zadań2
Ile to kosztowało
Problem
Australijska służba publiczna chciała, aby jej pracownicy bezpiecznie wypróbowali generatywną AI na narzędziach, które już znali. Publiczne chatboty, takie jak ChatGPT, dotarły do milionów użytkowników, a rząd chciał, by pracownicy eksperymentowali w bezpiecznym, znajomym środowisku. Musiał się dowiedzieć, czy asystent AI przyniesie realne korzyści w pracy, zanim zdecyduje, jak szeroko go kupić.
Co zbudowano
Digital Transformation Agency (DTA) przeprowadziła w całej administracji test Microsoft 365 Copilot, asystenta AI wbudowanego w Worda, Teams, Outlooka i inne narzędzia Microsoftu. Test ogłoszono 16 listopada 2023 roku, a trwał od 1 stycznia do 30 czerwca 2024 roku. Copilot był już objęty istniejącymi umowami rządu z Microsoftem, co pozwoliło szybko go wdrożyć.
Jak to zrobiono
Agencje dołączały w różnym czasie, a każda rozdawała licencje pracownikom, którzy sami się zgłosili. Test ocenili DTA i firma doradcza Nous Group. Ich materiał dowodowy to trzy ankiety (przed, w trakcie i po), 24 wywiady przeprowadzone przez DTA, 17 grup fokusowych i 8 wywiadów przeprowadzonych przez Nous Group oraz sześć wewnętrznych ewaluacji agencji. Wkład wniosło ponad 2 000 uczestników.
Wyniki
Pracownicy byli nastawieni pozytywnie: 77 % było optymistami pod koniec testu, a 86 % chciało zachować Copilota. Użycie było jednak umiarkowane. Tylko jedna trzecia korzystała z niego codziennie, głównie do streszczania i przepisywania tekstów w Teams i Wordzie. Spośród ankietowanych 69 % zgodziło się, że Copilot przyspieszył ich zadania, a 61 %, że poprawił jakość. Niektóre grupy odczuwały oszczędność około godziny dziennie przy kilku zadaniach. DTA stwierdziła, że istnieją wyraźne korzyści, ale też realne bariery.
Co poszło nie tak
Poprawność wyników ograniczała zyski. Ewaluacja wykazała, że sprawdzanie i poprawianie wyników Copilota niwelowało część oszczędności, a do 7 % uczestników zgłosiło, że wydłużył on ich pracę. Funkcje Excela rozczarowały użytkowników, a problemy z dostępem do Outlooka blokowały korzystanie. Według iTnews wysokie oczekiwania w dużej mierze się nie spełniły. Ewaluacja poruszyła też obawy dotyczące stanowisk dla osób zaczynających karierę, uprzedzeń na rzecz zachodnich norm i uzależnienia od jednego dostawcy.
Wszystkie zgłoszone liczby
| Miara | Liczba | Przypis |
|---|---|---|
| Uczestnicy testu, którzy pod jego koniec byli optymistycznie nastawieni do Microsoft 365 Copilot | 77 %2 | |
| Uczestnicy testu, którzy chcieli nadal korzystać z Copilota | 86 %2 | |
| Uczestnicy testu, którzy korzystali z Copilota codziennie | 1 na 32 | |
| Ankietowani, którzy zgodzili się, że Copilot przyspieszył wykonywanie ich zadań | 69 %2 | |
| Ankietowani, którzy zgodzili się, że Copilot poprawił jakość ich pracy | 61 %2 | |
| Odczuwana oszczędność czasu przy streszczaniu, pierwszych wersjach tekstów i wyszukiwaniu, wśród pracowników na poziomach APS od 3 do 6, Executive Level 1 oraz w rolach ICT | około godziny dziennie2 | |
| Uczestnicy testu, którzy zgłosili, że Copilot wydłużył niektóre czynności | Do 7 %2 |
Wnioski dla Twojego projektu
Zaplanujcie budżet na szkolenia i dostosujcie je do własnej pracy. W teście 75 % osób, które przeszły co najmniej trzy formy szkolenia, czuło się pewnie w pracy z Copilotem, czyli o 28 punktów procentowych więcej niż osoby z jedną formą.
Wybierzcie przypadki użycia, zanim rozdacie licencje. Ewaluacja wykazała, że ludzie głównie streszczali i przepisywali teksty, a wskazanie konkretnych przypadków użycia mogło zwiększyć korzystanie.
Testujcie narzędzia, z których ludzie naprawdę korzystają. Copilot dobrze działał w Wordzie i Teams, ale problemy w Excelu i Outlooku hamowały użycie.
Zaplanujcie sprawdzanie wyników. Według ewaluacji weryfikowanie i poprawianie wyników Copilota zjadło część oszczędności czasu, więc mierzcie czas zaoszczędzony netto, a nie tylko szybkość pierwszej wersji.
Najpierw uporządkujcie uprawnienia do danych. Ewaluacja ostrzega, że Copilot może wzmacniać złe nawyki w zakresie bezpieczeństwa danych i zarządzania informacją.
Zastrzeżenia
- Liczby pochodzą z własnej ewaluacji Digital Transformation Agency, opartej głównie na ankietach samooceny i grupach fokusowych. iTnews zauważa, że ewaluacja opiera się w całości na samoocenie i nadreprezentuje kadrę kierowniczą.
- Uczestnicy zgłaszali się sami, a agencje zaczynały w różnym czasie, na różnych wersjach Copilota, więc wyniki mogą nie odzwierciedlać całej służby publicznej.
- Dane o skali się różnią. Artykuł DTA mówi o ponad 7 600 pracownikach w ponad 60 agencjach, raport z ewaluacji o prawie 5 765 licencjach w 56 agencjach, a iTnews o około 5765 licencjach.
- Źródła podają Microsoft 365 Copilot, ale nie model językowy, na którym działa, więc model oznaczono jako nieujawniony.
- Strony DTA nie mogły zostać pobrane bezpośrednio i odczytano je z kopii w web.archive.org. Artykuł DTA nosi datę 23 października 2024 roku. Podsumowanie w formacie PDF nie zawiera daty poza informacją o prawach autorskich z 2024 roku, więc dla niego nie podano daty.
Źródła
- Evaluation of whole-of-government trial into generative AI: Now available
Digital Transformation Agency · 2024-10-23 · Komunikat prasowy · dta.gov.au
- Evaluation of the whole-of-government trial of Microsoft 365 Copilot: Summary of evaluation findings
Digital Transformation Agency · Bez daty · Dokument urzędowy · digital.gov.au
- Gov Copilot trial unsettled by usage metrics and unmet expectations
iTnews · 2024-10-23 · Wiadomości · itnews.com.au
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.