Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
City of Yokosuka
Miasto Yokosuka testuje ChatGPT z około 3 800 pracownikami, a potem przechodzi do pełnego wdrożenia
W kwietniu 2023 r. japońskie miasto Yokosuka udostępniło ChatGPT wszystkim pracownikom korzystającym z wewnętrznego komunikatora, czyli około 3 800 osobom. Po 41 dniach z narzędzia skorzystało 1 913 z 3 828 pracowników, mniej więcej połowa, a 76,0 % respondentów ankiety końcowej chciało z niego korzystać dalej. Miasto odnotowało też skargi na dokładność odpowiedzi i ogłosiło przejście do pełnego wdrożenia.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
1 913
Pracownicy z czatem ChatGPT do 31 maja 2023 r., spośród 3 828 pracowników, w pierwszych 41 dniach testu1
25 897
Wiadomości wysłane do bota ChatGPT w pierwszych 41 dniach testu1
76,0 %
Respondenci ankiety końcowej (n=433), którzy chcą dalej korzystać z ChatGPT1
co najmniej około 10 minut
Szacunek miasta dotyczący oszczędzonego czasu pracy dziennie, według Government Transformation2
Ile to kosztowało
Problem
Yokosuka, miasto w Japonii, chciała sprawdzić, czy ogólny chatbot AI może skrócić czas poświęcany na redagowanie, streszczanie i korektę dokumentów, bez ujawniania danych osobowych.
Co zbudowano
Od 20 kwietnia 2023 r. miasto udostępniło ChatGPT każdemu pracownikowi, który może korzystać z wewnętrznego komunikatora LoGo Chat, czyli około 3 800 osobom. Pracownicy rozmawiali z botem ChatGPT w narzędziu, którego już używali. Nie wolno było wprowadzać danych osobowych.
Jak to zrobiono
Test przeprowadzono jako eksperyment z dwiema ankietami wśród pracowników. Pierwsza trwała od 27 kwietnia do 2 maja, a druga od 23 do 29 maja. Pomiędzy nimi miasto rozesłało dwa numery newslettera dla pracowników z poradami, jak dobrze korzystać z ChatGPT. Pytania w obu ankietach były takie same, dzięki czemu miasto mogło porównać wyniki. Miasto przeprowadziło też rozmowy z użytkownikami o tym, jak oszczędzali czas. Bot korzystał z ChatGPT-3.5-turbo.
Wyniki
Do 31 maja 1 913 z 3 828 pracowników, czyli 50 %, miało czat z botem i wysłało 25 897 wiadomości. W ankiecie końcowej miasto podaje, że ponad 80 % uznało, iż ChatGPT zwiększy efektywność ich pracy, a 76,0 % chciało z niego korzystać dalej. Osobno miasto obliczyło przybliżony szacunek około 22 700 godzin pracy rocznie wyłącznie na redagowaniu dokumentów, przy założeniu 10 minut oszczędności dziennie dla 29,3 % użytkowników, którzy redagują dokumenty. Government Transformation podało szacunek miasta jako co najmniej około 10 minut oszczędności dziennie.
Co poszło nie tak
Nie wszyscy pracownicy byli zadowoleni. Wielu używało ChatGPT do wyszukiwania jak w sieci, do czego według miasta nadaje się słabo, a miasto podaje, że prawie połowa respondentów była niezadowolona z dokładności odpowiedzi. Miasto odpowiedziało szkoleniami i planem przejścia na GPT-4.
Wszystkie zgłoszone liczby
| Miara | Liczba | Przypis |
|---|---|---|
| Pracownicy z czatem ChatGPT do 31 maja 2023 r., spośród 3 828 pracowników, w pierwszych 41 dniach testu | 1 9131 | |
| Wiadomości wysłane do bota ChatGPT w pierwszych 41 dniach testu | 25 8971 | |
| Respondenci ankiety końcowej (n=433), którzy chcą dalej korzystać z ChatGPT | 76,0 %1 | |
| Szacunek miasta dotyczący oszczędzonego czasu pracy dziennie, według Government Transformation | co najmniej około 10 minut2 | |
| Przybliżony szacunek miasta (obliczenie oparte na założeniach, nie zmierzona oszczędność) godzin pracy oszczędzanych rocznie na redagowaniu dokumentów, przy 1 913 użytkownikach, z których 29,3 % używa narzędzia do redagowania, 10 minutach oszczędności dziennie i 243 dniach roboczych | 22 700 godzin1 |
Wnioski dla Twojego projektu
Warto przeprowadzić krótki, mierzony test, zanim się zobowiążecie. Yokosuka zrobiła dwie ankiety wśród pracowników w odstępie sześciu tygodni i pierwszą wykorzystała do usunięcia problemów przed drugą.
Warto nauczyć ludzi, jak pytać. Pierwsza ankieta pokazała, że wielu pracowników używało ChatGPT do wyszukiwania jak w sieci, co jest słabym zastosowaniem. Wewnętrzny newsletter z poradami zmniejszył ten odsetek.
Umieśćcie narzędzie tam, gdzie pracownicy już pracują. Yokosuka połączyła ChatGPT z komunikatorem, z którego korzystał już każdy pracownik.
Ustalcie zasady dotyczące danych od pierwszego dnia. Miasto nie pozwalało wprowadzać danych osobowych.
Uwzględnijcie skargi na dokładność. Niezadowolenie pracowników z odpowiedzi pozostało wysokie, więc miasto zaplanowało mocniejszy model (GPT-4) i szkolenia.
Zastrzeżenia
- Dane pochodzą od samego miasta. 22 700 godzin to przybliżony szacunek oparty na własnych założeniach miasta, nie zmierzona oszczędność; mnoży on liczbę użytkowników przez założone 10 minut dziennie.
- Odsetek odpowiedzi w ankietach był niski: 693 pracowników w pierwszej ankiecie (około 18 %) i 433 w końcowej (około 11 %). Wyniki mogą nie reprezentować wszystkich pracowników.
- Według raportu miasta ponad 40 % respondentów ankiety końcowej widziało niewłaściwe odpowiedzi, a prawie połowa była niezadowolona z dokładności odpowiedzi. Miasto planowało przejście z ChatGPT-3.5-turbo na GPT-4.
- Raport miasta mówi, że planowano pełne wdrożenie, doradcę ds. strategii AI i szkolenia. Te źródła nie wyjaśniają, czy to zrealizowano.
Źródła
- ChatGPT活用実証結果報告
City of Yokosuka, Digital Government Promotion Division · 2023-06-05 · Komunikat prasowy · city.yokosuka.kanagawa.jp
- Japan to use ChatGPT as a tool in city government
Government Transformation · 2023-06-27 · Wiadomości · government-transformation.com
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.