Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
City of Yokosuka
De stad Yokosuka test ChatGPT met zo’n 3.800 medewerkers en stapt daarna over op volledige invoering
In april 2023 gaf de Japanse stad Yokosuka ChatGPT aan alle medewerkers die de interne chattool gebruiken, ongeveer 3.800 mensen. Na 41 dagen hadden 1.913 van de 3.828 medewerkers, ongeveer de helft, het gebruikt, en 76,0% van de respondenten van de eindenquête wilde het blijven gebruiken. De stad signaleerde ook klachten over de nauwkeurigheid en kondigde aan over te stappen op volledige invoering.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
1.913
Medewerkers met een ChatGPT-chatruimte op 31 mei 2023, van de 3.828 medewerkers, in de eerste 41 dagen van de proef1
25.897
Berichten naar de ChatGPT-bot in de eerste 41 dagen van de proef1
76,0%
Respondenten van de eindenquête (n=433) die ChatGPT willen blijven gebruiken1
minstens ongeveer 10 minuten
Schatting van de stad van de bespaarde werktijd per dag, zoals gemeld door Government Transformation2
Wat het kostte
Het probleem
Yokosuka, een stad in Japan, wilde weten of een algemene AI-chatbot de tijd kon verkorten die gaat naar het opstellen, samenvatten en nalezen van documenten, zonder persoonsgegevens bloot te stellen.
Wat ze bouwden
Vanaf 20 april 2023 stelde de stad ChatGPT beschikbaar aan elke medewerker die de interne chattool LoGo Chat kan gebruiken, ongeveer 3.800 mensen. Medewerkers spraken met een ChatGPT-bot binnen de tool die ze al gebruikten. Persoonsgegevens mochten niet worden ingevoerd.
Hoe ze het aanpakten
De proef werd opgezet als experiment met twee medewerkersenquêtes. De eerste liep van 27 april tot 2 mei en de tweede van 23 tot 29 mei. Tussendoor verstuurde de stad twee edities van een personeelsnieuwsbrief met tips om ChatGPT goed te gebruiken. De vragen in beide enquêtes waren dezelfde, zodat de stad de resultaten kon vergelijken. De stad interviewde ook gebruikers over hoe zij tijd bespaarden. De bot gebruikte ChatGPT-3.5-turbo.
Resultaten
Op 31 mei hadden 1.913 van de 3.828 medewerkers, 50%, een chatruimte met de bot en hadden zij 25.897 berichten verstuurd. In de eindenquête meldt de stad dat meer dan 80% zei dat ChatGPT hun werkefficiëntie zou verhogen en dat 76,0% het wilde blijven gebruiken. Daarnaast berekende de stad een ruwe schatting van ongeveer 22.700 werkuren per jaar alleen voor het opstellen van documenten, uitgaande van 10 minuten besparing per dag voor de 29,3% van de gebruikers die documenten opstellen. Government Transformation meldde de schatting van de stad als minstens ongeveer 10 minuten bespaarde tijd per dag.
Wat er misging
Niet alle medewerkers waren tevreden. Velen gebruikten ChatGPT om te zoeken zoals op het web, waarvoor het volgens de stad slecht geschikt is, en de stad meldt dat bijna de helft van de respondenten ontevreden was over de nauwkeurigheid van de antwoorden. De stad reageerde met training en een plan om over te stappen op GPT-4.
Alle gemelde cijfers
| Maatstaf | Cijfer | Bronvermelding |
|---|---|---|
| Medewerkers met een ChatGPT-chatruimte op 31 mei 2023, van de 3.828 medewerkers, in de eerste 41 dagen van de proef | 1.9131 | |
| Berichten naar de ChatGPT-bot in de eerste 41 dagen van de proef | 25.8971 | |
| Respondenten van de eindenquête (n=433) die ChatGPT willen blijven gebruiken | 76,0%1 | |
| Schatting van de stad van de bespaarde werktijd per dag, zoals gemeld door Government Transformation | minstens ongeveer 10 minuten2 | |
| Ruwe schatting van de stad (een berekening op basis van aannames, geen gemeten besparing) van de per jaar bespaarde werkuren bij het opstellen van documenten, uitgaande van 1.913 gebruikers, van wie 29,3% het voor opstellen gebruikt, 10 minuten besparing per dag en 243 werkdagen | 22.700 uur1 |
Lessen voor uw project
Voer een korte, gemeten proef uit voordat u zich vastlegt. Yokosuka hield twee medewerkersenquêtes met zes weken ertussen en gebruikte de eerste om problemen voor de tweede op te lossen.
Leer mensen hoe ze moeten vragen. De eerste enquête liet zien dat veel medewerkers ChatGPT gebruikten om te zoeken zoals op het web, een zwak gebruik. Een personeelsnieuwsbrief met tips verkleinde dat aandeel.
Zet de tool daar waar medewerkers al werken. Yokosuka koppelde ChatGPT aan de chattool die elke medewerker al gebruikte.
Stel vanaf dag één regels voor data vast. De stad stond niet toe dat persoonsgegevens werden ingevoerd.
Houd rekening met klachten over de nauwkeurigheid. De ontevredenheid van medewerkers over de antwoorden bleef hoog, dus de stad plande een sterker model (GPT-4) en training.
Kanttekeningen
- De cijfers komen van de stad zelf. De 22.700 uur is een ruwe schatting op basis van de eigen aannames van de stad, geen gemeten besparing; het vermenigvuldigt gebruikers met een veronderstelde 10 minuten per dag.
- De respons op de enquêtes was laag: 693 medewerkers in de eerste enquête (ongeveer 18%) en 433 in de laatste (ongeveer 11%). De resultaten zijn mogelijk niet representatief voor alle medewerkers.
- Volgens het rapport van de stad zag meer dan 40% van de respondenten van de eindenquête enkele ongepaste antwoorden en was bijna de helft ontevreden over de nauwkeurigheid van de antwoorden. De stad was van plan over te stappen van ChatGPT-3.5-turbo naar GPT-4.
- Het rapport van de stad zegt dat volledige invoering, een adviseur AI-strategie en training gepland waren. Of dit is gerealiseerd, behandelen deze bronnen niet.
Bronnen
- ChatGPT活用実証結果報告
City of Yokosuka, Digital Government Promotion Division · 2023-06-05 · Persbericht · city.yokosuka.kanagawa.jp
- Japan to use ChatGPT as a tool in city government
Government Transformation · 2023-06-27 · Nieuws · government-transformation.com
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.