Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
City of Yokosuka
Die Stadt Yokosuka testet ChatGPT mit rund 3.800 Beschäftigten und geht dann zur vollständigen Einführung über
Im April 2023 gab die japanische Stadt Yokosuka allen Beschäftigten, die ihr internes Chat-Tool nutzen, Zugang zu ChatGPT, rund 3.800 Personen. Nach 41 Tagen hatten 1.913 von 3.828 Beschäftigten, etwa die Hälfte, es genutzt, und 76,0 % der Befragten der Abschlussumfrage wollten es weiter nutzen. Die Stadt stellte auch Beschwerden über die Genauigkeit fest und kündigte den Übergang zur vollständigen Einführung an.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
1.913
Beschäftigte mit einem ChatGPT-Chatraum bis zum 31. Mai 2023, von 3.828 Beschäftigten, in den ersten 41 Tagen des Tests1
25.897
An den ChatGPT-Bot gesendete Nachrichten in den ersten 41 Tagen des Tests1
76,0 %
Befragte der Abschlussumfrage (n=433), die ChatGPT weiter nutzen möchten1
mindestens etwa 10 Minuten
Schätzung der Stadt zur täglich gesparten Arbeitszeit, laut Government Transformation2
Was es erforderte
Das Problem
Yokosuka, eine Stadt in Japan, wollte wissen, ob ein allgemeiner KI-Chatbot den Zeitaufwand für das Verfassen, Zusammenfassen und Korrekturlesen von Dokumenten senken kann, ohne personenbezogene Daten preiszugeben.
Was sie gebaut haben
Ab dem 20. April 2023 stellte die Stadt ChatGPT allen Beschäftigten zur Verfügung, die ihr internes Chat-Tool LoGo Chat nutzen können, rund 3.800 Personen. Die Beschäftigten sprachen mit einem ChatGPT-Bot in dem Tool, das sie ohnehin nutzten. Personenbezogene Daten sollten nicht eingegeben werden.
Wie sie vorgegangen sind
Der Test wurde als Experiment mit zwei Mitarbeiterumfragen durchgeführt. Die erste lief vom 27. April bis 2. Mai, die zweite vom 23. bis 29. Mai. Dazwischen verschickte die Stadt zwei Ausgaben eines Mitarbeiter-Rundschreibens mit Tipps für den guten Umgang mit ChatGPT. Die Fragen waren in beiden Umfragen gleich, sodass die Stadt die Ergebnisse vergleichen konnte. Die Stadt befragte außerdem Nutzer dazu, wie sie Zeit sparten. Der Bot nutzte ChatGPT-3.5-turbo.
Ergebnisse
Bis zum 31. Mai hatten 1.913 von 3.828 Beschäftigten, 50 %, einen Chatraum mit dem Bot und hatten 25.897 Nachrichten gesendet. In der Abschlussumfrage sagten laut Stadt über 80 %, ChatGPT werde ihre Arbeitseffizienz steigern, und 76,0 % wollten es weiter nutzen. Gesondert berechnete die Stadt eine grobe Schätzung von etwa 22.700 Arbeitsstunden pro Jahr allein für das Verfassen von Dokumenten, unter der Annahme von 10 Minuten Ersparnis pro Tag für die 29,3 % der Nutzer, die Dokumente verfassen. Government Transformation berichtete die Schätzung der Stadt als mindestens etwa 10 Minuten gesparte Zeit pro Tag.
Was schiefgelaufen ist
Nicht alle Beschäftigten waren zufrieden. Viele nutzten ChatGPT für eine Suche wie im Web, wofür es laut Stadt schlecht geeignet ist, und die Stadt berichtet, dass fast die Hälfte der Befragten mit der Genauigkeit der Antworten unzufrieden war. Die Stadt reagierte mit Schulungen und dem Plan, auf GPT-4 umzusteigen.
Alle berichteten Zahlen
| Messgröße | Wert | Quellenangabe |
|---|---|---|
| Beschäftigte mit einem ChatGPT-Chatraum bis zum 31. Mai 2023, von 3.828 Beschäftigten, in den ersten 41 Tagen des Tests | 1.9131 | |
| An den ChatGPT-Bot gesendete Nachrichten in den ersten 41 Tagen des Tests | 25.8971 | |
| Befragte der Abschlussumfrage (n=433), die ChatGPT weiter nutzen möchten | 76,0 %1 | |
| Schätzung der Stadt zur täglich gesparten Arbeitszeit, laut Government Transformation | mindestens etwa 10 Minuten2 | |
| Grobe Schätzung der Stadt (eine auf Annahmen beruhende Rechnung, keine gemessene Einsparung) der pro Jahr eingesparten Arbeitsstunden beim Verfassen von Dokumenten, ausgehend von 1.913 Nutzern, von denen 29,3 % es zum Verfassen nutzen, 10 Minuten Ersparnis pro Tag und 243 Arbeitstagen | 22.700 Stunden1 |
Erkenntnisse für Ihr Projekt
Führen Sie einen kurzen, gemessenen Test durch, bevor Sie sich festlegen. Yokosuka führte zwei Mitarbeiterumfragen im Abstand von sechs Wochen durch und nutzte die erste, um Probleme bis zur zweiten zu beheben.
Zeigen Sie den Beschäftigten, wie man richtig fragt. Die erste Umfrage zeigte, dass viele ChatGPT für eine Suche wie im Web nutzten, ein schwacher Einsatz. Ein internes Rundschreiben mit Tipps senkte diesen Anteil.
Bringen Sie das Werkzeug dorthin, wo die Beschäftigten ohnehin arbeiten. Yokosuka verband ChatGPT mit dem Chat-Tool, das alle Beschäftigten bereits nutzten.
Legen Sie von Anfang an Regeln für Daten fest. Die Stadt erlaubte die Eingabe personenbezogener Daten nicht.
Planen Sie Beschwerden über die Genauigkeit ein. Die Unzufriedenheit der Beschäftigten mit den Antworten blieb hoch, daher plante die Stadt ein stärkeres Modell (GPT-4) und Schulungen.
Einschränkungen
- Die Zahlen stammen von der Stadt selbst. Die 22.700 Stunden sind eine grobe Schätzung auf Grundlage der eigenen Annahmen der Stadt, keine gemessene Einsparung; sie multipliziert die Nutzerzahl mit angenommenen 10 Minuten pro Tag.
- Die Rücklaufquoten der Umfragen waren niedrig: 693 Beschäftigte in der ersten Umfrage (etwa 18 %) und 433 in der abschließenden (etwa 11 %). Die Ergebnisse sind möglicherweise nicht repräsentativ für alle Beschäftigten.
- Laut dem Bericht der Stadt sahen mehr als 40 % der Befragten der Abschlussumfrage einige unangemessene Antworten, und fast die Hälfte war mit der Genauigkeit der Antworten unzufrieden. Die Stadt plante den Wechsel von ChatGPT-3.5-turbo zu GPT-4.
- Der Bericht der Stadt nennt die vollständige Einführung, einen Berater für KI-Strategie und Schulungen als geplant. Ob dies umgesetzt wurde, behandeln diese Quellen nicht.
Quellen
- ChatGPT活用実証結果報告
City of Yokosuka, Digital Government Promotion Division · 2023-06-05 · Pressemitteilung · city.yokosuka.kanagawa.jp
- Japan to use ChatGPT as a tool in city government
Government Transformation · 2023-06-27 · Nachrichten · government-transformation.com
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.