Traduit de l’original anglais. Les chiffres et les sources sont inchangés. Lire l’original en anglais
City of Yokosuka
La ville de Yokosuka teste ChatGPT auprès d’environ 3 800 agents, puis passe à un déploiement complet
En avril 2023, la ville japonaise de Yokosuka a donné accès à ChatGPT à tous les agents qui utilisent son outil de messagerie interne, soit environ 3 800 personnes. Au bout de 41 jours, 1 913 des 3 828 agents, environ la moitié, l’avaient utilisé, et 76,0 % des répondants à l’enquête finale souhaitaient continuer. La ville a aussi relevé des critiques sur la fiabilité des réponses et annoncé son passage à un déploiement complet.
Chiffres clés
Repris tels quels des sources. Copiez n’importe quel chiffre avec sa citation.
1 913
Agents disposant d’un salon de discussion ChatGPT au 31 mai 2023, sur 3 828 agents, pendant les 41 premiers jours de l’essai1
25 897
Messages envoyés au robot ChatGPT pendant les 41 premiers jours de l’essai1
76,0 %
Répondants à l’enquête finale (n=433) qui souhaitent continuer à utiliser ChatGPT1
au moins environ 10 minutes
Estimation par la ville du temps de travail gagné par jour, selon Government Transformation2
Ce que cela a demandé
Le problème
Yokosuka, une ville du Japon, voulait savoir si un agent conversationnel généraliste pouvait réduire le temps passé à rédiger, résumer et relire des documents, sans exposer de données personnelles.
Ce qu’ils ont construit
Depuis le 20 avril 2023, la ville met ChatGPT à la disposition de tous les employés qui peuvent utiliser son outil de messagerie interne, LoGo Chat, soit environ 3 800 personnes. Les agents dialoguaient avec un robot ChatGPT intégré à l’outil qu’ils utilisaient déjà. La saisie d’informations personnelles n’était pas autorisée.
Comment ils s’y sont pris
L’essai a été mené comme une expérience, avec deux enquêtes auprès des agents. La première s’est déroulée du 27 avril au 2 mai, la seconde du 23 au 29 mai. Entre les deux, la ville a envoyé deux numéros d’une lettre d’information avec des conseils pour bien utiliser ChatGPT. Les questions étaient identiques dans les deux enquêtes, ce qui permettait de comparer les résultats. La ville a aussi interrogé des utilisateurs sur la manière dont ils gagnaient du temps. Le robot utilisait ChatGPT-3.5-turbo.
Résultats
Au 31 mai, 1 913 des 3 828 agents, soit 50 %, avaient un salon de discussion avec le robot et avaient envoyé 25 897 messages. Dans l’enquête finale, la ville indique que plus de 80 % des répondants estimaient que ChatGPT améliorerait leur efficacité au travail, et que 76,0 % souhaitaient continuer à l’utiliser. Par ailleurs, la ville a calculé une estimation approximative d’environ 22 700 heures de travail par an pour la seule rédaction de documents, en supposant 10 minutes gagnées par jour pour les 29,3 % d’utilisateurs qui rédigent des documents. Government Transformation a rapporté que la ville estimait le gain à au moins environ 10 minutes par jour.
Ce qui a mal tourné
Les agents n’étaient pas tous satisfaits. Beaucoup utilisaient ChatGPT pour des recherches de type web, ce que la ville juge peu adapté, et elle indique que près de la moitié des répondants étaient insatisfaits de la fiabilité des réponses. La ville a réagi par des formations et un projet de passage à GPT-4.
Tous les chiffres publiés
| Indicateur | Chiffre | Citation |
|---|---|---|
| Agents disposant d’un salon de discussion ChatGPT au 31 mai 2023, sur 3 828 agents, pendant les 41 premiers jours de l’essai | 1 9131 | |
| Messages envoyés au robot ChatGPT pendant les 41 premiers jours de l’essai | 25 8971 | |
| Répondants à l’enquête finale (n=433) qui souhaitent continuer à utiliser ChatGPT | 76,0 %1 | |
| Estimation par la ville du temps de travail gagné par jour, selon Government Transformation | au moins environ 10 minutes2 | |
| Estimation approximative de la ville (un calcul fondé sur des hypothèses, non une économie mesurée) des heures de travail économisées par an sur la rédaction de documents, à partir de 1 913 utilisateurs, dont 29,3 % l’utilisent pour rédiger, 10 minutes gagnées par jour et 243 jours ouvrés | 22 700 heures1 |
Enseignements pour votre projet
Menez un essai court et mesuré avant de vous engager. Yokosuka a réalisé deux enquêtes auprès des agents à six semaines d’intervalle et s’est servie de la première pour corriger les problèmes de la seconde.
Apprenez aux équipes à poser leurs questions. La première enquête montrait que beaucoup d’agents utilisaient ChatGPT comme un moteur de recherche web, un usage peu adapté. Une lettre d’information interne avec des conseils a réduit cette part.
Placez l’outil là où les agents travaillent déjà. Yokosuka a connecté ChatGPT à l’outil de messagerie que chaque employé utilisait déjà.
Fixez des règles sur les données dès le premier jour. La ville n’autorisait pas la saisie d’informations personnelles.
Anticipez les critiques sur la fiabilité. L’insatisfaction des agents vis-à-vis des réponses est restée élevée ; la ville a donc prévu un modèle plus puissant (GPT-4) et des formations.
Réserves
- Les chiffres viennent de la ville elle-même. Les 22 700 heures sont une estimation approximative construite sur les hypothèses de la ville, et non une économie mesurée ; elle multiplie le nombre d’utilisateurs par 10 minutes supposées gagnées par jour.
- Les taux de réponse aux enquêtes étaient faibles : 693 agents pour la première enquête (environ 18 %) et 433 pour l’enquête finale (environ 11 %). Les résultats ne représentent peut-être pas l’ensemble des agents.
- Selon le rapport de la ville, plus de 40 % des répondants à l’enquête finale ont vu des réponses inappropriées et près de la moitié étaient mécontents de la fiabilité des réponses. La ville prévoyait de passer de ChatGPT-3.5-turbo à GPT-4.
- Le rapport de la ville indique que le déploiement complet, un conseiller en stratégie IA et des formations étaient prévus. Ces sources ne disent pas si cela a été réalisé.
Sources
- ChatGPT活用実証結果報告
City of Yokosuka, Digital Government Promotion Division · 2023-06-05 · Communiqué de presse · city.yokosuka.kanagawa.jp
- Japan to use ChatGPT as a tool in city government
Government Transformation · 2023-06-27 · Presse · government-transformation.com
Résumé dans nos propres mots à partir des sources ci-dessus. Une erreur ? Consultez les corrections.