Traduit de l’original anglais. Les chiffres et les sources sont inchangés. Lire l’original en anglais
Australian Government Digital Transformation Agency
Le gouvernement australien teste Microsoft 365 Copilot dans 56 agences : avis positifs, usage modéré
De janvier à juin 2024, la Digital Transformation Agency a mené un essai de six mois à l’échelle de l’administration avec Microsoft 365 Copilot. Son évaluation publiée conclut que les agents étaient positifs et déclaraient gagner du temps sur quelques tâches, mais que seul environ un sur trois utilisait l’outil chaque jour et que les vérifications d’exactitude réduisaient les gains.
Chiffres clés
Repris tels quels des sources. Copiez n’importe quel chiffre avec sa citation.
77 %
Participants à l’essai optimistes à propos de Microsoft 365 Copilot à la fin de l’essai2
86 %
Participants à l’essai qui souhaitaient continuer à utiliser Copilot2
69 %
Répondants à l’enquête qui jugeaient que Copilot avait accéléré l’exécution de leurs tâches2
Ce que cela a demandé
Le problème
La fonction publique australienne voulait que ses agents essaient l’IA générative en toute sécurité, sur des outils qu’ils connaissaient déjà. Des chatbots publics comme ChatGPT avaient atteint des millions d’utilisateurs, et le gouvernement souhaitait que ses agents expérimentent dans un cadre sûr et familier. Il lui fallait savoir si un assistant d’IA apporterait de vrais gains au travail avant de décider de l’acheter à grande échelle.
Ce qu’ils ont construit
La Digital Transformation Agency (DTA) a mené un essai de Microsoft 365 Copilot à l’échelle de l’administration, un assistant d’IA intégré à Word, Teams, Outlook et d’autres outils Microsoft. L’essai a été annoncé le 16 novembre 2023 et s’est déroulé du 1er janvier au 30 juin 2024. Copilot était déjà couvert par les contrats existants du gouvernement avec Microsoft, ce qui a permis de le déployer rapidement.
Comment ils s’y sont pris
Les agences ont rejoint l’essai à des dates différentes, et chacune a distribué des licences à des agents qui s’étaient portés volontaires. La DTA et le cabinet de conseil Nous Group ont évalué l’essai. Leurs données comprenaient trois enquêtes (avant, pendant et après), 24 entretiens menés par la DTA, 17 groupes de discussion et 8 entretiens menés par Nous Group, ainsi que six évaluations internes d’agences. Plus de 2 000 participants y ont contribué.
Résultats
Les agents étaient positifs : 77 % étaient optimistes à la fin et 86 % voulaient conserver Copilot. L’usage restait toutefois modéré. Seul un tiers l’utilisait chaque jour, surtout pour résumer et réécrire des textes dans Teams et Word. Parmi les répondants à l’enquête, 69 % jugeaient que Copilot accélérait leurs tâches et 61 % qu’il améliorait la qualité. Certains groupes percevaient des gains d’environ une heure par jour sur quelques tâches. La DTA a conclu qu’il existe des avantages nets, mais aussi de vrais obstacles.
Ce qui a mal tourné
L’exactitude a limité les gains. L’évaluation a constaté que vérifier et corriger les productions de Copilot annulait une partie des économies, et jusqu’à 7 % des participants ont déclaré qu’il leur avait fait perdre du temps. Les fonctions d’Excel ont déçu les utilisateurs et des problèmes d’accès à Outlook ont bloqué l’usage. Selon iTnews, les attentes élevées n’ont en grande partie pas été satisfaites. L’évaluation a aussi soulevé des inquiétudes sur les emplois de débutants, sur un biais en faveur des normes occidentales et sur la dépendance à un seul fournisseur.
Tous les chiffres publiés
| Indicateur | Chiffre | Citation |
|---|---|---|
| Participants à l’essai optimistes à propos de Microsoft 365 Copilot à la fin de l’essai | 77 %2 | |
| Participants à l’essai qui souhaitaient continuer à utiliser Copilot | 86 %2 | |
| Participants à l’essai qui utilisaient Copilot chaque jour | 1 sur 32 | |
| Répondants à l’enquête qui jugeaient que Copilot avait accéléré l’exécution de leurs tâches | 69 %2 | |
| Répondants à l’enquête qui jugeaient que Copilot avait amélioré la qualité de leur travail | 61 %2 | |
| Temps gagné perçu sur la synthèse, les premières versions et la recherche, pour les agents des niveaux APS 3 à 6, Executive Level 1 et des fonctions informatiques | environ une heure par jour2 | |
| Participants à l’essai qui ont déclaré que Copilot avait allongé certaines activités | Jusqu’à 7 %2 |
Enseignements pour votre projet
Prévoyez un budget de formation et adaptez-la à votre propre travail. Dans l’essai, 75 % des personnes ayant suivi trois formes de formation ou plus se sentaient à l’aise avec Copilot, soit 28 points de pourcentage de plus que celles qui n’en avaient suivi qu’une.
Choisissez les cas d’usage avant de distribuer les licences. L’évaluation a constaté que les gens résumaient et réécrivaient surtout des textes, et que citer des cas d’usage précis pouvait augmenter l’usage.
Testez les outils que vos équipes utilisent vraiment. Copilot fonctionnait bien dans Word et Teams, mais des problèmes dans Excel et Outlook ont freiné l’usage.
Prévoyez la vérification. Selon l’évaluation, contrôler et corriger les productions de Copilot a effacé une partie des gains de temps : mesurez donc le temps net gagné, pas seulement la rapidité d’une première version.
Réglez d’abord les droits d’accès aux données. L’évaluation avertit que Copilot peut amplifier de mauvaises pratiques de sécurité des données et de gestion de l’information.
Réserves
- Les chiffres proviennent de l’évaluation de la Digital Transformation Agency elle-même, fondée surtout sur des enquêtes d’auto-évaluation et des groupes de discussion. iTnews note que l’évaluation repose entièrement sur l’auto-évaluation et surreprésente les cadres dirigeants.
- Les participants se sont portés volontaires et les agences ont démarré à des moments différents avec des versions différentes de Copilot ; les résultats peuvent donc ne pas refléter l’ensemble de la fonction publique.
- Les chiffres d’échelle diffèrent. L’article de la DTA évoque plus de 7 600 agents dans plus de 60 agences, le rapport d’évaluation près de 5 765 licences dans 56 agences, et iTnews environ 5765 licences.
- Les sources nomment Microsoft 365 Copilot mais pas le modèle de langage qui le sous-tend ; le modèle est donc indiqué comme non divulgué.
- Les pages de la DTA n’ont pas pu être récupérées directement et ont été lues à partir de copies de web.archive.org. L’article de la DTA est daté du 23 octobre 2024. Le PDF de synthèse n’imprime aucune date en dehors d’une mention de droits d’auteur de 2024 ; aucune date n’est donc donnée pour lui.
Sources
- Evaluation of whole-of-government trial into generative AI: Now available
Digital Transformation Agency · 2024-10-23 · Communiqué de presse · dta.gov.au
- Evaluation of the whole-of-government trial of Microsoft 365 Copilot: Summary of evaluation findings
Digital Transformation Agency · Sans date · Document réglementaire · digital.gov.au
- Gov Copilot trial unsettled by usage metrics and unmet expectations
iTnews · 2024-10-23 · Presse · itnews.com.au
Résumé dans nos propres mots à partir des sources ci-dessus. Une erreur ? Consultez les corrections.