Traduit de l’original anglais. Les chiffres et les sources sont inchangés. Lire l’original en anglais
Accenture
Accenture déploie GitHub Copilot et mesure son effet sur ses développeurs
Accenture et GitHub ont étudié GitHub Copilot auprès de développeurs d’Accenture, en combinant un essai randomisé, des données d’usage et une enquête. GitHub annonce plus de pull requests, un taux de fusion plus élevé et davantage de builds réussis, mais ne publie ni taille d’échantillon ni durée.
Chiffres clés
Repris tels quels des sources. Copiez n’importe quel chiffre avec sa citation.
8,69 %
Hausse du nombre de pull requests1
15 %
Hausse du taux de fusion des pull requests1
84 %
Hausse du nombre de builds réussis1
Environ 30 %
Part des suggestions de Copilot acceptées1
Ce que cela a demandé
Le coût, la taille de l’équipe et le calendrier ne sont pas communiqués dans les sources.
Le problème
Les entreprises qui achètent des assistants de codage veulent des preuves de leur effet sur de vraies équipes d’ingénieurs, pas seulement lors d’exercices en laboratoire. Accenture et GitHub ont voulu le mesurer à grande échelle.
Ce qu’ils ont construit
Une étude de GitHub Copilot utilisé par des développeurs d’Accenture dans l’ingénierie, le design et les tests, du débutant au responsable d’équipe.
Comment ils s’y sont pris
L’étude a comparé deux groupes de développeurs tirés au sort : l’un disposait de Copilot, l’autre non. Trois autres jeux de données s’y ajoutaient : des mesures de livraison, comme les pull requests, les fusions et les builds réussis ; des données d’adoption à l’échelle de l’entreprise, comme le nombre de développeurs ayant installé l’outil et la fréquence d’acceptation de ses suggestions ; et une enquête auprès des développeurs qui l’utilisent.
Résultats
GitHub annonce une hausse de 8,69 % du nombre de pull requests, de 15 % du taux de fusion et de 84 % des builds réussis. Les développeurs ont accepté environ 30 % des suggestions et conservé 88 % des caractères générés par Copilot. Dans l’enquête, 90 % se disent plus épanouis dans leur travail. Ces chiffres viennent de la publication de GitHub, avec les limites signalées plus haut.
Tous les chiffres publiés
| Indicateur | Chiffre | Citation |
|---|---|---|
| Hausse du nombre de pull requests | 8,69 %1 | |
| Hausse du taux de fusion des pull requests | 15 %1 | |
| Hausse du nombre de builds réussis | 84 %1 | |
| Part des suggestions de Copilot acceptées | Environ 30 %1 | |
| Part des caractères générés par Copilot conservés dans l’éditeur | 88 %1 | |
| Développeurs ayant installé l’extension de l’outil de codage le jour même de l’attribution de leur licence | 81,4 %1 | |
| Développeurs se disant plus épanouis dans leur travail (enquête) | 90 %1 |
Enseignements pour votre projet
Mesurez l’adoption autant que la production. L’étude suivait les installations le jour même, la première suggestion acceptée et le taux d’acceptation, en plus des pull requests et des builds.
Associez les données d’usage à une enquête, et indiquez clairement ce qui relève de l’une ou de l’autre. Les chiffres de satisfaction sont déclaratifs et ne doivent pas être mélangés à ceux de la livraison.
Demandez la taille de l’échantillon et la durée avant de reprendre les chiffres d’un fournisseur. Cette publication ne les donne pas.
Réserves
- Publié par GitHub, qui vend Copilot, avec des employés de GitHub et de Microsoft parmi les auteurs. Les résultats sont annoncés par le fournisseur.
- La publication n’indique ni taille d’échantillon, ni durée de l’étude, ni significativité statistique, et ne distingue pas les résultats de l’essai randomisé des données d’adoption et de l’enquête.
- La date du déploiement chez Accenture n’est pas précisée. La date de déploiement retenue est le mois de publication, la plus ancienne date vérifiable.
Sources
- Research: Quantifying GitHub Copilot's impact in the enterprise with Accenture
GitHub Blog · 2024-05-13 · Blog de l’entreprise · github.blog
Résumé dans nos propres mots à partir des sources ci-dessus. Une erreur ? Consultez les corrections.