Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
Accenture
Accenture führt GitHub Copilot ein und misst die Wirkung auf seine Entwickler
Accenture und GitHub haben GitHub Copilot mit Accenture-Entwicklern untersucht, kombiniert aus randomisiertem Versuch, Nutzungsdaten und Befragung. GitHub meldet mehr Pull Requests, eine höhere Merge-Quote und mehr erfolgreiche Builds, veröffentlicht aber weder Stichprobengröße noch Dauer.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
8,69 %
Anstieg bei den Pull Requests1
15 %
Anstieg der Merge-Quote bei Pull Requests1
84 %
Anstieg bei den erfolgreichen Builds1
Etwa 30 %
Anteil der akzeptierten Copilot-Vorschläge1
Was es erforderte
Kosten, Teamgröße und Zeitplan wurden in den Quellen nicht veröffentlicht.
Das Problem
Unternehmen, die Programmierassistenten kaufen, wollen Belege für die Wirkung in echten Entwicklerteams, nicht nur bei Laboraufgaben. Accenture und GitHub wollten das im großen Maßstab messen.
Was sie gebaut haben
Eine Studie zu GitHub Copilot, genutzt von Accenture-Entwicklern aus Engineering, Design und Test, vom Einsteiger bis zur Teamleitung.
Wie sie vorgegangen sind
Die Studie verglich zwei zufällig gebildete Gruppen von Entwicklern: Die eine bekam Copilot, die andere nicht. Dazu kamen drei weitere Datensätze: Lieferkennzahlen wie Pull Requests, Merges und erfolgreiche Builds; Akzeptanzdaten aus dem ganzen Unternehmen, etwa wie viele Entwickler das Tool installierten und wie oft sie dessen Vorschläge annahmen; und eine Befragung der Entwickler, die es nutzen.
Ergebnisse
GitHub meldet 8,69 % mehr Pull Requests, eine um 15 % höhere Merge-Quote und 84 % mehr erfolgreiche Builds. Die Entwickler nahmen etwa 30 % der Vorschläge an und behielten 88 % der von Copilot erzeugten Zeichen. In der Befragung gaben 90 % an, sich in ihrem Job erfüllter zu fühlen. Diese Zahlen stammen aus der Veröffentlichung von GitHub, mit den oben genannten Einschränkungen.
Alle berichteten Zahlen
| Messgröße | Wert | Quellenangabe |
|---|---|---|
| Anstieg bei den Pull Requests | 8,69 %1 | |
| Anstieg der Merge-Quote bei Pull Requests | 15 %1 | |
| Anstieg bei den erfolgreichen Builds | 84 %1 | |
| Anteil der akzeptierten Copilot-Vorschläge | Etwa 30 %1 | |
| Anteil der von Copilot erzeugten Zeichen, die im Editor verblieben | 88 %1 | |
| Entwickler, die die Erweiterung des Coding-Tools noch am Tag der Lizenzvergabe installierten | 81,4 %1 | |
| Entwickler, die sich in ihrem Job erfüllter fühlten (Befragung) | 90 %1 |
Erkenntnisse für Ihr Projekt
Messen Sie die Akzeptanz ebenso wie das Ergebnis. Die Studie erfasste Installationen am selben Tag, den ersten akzeptierten Vorschlag und die Akzeptanzquote neben Pull Requests und Builds.
Kombinieren Sie Nutzungsdaten mit einer Befragung und kennzeichnen Sie, was woher stammt. Zufriedenheitswerte sind Selbstauskünfte und gehören nicht in einen Topf mit Lieferkennzahlen.
Fragen Sie nach Stichprobengröße und Dauer, bevor Sie die Schlagzahlen eines Anbieters übernehmen. Diese Veröffentlichung nennt beides nicht.
Einschränkungen
- Veröffentlicht von GitHub, das Copilot verkauft, unter den Autoren sind Mitarbeitende von GitHub und Microsoft. Die Angaben stammen vom Anbieter.
- Die Veröffentlichung nennt weder Stichprobengröße noch Studiendauer oder statistische Signifikanz und trennt die Ergebnisse des randomisierten Versuchs nicht von den Akzeptanz- und Befragungsdaten.
- Wann Accenture die Lösung eingeführt hat, ist nicht angegeben. Als Einführungsdatum dient der Veröffentlichungsmonat, das früheste belegbare Datum.
Quellen
- Research: Quantifying GitHub Copilot's impact in the enterprise with Accenture
GitHub Blog · 2024-05-13 · Unternehmensblog · github.blog
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.