Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Accenture
Accenture voert GitHub Copilot in en onderzoekt het effect op ontwikkelaars
Accenture en GitHub voerden een onderzoek uit naar GitHub Copilot met Accenture-ontwikkelaars, met een gerandomiseerde proef, gebruiksgegevens en een enquête. GitHub meldt meer pull requests, een hoger mergepercentage en meer geslaagde builds, maar publiceert geen steekproefomvang of looptijd.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
8,69%
Toename van het aantal pull requests1
15%
Toename van het mergepercentage van pull requests1
84%
Toename van het aantal geslaagde builds1
Ongeveer 30%
Aandeel geaccepteerde Copilot-suggesties1
Wat het kostte
Kosten, teamgrootte en doorlooptijd zijn in de bronnen niet openbaar gemaakt.
Het probleem
Bedrijven die codeerassistenten kopen, willen bewijs van het effect op echte engineeringteams, niet alleen bij laboratoriumtaken. Accenture en GitHub wilden dat op grote schaal meten.
Wat ze bouwden
Een onderzoek naar GitHub Copilot, gebruikt door Accenture-ontwikkelaars in engineering, design en testen, van starters tot teamleiders.
Hoe ze het aanpakten
Het onderzoek vergeleek twee willekeurig samengestelde groepen ontwikkelaars: de ene kreeg Copilot, de andere niet. Daar kwamen drie andere gegevensbronnen bij: leveringsmaten zoals pull requests, merges en geslaagde builds; gebruiksgegevens binnen het hele bedrijf, zoals hoeveel ontwikkelaars de tool installeerden en hoe vaak ze suggesties accepteerden; en een enquête onder de ontwikkelaars die ermee werken.
Resultaten
GitHub meldt 8,69% meer pull requests, een 15% hoger mergepercentage en 84% meer geslaagde builds. Ontwikkelaars accepteerden ongeveer 30% van de suggesties en hielden 88% van de door Copilot gegenereerde tekens. In de enquête zei 90% zich meer voldaan te voelen over het werk. Deze cijfers komen uit de publicatie van GitHub, met de hierboven genoemde beperkingen.
Alle gemelde cijfers
| Maatstaf | Cijfer | Bronvermelding |
|---|---|---|
| Toename van het aantal pull requests | 8,69%1 | |
| Toename van het mergepercentage van pull requests | 15%1 | |
| Toename van het aantal geslaagde builds | 84%1 | |
| Aandeel geaccepteerde Copilot-suggesties | Ongeveer 30%1 | |
| Door Copilot gegenereerde tekens die in de editor bleven staan | 88%1 | |
| Ontwikkelaars die de extensie van de codeertool installeerden op de dag dat ze een licentie kregen | 81,4%1 | |
| Ontwikkelaars die zich meer voldaan voelden over hun werk (enquête) | 90%1 |
Lessen voor uw project
Meet het gebruik net zo goed als de output. Het onderzoek volgde installaties op dezelfde dag, de eerste geaccepteerde suggestie en het acceptatiepercentage naast pull requests en builds.
Combineer gebruiksgegevens met een enquête en geef aan wat waarvan komt. Tevredenheidscijfers zijn zelfgerapporteerd en horen niet door te lopen met leveringscijfers.
Vraag naar steekproefomvang en looptijd voordat u de kerncijfers van een leverancier overneemt. Deze publicatie noemt ze niet.
Kanttekeningen
- Gepubliceerd door GitHub, dat Copilot verkoopt, met medewerkers van GitHub en Microsoft onder de auteurs. De cijfers komen van de leverancier.
- De publicatie noemt geen steekproefomvang, looptijd of statistische significantie en scheidt de resultaten van de gerandomiseerde proef niet van de gebruiks- en enquêtegegevens.
- De datum van de uitrol bij Accenture wordt niet genoemd. Als uitrolmaand is de publicatiemaand gebruikt, de vroegste controleerbare datum.
Bronnen
- Research: Quantifying GitHub Copilot's impact in the enterprise with Accenture
GitHub Blog · 2024-05-13 · Bedrijfsblog · github.blog
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.