Tradotto dall'originale inglese. Dati e fonti restano invariati. Leggi l'originale in inglese
Accenture
Accenture introduce GitHub Copilot e ne studia l’effetto sugli sviluppatori
Accenture e GitHub hanno condotto uno studio su GitHub Copilot con sviluppatori di Accenture, combinando una prova randomizzata, dati di utilizzo e un sondaggio. GitHub segnala più pull request, un tasso di merge più alto e più build riuscite, ma non pubblica né la dimensione del campione né la durata.
Dati chiave
Copiati esattamente dalle fonti. Copiate qualsiasi dato insieme alla sua citazione.
8,69%
Aumento delle pull request1
15%
Aumento del tasso di merge delle pull request1
84%
Aumento delle build riuscite1
Circa il 30%
Quota di suggerimenti di Copilot accettati1
Cosa è servito
Le fonti non rendono noti costi, dimensioni del team e tempi.
Il problema
Le aziende che acquistano assistenti alla programmazione vogliono prove dell’effetto su team di ingegneria reali, non solo su compiti di laboratorio. Accenture e GitHub hanno voluto misurarlo su larga scala.
Cosa hanno costruito
Uno studio su GitHub Copilot usato da sviluppatori di Accenture in ingegneria, design e test, dai profili junior alla gestione dei team.
Come ci sono riusciti
Lo studio ha confrontato due gruppi di sviluppatori scelti a caso: uno ha ricevuto Copilot, l’altro no. Si sono aggiunti altri tre insiemi di dati: misure di consegna, come pull request, merge e build riuscite; dati di adozione in tutta l’azienda, come quanti sviluppatori lo hanno installato e con quale frequenza hanno accettato i suggerimenti; e un sondaggio tra gli sviluppatori che lo usano.
Risultati
GitHub segnala un aumento dell’8,69% delle pull request, del 15% del tasso di merge e dell’84% delle build riuscite. Gli sviluppatori hanno accettato circa il 30% dei suggerimenti e mantenuto l’88% dei caratteri generati da Copilot. Nel sondaggio, il 90% ha detto di sentirsi più realizzato nel proprio lavoro. Questi numeri provengono dalla pubblicazione di GitHub, con i limiti indicati sopra.
Tutti i dati dichiarati
| Indicatore | Dato | Citazione |
|---|---|---|
| Aumento delle pull request | 8,69%1 | |
| Aumento del tasso di merge delle pull request | 15%1 | |
| Aumento delle build riuscite | 84%1 | |
| Quota di suggerimenti di Copilot accettati | Circa il 30%1 | |
| Caratteri generati da Copilot mantenuti nell’editor | 88%1 | |
| Sviluppatori che hanno installato l’estensione dello strumento di programmazione lo stesso giorno in cui hanno ricevuto la licenza | 81,4%1 | |
| Sviluppatori che hanno detto di sentirsi più realizzati nel proprio lavoro (sondaggio) | 90%1 |
Lezioni per il vostro progetto
Misurate l’adozione oltre ai risultati. Lo studio ha tracciato le installazioni lo stesso giorno, il primo suggerimento accettato e il tasso di accettazione, accanto a pull request e build.
Combinate i dati di utilizzo con un sondaggio e indicate chiaramente quale è quale. I dati di soddisfazione sono autodichiarati e non vanno mescolati con quelli di consegna.
Chiedete dimensione del campione e durata prima di riprendere i numeri di punta di un fornitore. Questa pubblicazione non li riporta.
Avvertenze
- Pubblicato da GitHub, che vende Copilot, con dipendenti di GitHub e Microsoft tra gli autori. I dati sono dichiarati dal fornitore.
- La pubblicazione non indica dimensione del campione, durata dello studio né significatività statistica, e non separa i risultati della prova randomizzata dai dati di adozione e dal sondaggio.
- La data del rollout in Accenture non è indicata. Come data di avvio si usa il mese di pubblicazione, la prima data verificabile.
Fonti
- Research: Quantifying GitHub Copilot's impact in the enterprise with Accenture
GitHub Blog · 2024-05-13 · Blog aziendale · github.blog
Riassunto con parole nostre a partire dalle fonti sopra indicate. Avete notato un errore? Consultate le rettifiche.