Traducido del original en inglés. Las cifras y las fuentes no cambian. Leer el original en inglés
Accenture
Accenture despliega GitHub Copilot y estudia su efecto en los desarrolladores
Accenture y GitHub realizaron un estudio de GitHub Copilot con desarrolladores de Accenture, que combina un ensayo aleatorizado, datos de uso y una encuesta. GitHub informa de más pull requests, mayor tasa de fusión y más compilaciones correctas, pero no publica el tamaño de la muestra ni la duración.
Cifras clave
Copiadas literalmente de las fuentes. Copie cualquier cifra con su cita.
8,69 %
Aumento de las pull requests1
15 %
Aumento de la tasa de fusión de pull requests1
84 %
Aumento de las compilaciones correctas1
Alrededor del 30 %
Proporción de sugerencias de Copilot aceptadas1
Qué requirió
Las fuentes no divulgan el coste, el tamaño del equipo ni los plazos.
El problema
Las empresas que compran asistentes de programación quieren pruebas de su efecto en equipos de ingeniería reales, no solo en tareas de laboratorio. Accenture y GitHub se propusieron medirlo a gran escala.
Qué construyeron
Un estudio de GitHub Copilot usado por desarrolladores de Accenture de ingeniería, diseño y pruebas, desde perfiles de entrada hasta gestión de equipos.
Cómo lo hicieron
El estudio comparó dos grupos de desarrolladores elegidos al azar: uno recibió Copilot y el otro no. Se añadieron tres conjuntos de datos más: medidas de entrega, como pull requests, fusiones y compilaciones correctas; datos de adopción en toda la empresa, como cuántos desarrolladores lo instalaron y con qué frecuencia aceptaron sus sugerencias; y una encuesta a los desarrolladores que lo usan.
Resultados
GitHub informa de un aumento del 8,69 % en las pull requests, del 15 % en la tasa de fusión y del 84 % en las compilaciones correctas. Los desarrolladores aceptaron alrededor del 30 % de las sugerencias y conservaron el 88 % de los caracteres generados por Copilot. En la encuesta, el 90 % dijo sentirse más realizado en su trabajo. Estas cifras proceden de la publicación de GitHub, con las limitaciones señaladas arriba.
Todas las cifras comunicadas
| Indicador | Cifra | Cita |
|---|---|---|
| Aumento de las pull requests | 8,69 %1 | |
| Aumento de la tasa de fusión de pull requests | 15 %1 | |
| Aumento de las compilaciones correctas | 84 %1 | |
| Proporción de sugerencias de Copilot aceptadas | Alrededor del 30 %1 | |
| Caracteres generados por Copilot que se conservaron en el editor | 88 %1 | |
| Desarrolladores que instalaron la extensión de la herramienta de programación el mismo día en que recibieron la licencia | 81,4 %1 | |
| Desarrolladores que dijeron sentirse más realizados en su trabajo (encuesta) | 90 %1 |
Lecciones para su proyecto
Mida la adopción además de los resultados. El estudio registró las instalaciones el mismo día, la primera sugerencia aceptada y la tasa de aceptación junto con las pull requests y las compilaciones.
Combine los datos de uso con una encuesta y deje claro cuál es cuál. Las cifras de satisfacción son autodeclaradas y no deben mezclarse con las de entrega.
Pida el tamaño de la muestra y la duración antes de copiar las cifras destacadas de un proveedor. Esta publicación no los incluye.
Salvedades
- Publicado por GitHub, que vende Copilot, con empleados de GitHub y de Microsoft entre los autores. Los datos los comunica el proveedor.
- La publicación no indica el tamaño de la muestra, la duración del estudio ni la significación estadística, y no separa los resultados del ensayo aleatorizado de los datos de adopción y de la encuesta.
- No se indica la fecha del despliegue en Accenture. Como fecha de despliegue se usa el mes de publicación, la primera fecha verificable.
Fuentes
- Research: Quantifying GitHub Copilot's impact in the enterprise with Accenture
GitHub Blog · 2024-05-13 · Blog corporativo · github.blog
Resumido con nuestras propias palabras a partir de las fuentes anteriores. ¿Ha detectado un error? Consulte correcciones.