Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
Accenture
Accenture wdraża GitHub Copilot i bada jego wpływ na programistów
Accenture i GitHub przeprowadziły badanie GitHub Copilot z udziałem programistów Accenture, łącząc randomizowaną próbę, dane o użyciu i ankietę. GitHub podaje wzrost liczby pull requestów, wyższy odsetek scaleń i więcej udanych buildów, ale nie publikuje wielkości próby ani czasu trwania badania.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
8,69 %
Wzrost liczby pull requestów1
15 %
Wzrost odsetka scalanych pull requestów1
84 %
Wzrost liczby udanych buildów1
Około 30 %
Odsetek zaakceptowanych sugestii Copilota1
Ile to kosztowało
Koszt, wielkość zespołu i harmonogram nie zostały ujawnione w źródłach.
Problem
Firmy kupujące asystentów programistycznych chcą dowodów na ich wpływ na prawdziwe zespoły inżynierskie, a nie tylko na zadania laboratoryjne. Accenture i GitHub postanowiły zmierzyć to na dużą skalę.
Co zbudowano
Badanie GitHub Copilota używanego przez programistów Accenture w inżynierii, projektowaniu i testowaniu, od początkujących po zarządzających zespołami.
Jak to zrobiono
Badanie porównało dwie losowo dobrane grupy programistów: jedna dostała Copilota, druga nie. Doszły trzy kolejne zestawy danych: miary dostarczania, takie jak pull requesty, scalenia i udane buildy; dane o przyjęciu narzędzia w całej firmie, na przykład ilu programistów je zainstalowało i jak często akceptowali jego sugestie; oraz ankieta wśród programistów, którzy z niego korzystają.
Wyniki
GitHub podaje wzrost liczby pull requestów o 8,69 %, wzrost odsetka scaleń o 15 % i wzrost liczby udanych buildów o 84 %. Programiści zaakceptowali około 30 % sugestii i zachowali 88 % znaków wygenerowanych przez Copilota. W ankiecie 90 % powiedziało, że czuje się bardziej spełnionych w pracy. Te liczby pochodzą z publikacji GitHub, z zastrzeżeniami opisanymi wyżej.
Wszystkie zgłoszone liczby
| Miara | Liczba | Przypis |
|---|---|---|
| Wzrost liczby pull requestów | 8,69 %1 | |
| Wzrost odsetka scalanych pull requestów | 15 %1 | |
| Wzrost liczby udanych buildów | 84 %1 | |
| Odsetek zaakceptowanych sugestii Copilota | Około 30 %1 | |
| Znaki wygenerowane przez Copilota, które pozostały w edytorze | 88 %1 | |
| Programiści, którzy zainstalowali rozszerzenie narzędzia do kodowania w dniu otrzymania licencji | 81,4 %1 | |
| Programiści, którzy czuli się bardziej spełnieni w pracy (ankieta) | 90 %1 |
Wnioski dla Twojego projektu
Mierzcie przyjęcie narzędzia, a nie tylko wyniki. Badanie śledziło instalacje w tym samym dniu, pierwszą zaakceptowaną sugestię i odsetek akceptacji obok pull requestów i buildów.
Łączcie dane o użyciu z ankietą i zaznaczajcie, co skąd pochodzi. Wyniki satysfakcji to deklaracje i nie należy mieszać ich z miarami dostarczania.
Zapytajcie o wielkość próby i czas trwania, zanim przejmiecie główne liczby dostawcy. Ta publikacja ich nie podaje.
Zastrzeżenia
- Opublikowane przez GitHub, który sprzedaje Copilota, a wśród autorów są pracownicy GitHub i Microsoft. Dane pochodzą od dostawcy.
- Publikacja nie podaje wielkości próby, czasu trwania badania ani istotności statystycznej i nie oddziela wyników próby randomizowanej od danych o przyjęciu narzędzia i ankiety.
- Data wdrożenia w Accenture nie jest podana. Jako datę wdrożenia przyjęto miesiąc publikacji, czyli najwcześniejszą datę, którą można zweryfikować.
Źródła
- Research: Quantifying GitHub Copilot's impact in the enterprise with Accenture
GitHub Blog · 2024-05-13 · Blog firmowy · github.blog
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.