Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
French State (DINUM and DITP)
Państwo francuskie testuje swojego Assistant IA opartego na Mistral z 10 000 urzędników i mierzy szybsze, lepsze streszczenia
Francuska dyrekcja ds. cyfryzacji DINUM dała 10 000 urzędników ogólnego asystenta AI opartego na modelach Mistral AI i hostowanego w suwerennej chmurze. Dyrekcja ds. transformacji publicznej DITP oceniła go za pomocą ankiet i mierzonych czasowo zadań w grupach fokusowych. 75 % ankietowanych użytkowników uznało go za przydatny, a zadania mierzone czasowo i ocena w ciemno pokazały korzyści.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
75 %
Ankietowani testerzy w ministerstwach finansów i sprawiedliwości, którzy uważają Assistant za przydatny w pracy1
65 %
Ci sami testerzy, którzy poleciliby go koledze lub koleżance1
56 %
Ci sami testerzy, którzy mówią, że dzięki Assistant rzadziej używają w pracy niesuwerennych narzędzi AI1
rzędu 12 %
Zaoszczędzony czas w zadaniach pisania w grupach fokusowych1
Problem
Francuscy urzędnicy już używali publicznych chatbotów do pisania i streszczania, co niesie ryzyko wycieku danych. Państwo chciało własnego, bezpiecznego narzędzia do codziennych zadań oraz dowodów, że pomaga, zanim zaoferuje je wszystkim pracownikom.
Co zbudowano
Assistant IA to ogólny asystent czatu prowadzony przez DINUM, dyrekcję ds. cyfryzacji państwa. Działa na modelach językowych Mistral AI, francuskiej firmy, na państwowej platformie generatywnej AI Albert, z danymi hostowanymi w chmurze Outscale z certyfikatem SecNumCloud. Obsługuje zadania takie jak pisanie notatek, streszczanie raportów, przeformułowywanie tekstów, wyodrębnianie informacji i tłumaczenie.
Jak to zrobiono
DINUM wdrożyła 10 000 licencji dla urzędników. Artykuł o uruchomieniu podawał koszty infrastruktury około 300 000 euro plus licencje na modele oraz szkolenia dla użytkowników. Zespół nauk behawioralnych DITP ocenił następnie pilotaż wraz z badaczami z LaborIA-Inria, INSA Rennes i CNRS. Wysłał kilka ankiet do testerów w ministerstwach gospodarki i finansów oraz sprawiedliwości, przeprowadził około 20 wywiadów i trzy stacjonarne grupy fokusowe. W grupach fokusowych ochotnicy wykonywali dwa zadania, odpowiedź na e-mail i streszczenie sześciostronicowego dokumentu, raz z asystentem i raz bez niego.
Wyniki
DITP podaje, że 75 % ankietowanych testerów uznało Assistant za przydatny w pracy, a 65 % by go poleciło. Ponadto 56 % powiedziało, że rzadziej używa narzędzi niesuwerennych. Grupy fokusowe pokazały oszczędność czasu około 12 % przy pisaniu i do 16 % przy streszczaniu dokumentów, z lepszą jakością w ocenie w ciemno. W zadaniu streszczenia średni czas spadł z 33 do 28 minut, a oceny punktujących wzrosły z 14,15 do 15,43 na 20.
Co poszło nie tak
Nie wszystko było pozytywne. W ankiecie 57 % uważało, że inne narzędzia generatywnej AI lepiej odpowiadają ich potrzebom. Główne hamulce to brak zaufania do odpowiedzi i potrzeba szkolenia, a według jednego z kierowników ogólnie nie oszczędza to czasu, bo wszystko trzeba weryfikować.
Wszystkie zgłoszone liczby
| Miara | Liczba | Przypis |
|---|---|---|
| Ankietowani testerzy w ministerstwach finansów i sprawiedliwości, którzy uważają Assistant za przydatny w pracy | 75 %1 | |
| Ci sami testerzy, którzy poleciliby go koledze lub koleżance | 65 %1 | |
| Ci sami testerzy, którzy mówią, że dzięki Assistant rzadziej używają w pracy niesuwerennych narzędzi AI | 56 %1 | |
| Zaoszczędzony czas w zadaniach pisania w grupach fokusowych | rzędu 12 %1 | |
| Zaoszczędzony czas w zadaniach streszczania dokumentów w grupach fokusowych | do 16 %1 | |
| Mierzone czasowo zadanie streszczenia artykułu w grupach fokusowych liczących około 30 ochotników: średni czas bez AI i z AI | 33 min bez AI, 28 min z AI (średni zysk 5,4 min)2 | |
| Ocena w ciemno w skali do 20 za zadanie streszczenia, bez AI i z AI, od dwóch niezależnych oceniających | 14,15 bez AI, 15,43 z AI2 |
Wnioski dla Twojego projektu
Warto mierzyć zadaniami z pomiarem czasu, a nie tylko opiniami. DITP połączyła ankiety z grupami fokusowymi, w których ludzie wykonywali to samo zadanie z asystentem i bez niego, a niezależni oceniający punktowali wyniki.
Warto raportować sprzeczne sygnały. Większość ankietowanych testerów nadal uważała, że inne narzędzia generatywnej AI lepiej odpowiadają ich potrzebom, a oszczędności różniły się w zależności od zadania.
Warto szkolić i celować według zadań. Zyski były większe przy streszczaniu niż przy pisaniu e-maili, więc zacząć należy tam, gdzie korzyść jest najwyraźniejsza.
Warto zapewnić zatwierdzone narzędzie, by ograniczyć użycie niezatwierdzonych. Państwo przedstawiło asystenta jako bezpieczną alternatywę dla publicznych chatbotów dla swoich pracowników.
Zastrzeżenia
- Liczby pochodzą od własnego zespołu oceniającego rządu francuskiego (DITP), a publikacja jest rządowym podsumowaniem, nie recenzowanym badaniem. Le Monde Informatique, niezależny serwis, opisuje uruchomienie, ale nie wyniki, więc żadna ze zmierzonych liczb nie jest niezależnie potwierdzona.
- Ankiety objęły wyłącznie testerów w ministerstwach finansów i sprawiedliwości. Strona DITP mówi o sześciu ministerstwach pilotażowych, a PDF mówi, że 10 000 licencji wdrożyła DINUM; wartości procentowe dotyczą tych dwóch ministerstw.
- Respondenci nie byli reprezentatywni: urzędnicy kategorii A i A+ stanowili 86 % próby, a 35 % to kierownicy. Większość testerów miała już pewne doświadczenie z generatywną AI.
- Liczby z grup fokusowych pochodzą od około 30 ochotników w warunkach eksperymentalnych. Raport ostrzega, że nie można ich uogólniać na wszystkich urzędników.
- Źródła różnią się co do czasu trwania. Strona DITP mówi o dziesięciu miesiącach, PDF mówi, że eksperyment trwał od grudnia 2025 r. do czerwca 2026 r., a artykuł o uruchomieniu mówi o ośmiu miesiącach od października 2025 r. Jako datę wdrożenia przyjęto początek w grudniu 2025 r. podany w PDF z oceną.
- Le Monde Informatique podaje modele Mistral AI i platformę Albert, bez wersji modelu.
Źródła
- « L'Assistant » IA : bilan de l'expérimentation menée auprès des agents
DITP (modernisation.gouv.fr) · 2026-06-16 · Komunikat prasowy · modernisation.gouv.fr
- Expérimentation de l'Assistant IA dans la fonction publique : évaluation pilote des usages, perceptions et impacts
DITP (modernisation.gouv.fr) · 2026-06 · Publikacja naukowa · modernisation.gouv.fr
- L'État ouvre l'expérimentation de la GenAI à 10 000 agents
Le Monde Informatique · 2025-10-28 · Wiadomości · lemondeinformatique.fr
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.