Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
French State (DINUM and DITP)
Franse staat test zijn op Mistral gebaseerde Assistant IA met 10.000 ambtenaren en meet snellere, betere samenvattingen
De Franse digitale directie DINUM gaf 10.000 ambtenaren een algemene AI-assistent op basis van modellen van Mistral AI, gehost in een soevereine cloud. De directie publieke transformatie, DITP, evalueerde hem met enquêtes en getimede taken in focusgroepen. 75% van de ondervraagde gebruikers vond hem nuttig, en getimede taken en blinde beoordeling lieten winst zien.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
75%
Ondervraagde testers bij de ministeries van financiën en justitie die de Assistant nuttig vinden voor hun werk1
65%
Dezelfde testers die hem aan een collega zouden aanbevelen1
56%
Dezelfde testers die zeggen dankzij de Assistant minder vaak niet-soevereine AI-tools op het werk te gebruiken1
in de orde van 12%
Bespaarde tijd bij schrijftaken in focusgroepen1
Het probleem
Franse ambtenaren gebruikten al openbare chatbots om te schrijven en samen te vatten, wat het risico op datalekken vergroot. De staat wilde een eigen, veilige tool voor dagelijkse taken, en bewijs of die helpt voordat hij aan alle medewerkers werd aangeboden.
Wat ze bouwden
De Assistant IA is een algemene chatassistent die wordt beheerd door DINUM, de digitale directie van de staat. Hij draait op taalmodellen van Mistral AI, een Frans bedrijf, op het generatieve-AI-platform Albert van de staat, met gegevens gehost in de SecNumCloud-gecertificeerde cloud van Outscale. Hij ondersteunt taken zoals notities opstellen, rapporten samenvatten, teksten herformuleren, informatie extraheren en vertalen.
Hoe ze het aanpakten
DINUM rolde 10.000 licenties uit voor ambtenaren. Het lanceringsartikel meldde infrastructuurkosten van ongeveer 300.000 euro plus modellicenties, en training voor gebruikers. Het gedragswetenschappelijke team van DITP evalueerde de pilot daarna met onderzoekers van LaborIA-Inria, INSA Rennes en CNRS. Het stuurde meerdere enquêtes naar testers bij de ministeries van economie en financiën en van justitie, hield ongeveer 20 interviews en organiseerde drie focusgroepen op locatie. In de focusgroepen deden vrijwilligers twee taken, het beantwoorden van een e-mail en het samenvatten van een document van zes pagina's, één keer met en één keer zonder de assistent.
Resultaten
DITP meldt dat 75% van de ondervraagde testers de Assistant nuttig vond voor hun werk en dat 65% hem zou aanbevelen. Daarnaast zei 56% minder vaak niet-soevereine tools te gebruiken. De focusgroepen lieten tijdwinst zien van ongeveer 12% bij schrijven en tot 16% bij documentsamenvatting, met betere kwaliteit bij blinde beoordeling. Bij de samenvattingstaak daalde de gemiddelde tijd van 33 naar 28 minuten en stegen de scores van de beoordelaars van 14,15 naar 15,43 op 20.
Wat er misging
Niet alles was positief. In de enquête vond 57% dat andere generatieve AI-tools beter aan hun behoeften voldoen. De belangrijkste remmen waren gebrek aan vertrouwen in de antwoorden en de behoefte aan training, en een leidinggevende zei dat het in het algemeen geen tijd bespaart omdat alles gevalideerd moet worden.
Alle gemelde cijfers
| Maatstaf | Cijfer | Bronvermelding |
|---|---|---|
| Ondervraagde testers bij de ministeries van financiën en justitie die de Assistant nuttig vinden voor hun werk | 75%1 | |
| Dezelfde testers die hem aan een collega zouden aanbevelen | 65%1 | |
| Dezelfde testers die zeggen dankzij de Assistant minder vaak niet-soevereine AI-tools op het werk te gebruiken | 56%1 | |
| Bespaarde tijd bij schrijftaken in focusgroepen | in de orde van 12%1 | |
| Bespaarde tijd bij taken voor documentsamenvatting in focusgroepen | tot 16%1 | |
| Getimede taak om een artikel samen te vatten in focusgroepen van ongeveer 30 vrijwilligers: gemiddelde tijd zonder AI en met AI | 33 min zonder AI, 28 min met AI (gemiddelde winst 5,4 min)2 | |
| Blinde score op 20 voor de samenvattingstaak, zonder AI en met AI, van twee onafhankelijke beoordelaars | 14,15 zonder AI, 15,43 met AI2 |
Lessen voor uw project
Meet met getimede taken, niet alleen met meningen. DITP combineerde enquêtes met focusgroepen waarin mensen dezelfde taak met en zonder assistent deden, en onafhankelijke beoordelaars gaven de resultaten een score.
Meld ook de gemengde signalen. Een meerderheid van de ondervraagde testers vond nog steeds dat andere generatieve AI-tools beter aan hun behoeften voldeden, en de besparingen verschilden per taak.
Train en richt u per taak. De winst was groter bij samenvatten dan bij het opstellen van e-mails, dus begin waar het voordeel het duidelijkst is.
Bied een goedgekeurde tool aan om ongeautoriseerd gebruik te verminderen. De staat presenteerde de assistent als een veilig alternatief voor openbare chatbots voor zijn medewerkers.
Kanttekeningen
- De cijfers komen van het eigen evaluatieteam van de Franse overheid (DITP), en de publicatie is een samenvatting van de overheid, geen peer-reviewed studie. Le Monde Informatique, een onafhankelijk medium, dekt de lancering maar niet de resultaten, dus geen van de gemeten cijfers is onafhankelijk bevestigd.
- De enquêtes omvatten alleen testers bij de ministeries van financiën en justitie. De DITP-pagina spreekt van zes pilotministeries, en de pdf zegt dat de 10.000 licenties door DINUM zijn uitgerold; de percentages gelden voor die twee ministeries.
- De respondenten waren niet representatief: ambtenaren van categorie A en A+ vormden 86% van de steekproef en 35% waren leidinggevenden. De meeste testers hadden al enige ervaring met generatieve AI.
- De cijfers uit de focusgroepen komen van ongeveer 30 vrijwilligers in een experimentele omgeving. Het rapport waarschuwt dat ze niet te generaliseren zijn naar alle ambtenaren.
- De bronnen spreken elkaar tegen over de duur. De DITP-pagina zegt tien maanden, de pdf zegt dat het experiment van december 2025 tot juni 2026 liep, en het lanceringsartikel noemt acht maanden vanaf oktober 2025. Als uitroldatum geldt de start in december 2025 uit de evaluatie-pdf.
- Le Monde Informatique noemt modellen van Mistral AI en het platform Albert, geen modelversie.
Bronnen
- « L'Assistant » IA : bilan de l'expérimentation menée auprès des agents
DITP (modernisation.gouv.fr) · 2026-06-16 · Persbericht · modernisation.gouv.fr
- Expérimentation de l'Assistant IA dans la fonction publique : évaluation pilote des usages, perceptions et impacts
DITP (modernisation.gouv.fr) · 2026-06 · Onderzoeksrapport · modernisation.gouv.fr
- L'État ouvre l'expérimentation de la GenAI à 10 000 agents
Le Monde Informatique · 2025-10-28 · Nieuws · lemondeinformatique.fr
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.