Der französische Staat testet seinen Mistral-basierten Assistant IA mit 10.000 Verwaltungsbeschäftigten und misst schnellere, bessere Zusammenfassungen

Das Problem

Französische Verwaltungsbeschäftigte nutzten bereits öffentliche Chatbots zum Verfassen und Zusammenfassen, was das Risiko von Datenlecks erhöht. Der Staat wollte ein sicheres eigenes Werkzeug für alltägliche Aufgaben und Belege für dessen Nutzen, bevor er es allen Beschäftigten anbietet.

Was sie gebaut haben

Der Assistant IA ist ein allgemeiner Chat-Assistent, betrieben von der DINUM, der Digitalbehörde des Staates. Er läuft mit Sprachmodellen von Mistral AI, einem französischen Unternehmen, auf der staatlichen Plattform Albert für generative KI, mit Daten in der SecNumCloud-zertifizierten Cloud von Outscale. Er unterstützt Aufgaben wie das Verfassen von Vermerken, das Zusammenfassen von Berichten, das Umformulieren von Texten, das Extrahieren von Informationen und das Übersetzen.

Wie sie vorgegangen sind

Die DINUM stellte 10.000 Lizenzen für Verwaltungsbeschäftigte bereit. Der Startartikel nannte Infrastrukturkosten von rund 300.000 Euro plus Modelllizenzen sowie Schulungen für die Nutzenden. Das Verhaltenswissenschaftsteam der DITP bewertete den Pilot dann mit Forschenden von LaborIA-Inria, INSA Rennes und CNRS. Es schickte mehrere Umfragen an Testende in den Wirtschafts- und Finanzministerien und im Justizministerium, führte etwa 20 Interviews und hielt drei Fokusgruppen vor Ort ab. In den Fokusgruppen erledigten Freiwillige zwei Aufgaben, die Antwort auf eine E-Mail und die Zusammenfassung eines sechsseitigen Dokuments, einmal mit und einmal ohne den Assistenten.

Ergebnisse

Die DITP berichtet, dass 75 % der befragten Testenden den Assistant für ihre Arbeit nützlich fanden und 65 % ihn empfehlen würden. Außerdem sagten 56 %, sie nutzten nicht souveräne Werkzeuge seltener. Die Fokusgruppen zeigten Zeitersparnisse von etwa 12 % beim Verfassen und bis zu 16 % bei der Dokumentenzusammenfassung, mit besserer Qualität in der Blindbewertung. Bei der Zusammenfassungsaufgabe sank die durchschnittliche Zeit von 33 auf 28 Minuten, und die Noten der Bewertenden stiegen von 14,15 auf 15,43 von 20.

Was schiefgelaufen ist

Nicht alles war positiv. In der Umfrage meinten 57 %, andere generative KI-Werkzeuge erfüllten ihre Bedürfnisse besser. Die wichtigsten Bremsen waren mangelndes Vertrauen in die Antworten und der Schulungsbedarf, und eine Führungskraft sagte, das Werkzeug spare im Allgemeinen keine Zeit, weil alles geprüft werden müsse.