Deloitte Australien erstattet einen Teil des Honorars für die Prüfung eines Sozialleistungssystems nach Zitierfehlern und Offenlegung des KI-Einsatzes

Das Problem

Das australische Ministerium für Beschäftigung und Arbeitsplatzbeziehungen (DEWR) beauftragte Deloitte Australien mit der Prüfung des IT-Systems hinter dem Targeted Compliance Framework, dem System, das im Sozialleistungsprogramm Sanktionen verhängt. Der Auftrag wurde im Dezember 2024 vergeben, mit einem ursprünglichen Vertragswert von rund 440.000 A$. Nach der Veröffentlichung des Berichts vom Juli 2025 fanden Außenstehende Quellenangaben, die nicht hielten, darunter einen falsch zusammengefassten Gerichtsfall.

Was sie gebaut haben

Das war ein Beratungsergebnis, kein Produkt. Das Deloitte-Team bewertete Codequalität, Tests, Dokumentation und Übereinstimmung mit der Gesetzgebung. In einem Schritt, in dem geprüft wurde, ob sich der Code des Systems fachlichen Anforderungen und Compliance-Erfordernissen zuordnen lässt, setzte das Team laut dem überarbeiteten Bericht ein generatives KI-Modell ein, Azure OpenAI GPT-4o, in einer vom DEWR lizenzierten Werkzeugkette, die in der eigenen Azure-Cloud-Umgebung des DEWR lief.

Wie sie vorgegangen sind

Der Bericht beschreibt das KI-Werkzeug als einen Baustein einer größeren Bewertung, die auch Code-Review, Testanalyse, Dokumentenprüfung und Interviews umfasste. Die Fassung vom Juli 2025 erwähnt generative KI nicht. Die Fassung vom September 2025 ergänzt die Offenlegung im Methodikteil sowie einen Hinweis „Report Update“. Der Hinweis besagt, die Aktualisierung korrigiere Zitate und Einträge im Quellenverzeichnis, die Fehler enthielten, behebe die Zusammenfassung des Verfahrens Amato und verbessere die Verständlichkeit. Er besagt, die Aktualisierung ändere die inhaltlichen Ergebnisse und Empfehlungen nicht.

Was schiefgelaufen ist

Der Bericht ging mit falschen Zitaten und einer falschen Zusammenfassung eines Gerichtsfalls hinaus. Die Presse berichtete von einem erfundenen Richterzitat und Verweisen auf Studien, die nicht existieren, und beschrieb die Fehler als KI-generiert. Das Ministerium erklärte, Deloitte habe bestätigt, dass einige Fußnoten und Verweise falsch waren und dass der Kern der Prüfung erhalten blieb. Ein Sprecher des Ministeriums sagte später, Deloitte habe mehr als 97.000 A$ erstattet.

Ergebnisse

Ein korrigierter Bericht wurde veröffentlicht, das Ministerium behielt die Ergebnisse bei, und ein Teil des Honorars kam zurück. Der Vorfall wurde zu einem viel zitierten Beispiel für KI-Risiken bei Beratungsleistungen. Ob das KI-Werkzeug die fehlerhaften Zitate verursacht hat, sagt der Bericht selbst nicht.