Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Deloitte Australia
Deloitte Australië betaalt een deel terug van een beoordeling van een uitkeringssysteem na fouten in bronverwijzingen en de bekendmaking van AI-gebruik
Deloitte Australië gebruikte een generatieve AI-tool, Azure OpenAI GPT-4o, bij een assurance-beoordeling van het IT-systeem van een overheidsuitkeringsprogramma. Nadat in het rapport onjuiste citaten en een verkeerde samenvatting van een rechtszaak waren gevonden, publiceerde Deloitte het opnieuw; het opdrachtgevende ministerie zegt dat meer dan A$ 97.000 is terugbetaald van een contract dat oorspronkelijk op ongeveer A$ 440.000 was gewaardeerd.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
ongeveer A$ 440.000
Oorspronkelijke waarde van het Deloitte-contract, volgens een aanbestedingsbericht van de overheid dat CFO Dive citeert2
meer dan 97.000 Australische dollar
Door Deloitte terugbetaald bedrag, volgens een woordvoerder van het opdrachtgevende ministerie (gemeld op 21 oktober 2025)2
Wat het kostte
Het probleem
Het Australische ministerie van Werkgelegenheid en Arbeidsverhoudingen (DEWR) huurde Deloitte Australië in om het IT-systeem achter het Targeted Compliance Framework te beoordelen, het systeem dat sancties toepast in het uitkeringsprogramma. De opdracht werd in december 2024 gegeven, met een contract dat oorspronkelijk op ongeveer A$ 440.000 was gewaardeerd. Nadat het rapport van juli 2025 was gepubliceerd, vonden buitenstaanders verwijzingen die niet klopten, waaronder een verkeerd samengevatte rechtszaak.
Wat ze bouwden
Dit was een adviesrapport, geen product. Het team van Deloitte beoordeelde codekwaliteit, tests, documentatie en aansluiting op de wetgeving. In één stap, het nagaan of de code van het systeem kon worden gekoppeld aan bedrijfseisen en nalevingsbehoeften, gebruikte het team volgens het herziene rapport een generatief AI-model, Azure OpenAI GPT-4o, in een toolketen die in licentie was van het DEWR en draaide in de eigen Azure-cloudomgeving van het DEWR.
Hoe ze het aanpakten
Het rapport beschrijft de AI-tool als één input van een bredere beoordeling, waarbij ook codereview, testanalyse, documentbeoordeling en interviews werden gebruikt. De versie van juli 2025 vermeldt generatieve AI niet. De versie van september 2025 voegt de bekendmaking toe in de methodologiesectie en een notitie "Report Update". De notitie zegt dat de update citaten en vermeldingen in de referentielijst corrigeert die fouten bevatten, de samenvatting van de Amato-procedure herstelt en de duidelijkheid verbetert. Er staat dat de update de inhoudelijke bevindingen en aanbevelingen niet wijzigt.
Wat er misging
Het rapport ging de deur uit met onjuiste citaten en een verkeerde samenvatting van een rechtszaak. De pers meldde een verzonnen rechterlijk citaat en verwijzingen naar artikelen die niet bestaan, en beschreef de fouten als door AI gegenereerd. Het ministerie zei dat Deloitte bevestigde dat sommige voetnoten en verwijzingen onjuist waren en dat de kern van de beoordeling bleef staan. De woordvoerder van het ministerie zei later dat Deloitte meer dan A$ 97.000 had terugbetaald.
Resultaten
Er kwam een gecorrigeerd rapport, het ministerie hield de bevindingen aan en een deel van het honorarium kwam terug. De zaak werd een veelgenoemd voorbeeld van AI-risico in de zakelijke dienstverlening. Of de AI-tool de foutieve citaten heeft veroorzaakt, staat niet in het rapport zelf.
Lessen voor uw project
Maak AI-gebruik bekend bij de klant op het moment dat u het inzet, niet pas na een probleem. Het oorspronkelijke rapport van juli 2025 vermeldde het niet; de AI-opmerking stond pas in de versie van september 2025.
Controleer elk citaat en elke verwijzing in AI-ondersteunde opleveringen voordat ze het huis verlaten, vooral citaten uit rechtbankuitspraken en wetenschappelijke artikelen. Onjuiste verwijzingen kunnen honorarium en geloofwaardigheid kosten, ook als de bevindingen overeind blijven.
Leg vast welke stap de AI raakte en welke niet. Het rapport van Deloitte plaatst de AI-tool in één analysestap (traceerbaarheid van code), terwijl het publieke debat over citaten ging, en het rapport beslecht dat verband niet.
Neem AI-clausules op in adviescontracten: bekendmaking, controleverplichtingen en wat er met het honorarium gebeurt als fouten worden gevonden.
Kanttekeningen
- Het eigen verhaal van het bedrijf is een methodologienotitie in het herziene rapport. Daarin staat dat een generatieve AI-tool (Azure OpenAI GPT-4o), in licentie van het opdrachtgevende ministerie en gehost in de Azure-omgeving van het ministerie, is gebruikt in een stap waarin code aan eisen werd gekoppeld. Er staat niet in dat de tool de citatiefouten heeft veroorzaakt.
- De updatenotitie van het rapport zegt dat citaten en referentievermeldingen fouten bevatten en dat een samenvatting van de Amato-procedure fouten bevatte. Er staat dat de update de bevindingen en aanbevelingen niet raakt. Formuleringen dat AI de fouten veroorzaakte komen uit persberichtgeving, en CFO Dive meldt dat Deloitte niet direct had gereageerd op het verzoek om commentaar.
- Het terugbetaalde bedrag en de contractwaarde komen van CFO Dive, dat een woordvoerder van het ministerie en een AusTender-bericht citeert. Andere media noemen andere totalen en data, en de terugbetaling werd eerst beschreven als de laatste termijn.
- De getoonde invoeringsdatum is de datum van het oorspronkelijke rapport (4 juli 2025). De bronnen zeggen niet wanneer de AI-tool is gebruikt.
- De website van het ministerie was niet bereikbaar toen dit item werd opgesteld, dus het herziene rapport is gelezen via een webarchiefkopie.
- Dit is een adviseur die AI gebruikt binnen de omgeving van een overheidsklant, geen overheidsinstantie die een eigen implementatie draait.
Bronnen
- Targeted Compliance Framework: Department of Employment and Workplace Relations, Final Report, 26 September 2025
Deloitte, published by the Department of Employment and Workplace Relations · 2025-09-26 · Officiële melding · dewr.gov.au
- Deloitte refunds over $60K for report with AI errors, Australian government says
CFO Dive · 2025-10-21 · Nieuws · cfodive.com
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.