Kinderbeschermingsdienst van Victoria moet AI-tools blokkeren nadat een medewerker ChatGPT gebruikte in een rapport voor de rechtbank

Het probleem

In december 2023 meldde het Department of Families, Fairness and Housing aan het Office of the Victorian Information Commissioner (OVIC) dat een medewerker van Kinderbescherming ChatGPT had gebruikt bij het opstellen van een Protection Application Report. Dat rapport ging naar het Children's Court in een zaak over een jong kind. Het departement zei dat de medewerker het gebruiksbeleid had overtreden. Generatieve AI-tools schrijven vloeiende tekst die onjuist kan zijn, en alles wat erin wordt getypt verlaat de organisatie.

Wat ze bouwden

Er is niets gebouwd. Het ging om ongeoorloofd gebruik door medewerkers van een openbare tool, ChatGPT van OpenAI, op apparaten van het departement. Het departement verwees naar algemeen beleid, waaronder een gebruiksbeleid en training in privacy en beveiliging. OVIC stelde vast dat dit medewerkers geen duidelijke richtlijnen over ChatGPT of generatieve AI gaf.

Hoe ze het aanpakten

OVIC startte een onderzoek om te beslissen of een nalevingsbevel moest worden uitgevaardigd. Het keek of het departement redelijke maatregelen had genomen om persoonsgegevens juist te houden en tegen misbruik te beschermen. Na het incident beoordeelde het departement over een jaar de zaken van de bredere werkeenheid van de medewerker en controleerde het de auditlogs van juli tot en met december 2023. In april 2024 vroeg de Chief Information Officer van het departement de bijna 900 medewerkers die ChatGPT hadden bezocht om voorbeelden van veilig gebruik. Slechts tien reageerden.

Wat er misging

De medewerker gaf toe ChatGPT voor het rapport en voor ander werk te hebben gebruikt om tijd te besparen, maar ontkende persoonsgegevens te hebben ingevoerd en zei dat namen waren verwijderd. Noch het departement noch OVIC kon controleren wat er was ingetypt, omdat organisaties de invoer van hun medewerkers in ChatGPT niet kunnen zien. OVIC stelde op grond van de afweging van waarschijnlijkheden vast dat persoonsgegevens, waaronder namen, zijn ingevoerd. Het wees op sporen van ChatGPT door het hele rapport, het veelvuldige gebruik van namen van personen in die passages, en verklaringen van collega's dat de medewerker bij een demonstratie van de tool namen van cliënten had ingetypt.

OVIC stelde ook vast dat het rapport onjuiste persoonsgegevens bevatte die de risico's voor het kind bagatelliseerden, en dat de ingevoerde informatie OpenAI bereikte, een buitenlands bedrijf, buiten de controle van het departement. De Deputy Commissioner oordeelde dat de controles van het departement onvoldoende waren en dat het de Information Privacy Principles 3.1 en 4.1 schond. Noch het departement noch OVIC zag een verandering in de beslissingen over het kind.

De beoordeling door het departement van 796 zaken van de bredere werkeenheid van de medewerker vond 100 zaken met aanwijzingen voor mogelijk ChatGPT-gebruik. Beoordelaars van het departement oordeelden dat geen daarvan hetzelfde effect op de risicobeoordeling had als het rapport voor de rechtbank, en OVIC deelde dat oordeel na het zien van negen steekproeven. OVIC voegde toe dat de steekproeven erop wezen dat meer documenten dan dat ene rapport met ChatGPT waren opgesteld, en dat beoordelaars ChatGPT-gebruik vaak niet konden onderscheiden van bredere problemen in de werkwijze van de werkeenheid.

Resultaten

OVIC vaardigde een nalevingsbevel uit met zes vastgelegde acties. Die vereisten een instructie aan medewerkers van Kinderbescherming om webgebaseerde of API-gebaseerde generatieve AI-teksttools niet voor officiële taken te gebruiken, blokkering van genoemde tools via IP of DNS, het opsporen van vergelijkbare nieuwe tools, en maatregelen om te voorkomen dat medewerkers van Kinderbescherming Microsoft 365 Copilot gebruiken. De blokkering moest op 5 november 2024 klaar zijn en tot 5 november 2026 blijven bestaan. Het departement moest OVIC ook op vier data tussen maart 2025 en september 2026 rapporteren over hoe goed de blokkering werkt.

De Secretary van het departement aanvaardde de bevindingen en beloofde alle redelijke inspanningen te leveren om de vastgelegde acties op tijd na te komen. Het departement noemde de zaak een op zichzelf staand incident en zei dat generatieve AI niet veel wordt gebruikt, een zienswijze die OVIC niet volledig aanvaardde (zie de kanttekeningen). Het departement merkte ook op dat er een procedure is om OVIC om advies te vragen over het opheffen van de vereisten, en het rapport van OVIC zegt dat het departement kan verzoeken afzonderlijke blokkeringsacties te laten vallen als het bewijs van betere beheersmaatregelen levert.