Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
Department of Families, Fairness and Housing (Victoria, Australia)
Victorias Kinderschutzbehörde muss KI-Werkzeuge sperren, nachdem ChatGPT in einem Gerichtsbericht verwendet wurde
Eine Fachkraft des Kinderschutzes im Department of Families, Fairness and Housing des australischen Bundesstaats Victoria hat ohne Genehmigung ChatGPT genutzt, um einen Bericht für das Children's Court zu entwerfen. Die staatliche Datenschutzbehörde OVIC stellte fest, dass die Behörde gegen zwei Datenschutzgrundsätze verstoßen hat, und ordnete an, generative KI-Textwerkzeuge für Beschäftigte des Kinderschutzes zu sperren; die Behörde akzeptierte die Feststellungen.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
fast 900
Beschäftigte der Behörde, die von Juli bis Dezember 2023 auf die ChatGPT-Website zugriffen (fast 13 % der Belegschaft)2
100
Kinderschutzfälle mit Hinweisen darauf, dass ChatGPT verwendet worden sein könnte, gefunden in der behördeninternen Überprüfung einer Arbeitseinheit über einen Zeitraum von einem Jahr (die Überprüfung umfasste 796 Fälle)2
IPP 3.1 und 4.1
Datenschutzgrundsätze, gegen die die Behörde nach Feststellung der OVIC verstoßen hat2
bis spätestens 5. November 2024 und aufrechterhalten bis 5. November 2026
Zeitraum, in dem die Compliance-Anordnung die Sperrung generativer KI-Textwerkzeuge für Beschäftigte des Kinderschutzes verlangt2
Was es erforderte
Kosten, Teamgröße und Zeitplan wurden in den Quellen nicht veröffentlicht.
Das Problem
Im Dezember 2023 teilte das Department of Families, Fairness and Housing dem Office of the Victorian Information Commissioner (OVIC) mit, dass eine Fachkraft des Kinderschutzes beim Entwurf eines Protection Application Report ChatGPT genutzt hatte. Dieser Bericht ging an das Children's Court, in einem Fall um ein kleines Kind. Die Behörde erklärte, die Fachkraft habe gegen ihre Richtlinie zur zulässigen Nutzung verstoßen. Generative KI-Werkzeuge schreiben flüssige Texte, die falsch sein können, und alles, was man in sie eingibt, verlässt die Organisation.
Was sie gebaut haben
Es wurde nichts gebaut. Es war eine nicht genehmigte Nutzung eines öffentlichen Werkzeugs durch Beschäftigte, nämlich ChatGPT von OpenAI, auf Geräten der Behörde. Die Behörde verwies auf allgemeine Richtlinien, darunter eine Richtlinie zur zulässigen Nutzung und Schulungen zu Datenschutz und Sicherheit. Die OVIC stellte fest, dass diese den Beschäftigten keine klaren Hinweise zu ChatGPT oder generativer KI gaben.
Wie sie vorgegangen sind
Die OVIC leitete eine Untersuchung ein, um zu entscheiden, ob eine Compliance-Anordnung erlassen wird. Sie prüfte, ob die Behörde angemessene Schritte unternommen hatte, um personenbezogene Daten korrekt zu halten und vor Missbrauch zu schützen. Nach dem Vorfall überprüfte die Behörde die Fälle der weiteren Arbeitseinheit der Fachkraft über ein Jahr und prüfte die Audit-Protokolle für Juli bis Dezember 2023. Im April 2024 bat die IT-Leitung (Chief Information Officer) der Behörde die fast 900 Beschäftigten, die ChatGPT besucht hatten, um Beispiele für sichere Nutzung. Nur zehn antworteten.
Was schiefgelaufen ist
Die Fachkraft räumt ein, ChatGPT für den Bericht und für andere Arbeiten genutzt zu haben, um Zeit zu sparen, bestreitet aber, personenbezogene Daten eingegeben zu haben, da Namen entfernt worden seien. Weder die Behörde noch die OVIC konnten prüfen, was eingegeben wurde, weil Organisationen die Eingaben ihrer Beschäftigten in ChatGPT nicht einsehen können. Die OVIC stellte nach der Wahrscheinlichkeitsabwägung fest, dass personenbezogene Daten einschließlich Namen eingegeben wurden. Sie verwies auf Spuren von ChatGPT im gesamten Bericht, die häufige Verwendung von Namen einzelner Personen in diesen Abschnitten und die Aussagen von Kolleginnen und Kollegen, die Fachkraft habe bei einer Vorführung des Werkzeugs Kundennamen eingegeben.
Die OVIC stellte außerdem fest, dass der Bericht unrichtige personenbezogene Daten enthielt, die Risiken für das Kind herunterspielten, und dass die eingegebenen Informationen OpenAI erreichten, ein ausländisches Unternehmen, außerhalb der Kontrolle der Behörde. Die Commissioner-Stellvertretung (Deputy Commissioner) befand, die Kontrollen der Behörde seien unzureichend gewesen und sie habe gegen die Information Privacy Principles 3.1 und 4.1 verstoßen. Weder die Behörde noch die OVIC stellten eine Änderung bei den Entscheidungen zum Kind fest.
Die Überprüfung von 796 Fällen aus der weiteren Arbeitseinheit der Fachkraft durch die Behörde ergab 100 Fälle mit Hinweisen auf mögliche ChatGPT-Nutzung. Die Prüfenden der Behörde urteilten, dass keiner davon dieselbe Wirkung auf die Risikobewertung hatte wie der Gerichtsbericht, und die OVIC teilte diese Einschätzung nach Durchsicht von neun Stichproben. Die OVIC fügte hinzu, die Stichproben deuteten darauf hin, dass mehr Dokumente als der eine Bericht mit ChatGPT entworfen wurden, und dass die Prüfenden die Nutzung von ChatGPT oft nicht von allgemeineren Problemen der Arbeitspraxis in der Arbeitseinheit unterscheiden konnten.
Ergebnisse
Die OVIC erließ eine Compliance-Anordnung mit sechs festgelegten Maßnahmen. Sie verlangten eine Anweisung an die Beschäftigten des Kinderschutzes, webbasierte oder API-basierte generative KI-Textwerkzeuge nicht für dienstliche Aufgaben zu verwenden, die Sperrung benannter Werkzeuge per IP oder DNS, die Suche nach ähnlichen neuen Werkzeugen sowie Kontrollen, die verhindern, dass Beschäftigte des Kinderschutzes Microsoft 365 Copilot nutzen. Die Sperre sollte bis zum 5. November 2024 stehen und bis zum 5. November 2026 aufrechterhalten werden. Die Behörde musste der OVIC außerdem zu vier Terminen zwischen März 2025 und September 2026 über die Wirksamkeit der Sperre berichten.
Die Behördenleitung (Secretary) akzeptierte die Feststellungen und sagte zu, alle zumutbaren Anstrengungen zu unternehmen, um die festgelegten Maßnahmen fristgerecht umzusetzen. Die Behörde bezeichnete die Angelegenheit als Einzelfall und sagte, die Nutzung generativer KI sei nicht weit verbreitet, eine Sicht, die die OVIC nicht ganz teilte (siehe Vorbehalte). Die Behörde wies außerdem darauf hin, dass es ein Verfahren gibt, die OVIC um Rat zur Aufhebung der Anforderungen zu bitten, und der Bericht der OVIC besagt, die Behörde könne beantragen, einzelne Sperrmaßnahmen fallen zu lassen, wenn sie bessere Kontrollen nachweist.
Erkenntnisse für Ihr Projekt
Verlassen Sie sich nicht auf eine allgemeine Nutzungsrichtlinie. Die OVIC stellte fest, dass die Behörde keine klare Schulung und keine klaren Hinweise zu ChatGPT gegeben hatte, sodass die Beschäftigten nicht wissen konnten, ob und wie sie es nutzen durften.
Prüfen Sie, was Ihre Beschäftigten bereits nutzen. Die Audit-Protokolle der Behörde zeigten, dass fast 900 Beschäftigte die ChatGPT-Website besucht hatten, aber nur den Zugriff, nicht, was eingegeben wurde.
Sperren Sie Werkzeuge dort, wo die Daten hochsensibel sind. Die OVIC befand, dass Richtlinien und Hinweise allein das Risiko im Kinderschutz nicht beherrschen können, und ordnete eine technische Sperre an.
Planen Sie, wie Beschäftigte die Nutzung von KI melden. Nur zehn der fast 900 Beschäftigten beantworteten die Bitte der Behörde vom April 2024 um Beispiele für die Nutzung generativer KI.
Einschränkungen
- Es handelt sich um nicht genehmigte Nutzung durch Beschäftigte, nicht um einen Einsatz, den die Behörde gewählt hat. Der Fall gilt als Fehlschlag, weil eine Aufsichtsbehörde die Nutzung und die Reaktion der Behörde dokumentiert hat.
- Die Darstellung der Behörde weicht in einigen Punkten von der der OVIC ab. Sie sagt, es sei ein Einzelfall gewesen, die Nutzung generativer KI sei nicht weit verbreitet, es lasse sich nicht bestätigen, dass die Fachkraft (die inzwischen nicht mehr bei der Behörde ist) personenbezogene Daten eingegeben habe, und keine Entscheidung zum Kind habe sich geändert.
- Die OVIC stimmt zu, dass sich keine Entscheidung geändert hat und die Eingaben nicht überprüft werden konnten, stellte aber nach der Wahrscheinlichkeitsabwägung fest, dass Namen und andere personenbezogene Daten eingegeben wurden, trotz des Dementis der Fachkraft. Sie wies die Behauptung der Behörde zurück, es sei keine Nutzung bei sensibler Arbeit gefunden worden, und sagte, ihre Stichproben deuteten darauf hin, dass mehr Dokumente mit ChatGPT entworfen wurden.
- Die OVIC sagt, die Zahlen der Behörde seien nur Indikatoren. Die Prüfenden konnten oft nicht erkennen, ob schlechte Inhalte von ChatGPT oder von allgemeineren Problemen der Arbeitspraxis in der Arbeitseinheit stammten.
- Die 100 Fälle sind jene mit Hinweisen darauf, dass ChatGPT verwendet worden sein könnte, von 796 geprüften. Die 900 Beschäftigten haben die Website lediglich auf einem Gerät der Behörde aufgerufen. Keine der beiden Zahlen belegt, was eingegeben wurde.
- Als Einführungsdatum steht 2023, das Jahr der festgestellten Nutzung. Der Vorfall wurde der OVIC im Dezember 2023 gemeldet.
Quellen
- Investigation into the use of ChatGPT by a Child Protection worker
Office of the Victorian Information Commissioner · 2024-09-24 · Behördliche Meldung · ovic.vic.gov.au
- Investigation into the use of ChatGPT by a Child Protection worker (investigation report)
Office of the Victorian Information Commissioner · 2024-09-24 · Behördliche Meldung · ovic.vic.gov.au
- Victorian agency breaches privacy through use of ChatGPT
Information & Data Manager · 2024-09-26 · Nachrichten · idm.net.au
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.