Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
Department of Families, Fairness and Housing (Victoria, Australia)
Departament ochrony dzieci w stanie Victoria ma zablokować narzędzia AI po użyciu ChatGPT w raporcie dla sądu
Osoba zatrudniona w ochronie dzieci w Department of Families, Fairness and Housing stanu Victoria użyła bez zgody ChatGPT, by przygotować raport dla Children's Court. Stanowy organ ochrony prywatności, OVIC, stwierdził, że departament naruszył dwie zasady ochrony prywatności, i nakazał mu zablokować narzędzia tekstowe generatywnej AI dla pracowników ochrony dzieci; departament przyjął te ustalenia.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
prawie 900
Pracownicy departamentu, którzy weszli na stronę ChatGPT od lipca do grudnia 2023 roku (prawie 13 procent załogi)2
100
Sprawy z zakresu ochrony dzieci ze wskazówkami, że mógł być użyty ChatGPT, znalezione w wewnętrznym przeglądzie departamentu jednej jednostki roboczej w okresie jednego roku (przegląd objął 796 spraw)2
IPP 3.1 i 4.1
Zasady ochrony prywatności, które według OVIC departament naruszył2
od 5 listopada 2024 do 5 listopada 2026
Okres, w którym nakaz zgodności wymaga blokowania narzędzi tekstowych generatywnej AI dla pracowników ochrony dzieci2
Ile to kosztowało
Koszt, wielkość zespołu i harmonogram nie zostały ujawnione w źródłach.
Problem
W grudniu 2023 roku Department of Families, Fairness and Housing poinformował Office of the Victorian Information Commissioner (OVIC), że osoba zatrudniona w ochronie dzieci użyła ChatGPT przy przygotowywaniu Protection Application Report. Raport trafił do Children's Court w sprawie dotyczącej małego dziecka. Departament oświadczył, że ta osoba naruszyła jego politykę dopuszczalnego użycia. Narzędzia generatywnej AI piszą płynny tekst, który może być błędny, a wszystko, co się do nich wpisze, opuszcza organizację.
Co zbudowano
Nic nie zbudowano. Było to nieautoryzowane użycie przez pracowników publicznego narzędzia, ChatGPT od OpenAI, na urządzeniach departamentu. Departament wskazał ogólne polityki, w tym politykę dopuszczalnego użycia i szkolenie z prywatności i bezpieczeństwa. OVIC stwierdził, że nie dawały one pracownikom jasnych wskazówek dotyczących ChatGPT ani generatywnej AI.
Jak to zrobiono
OVIC wszczął dochodzenie, by zdecydować, czy wydać nakaz zgodności. Zbadał, czy departament podjął rozsądne kroki, aby dane osobowe były dokładne i chronione przed nadużyciem. Po incydencie departament przejrzał sprawy z szerszej jednostki roboczej tej osoby z okresu roku i sprawdził dzienniki audytu od lipca do grudnia 2023 roku. W kwietniu 2024 roku dyrektor ds. informatyki (Chief Information Officer) poprosił prawie 900 pracowników, którzy odwiedzili ChatGPT, o przykłady bezpiecznego użycia. Odpowiedziało tylko dziesięć osób.
Co poszło nie tak
Osoba zatrudniona przyznała, że użyła ChatGPT do raportu i do innej pracy, by oszczędzić czas, ale zaprzeczyła wprowadzaniu danych osobowych i powiedziała, że imiona i nazwiska zostały usunięte. Ani departament, ani OVIC nie mogły sprawdzić, co wpisano, bo organizacje nie widzą danych wprowadzanych przez pracowników do ChatGPT. OVIC stwierdził na podstawie rachunku prawdopodobieństwa, że wprowadzono dane osobowe, w tym imiona i nazwiska. Wskazał ślady ChatGPT w całym raporcie, częste użycie imion i nazwisk osób w tych częściach oraz relacje współpracowników, według których osoba zatrudniona wpisywała nazwiska klientów do narzędzia podczas jego prezentowania.
OVIC stwierdził też, że raport zawierał niedokładne dane osobowe, które umniejszały ryzyko dla dziecka, oraz że wprowadzone informacje dotarły do OpenAI, zagranicznej firmy, poza kontrolą departamentu. Według ustaleń zastępcy komisarza (Deputy Commissioner) kontrole departamentu były niewystarczające, a departament naruszył Information Privacy Principles 3.1 i 4.1. Ani departament, ani OVIC nie zauważyły zmiany w decyzjach dotyczących dziecka.
Przegląd 796 spraw z szerszej jednostki roboczej tej osoby, wykonany przez departament, wskazał 100 spraw ze śladami możliwego użycia ChatGPT. Recenzenci departamentu ocenili, że żadna z nich nie miała na ocenę ryzyka takiego wpływu jak raport dla sądu, a OVIC, po obejrzeniu dziewięciu próbek, podzielił tę ocenę. OVIC dodał, że próbki wskazują, iż za pomocą ChatGPT przygotowano więcej dokumentów niż ten jeden raport, oraz że recenzenci często nie potrafili odróżnić użycia ChatGPT od szerszych problemów praktyki w jednostce roboczej.
Wyniki
OVIC wydał nakaz zgodności z sześcioma wskazanymi działaniami. Wymagały one polecenia dla pracowników ochrony dzieci, by nie używali opartych na sieci ani na API narzędzi tekstowych generatywnej AI do zadań służbowych, blokady wskazanych narzędzi przez IP lub DNS, wyszukiwania podobnych nowych narzędzi oraz mechanizmów uniemożliwiających pracownikom ochrony dzieci korzystanie z Microsoft 365 Copilot. Blokada miała działać do 5 listopada 2024 roku i być utrzymana do 5 listopada 2026 roku. Departament miał też zdawać OVIC sprawozdania o skuteczności blokady w czterech terminach między marcem 2025 a wrześniem 2026 roku.
Ustalenia zostały przyjęte przez sekretarza departamentu (Secretary), wraz ze zobowiązaniem do dołożenia wszelkich rozsądnych starań, by wykonać wskazane działania w terminie. Departament opisał sprawę jako odosobniony incydent i powiedział, że generatywna AI nie jest szeroko używana, co OVIC przyjął tylko częściowo (zob. zastrzeżenia). Departament zauważył też, że istnieje procedura, by zwrócić się do OVIC o opinię w sprawie uchylenia wymagań, a raport OVIC mówi, że departament może wnosić o odstąpienie od poszczególnych działań blokujących, jeśli wykaże lepsze kontrole.
Wnioski dla Twojego projektu
Warto nie polegać na ogólnej polityce dopuszczalnego użycia. OVIC stwierdził, że departament nie zapewnił jasnego szkolenia ani wskazówek dotyczących ChatGPT, więc pracownicy nie mogli wiedzieć, czy i jak z niego korzystać.
Warto sprawdzić, z czego pracownicy już korzystają. Dzienniki audytu departamentu pokazały, że prawie 900 pracowników odwiedziło stronę ChatGPT, ale pokazały tylko dostęp, a nie to, co wpisano.
Warto blokować narzędzia tam, gdzie dane są bardzo wrażliwe. OVIC uznał, że sama polityka i wskazówki nie opanują ryzyka w ochronie dzieci, i nakazał blokadę techniczną.
Warto zaplanować, jak pracownicy zgłaszają użycie AI. Tylko dziesięć z prawie 900 osób odpowiedziało na prośbę departamentu z kwietnia 2024 roku o przykłady użycia generatywnej AI.
Zastrzeżenia
- To nieautoryzowane użycie przez pracowników, a nie wdrożenie wybrane przez departament. Kwalifikuje się jako przypadek porażki, bo regulator udokumentował to użycie i reakcję departamentu.
- Relacja departamentu różni się od relacji OVIC w niektórych punktach. Departament mówi, że był to odosobniony incydent, że generatywna AI nie jest szeroko używana, że nie dało się potwierdzić, że osoba zatrudniona (która odeszła z departamentu) wprowadziła dane osobowe, i że żadna decyzja dotycząca dziecka się nie zmieniła.
- OVIC zgadza się, że żadna decyzja się nie zmieniła i że danych wejściowych nie dało się zweryfikować, ale stwierdził na podstawie rachunku prawdopodobieństwa, że wprowadzono imiona i nazwiska oraz inne dane osobowe, mimo zaprzeczenia osoby zatrudnionej. Odrzucił twierdzenie departamentu, że nie znaleziono użycia przy pracy wrażliwej, i powiedział, że jego próbki wskazują, iż za pomocą ChatGPT przygotowano więcej dokumentów.
- OVIC mówi, że liczby departamentu to tylko wskazówki. Recenzenci często nie mogli ocenić, czy słaba treść pochodzi z ChatGPT, czy z szerszych problemów praktyki w jednostce roboczej.
- 100 spraw to te ze wskazówkami, że mógł być użyty ChatGPT, spośród 796 przejrzanych. 900 pracowników tylko weszło na stronę z urządzenia departamentu. Żadna z tych liczb nie dowodzi, co wprowadzono.
- Data wdrożenia pokazuje rok 2023, czyli rok stwierdzonego użycia. Incydent zgłoszono do OVIC w grudniu 2023 roku.
Źródła
- Investigation into the use of ChatGPT by a Child Protection worker
Office of the Victorian Information Commissioner · 2024-09-24 · Dokument urzędowy · ovic.vic.gov.au
- Investigation into the use of ChatGPT by a Child Protection worker (investigation report)
Office of the Victorian Information Commissioner · 2024-09-24 · Dokument urzędowy · ovic.vic.gov.au
- Victorian agency breaches privacy through use of ChatGPT
Information & Data Manager · 2024-09-26 · Wiadomości · idm.net.au
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.