Tradotto dall'originale inglese. Dati e fonti restano invariati. Leggi l'originale in inglese
Department of Families, Fairness and Housing (Victoria, Australia)
Il dipartimento per la tutela dei minori di Victoria deve bloccare gli strumenti di IA dopo l'uso di ChatGPT in una relazione per il tribunale
Una persona addetta alla tutela dei minori del Department of Families, Fairness and Housing di Victoria ha usato ChatGPT, senza autorizzazione, per aiutarsi a redigere una relazione per il Children's Court. L'autorità statale per la privacy, l'OVIC, ha stabilito che il dipartimento ha violato due principi sulla privacy e gli ha ordinato di bloccare gli strumenti di testo di IA generativa per il personale della tutela dei minori; il dipartimento ha accettato le conclusioni.
Dati chiave
Copiati esattamente dalle fonti. Copiate qualsiasi dato insieme alla sua citazione.
quasi 900
Dipendenti del dipartimento che hanno visitato il sito di ChatGPT, da luglio a dicembre 2023 (quasi il 13 per cento del personale)2
100
Casi di tutela dei minori con indicatori che ChatGPT possa essere stato usato, rilevati nella revisione interna del dipartimento su un'unità di lavoro nell'arco di un anno (la revisione ha riguardato 796 casi)2
IPP 3.1 e 4.1
Principi sulla privacy che secondo l'OVIC il dipartimento ha violato2
dal 5 novembre 2024 al 5 novembre 2026
Periodo per cui l'ordine di conformità impone il blocco degli strumenti di testo di IA generativa per il personale della tutela dei minori2
Cosa è servito
Le fonti non rendono noti costi, dimensioni del team e tempi.
Il problema
Nel dicembre 2023 il Department of Families, Fairness and Housing ha comunicato all'Office of the Victorian Information Commissioner (OVIC) che una persona addetta alla tutela dei minori aveva usato ChatGPT per redigere un Protection Application Report. La relazione è andata al Children's Court in un caso riguardante un bambino piccolo. Il dipartimento ha detto che la persona aveva violato la sua policy di uso accettabile. Gli strumenti di IA generativa scrivono testi fluidi che possono essere sbagliati, e tutto ciò che vi si digita esce dall'organizzazione.
Cosa hanno costruito
Non è stato costruito nulla. Si è trattato di un uso non autorizzato da parte del personale di uno strumento pubblico, ChatGPT di OpenAI, su dispositivi del dipartimento. Il dipartimento ha indicato policy generali, tra cui una policy di uso accettabile e una formazione su privacy e sicurezza. L'OVIC ha ritenuto che queste non fornissero al personale indicazioni chiare su ChatGPT o sull'IA generativa.
Come ci sono riusciti
L'OVIC ha avviato un'indagine per decidere se emettere un ordine di conformità. Ha esaminato se il dipartimento avesse adottato misure ragionevoli per mantenere esatti i dati personali e proteggerli da usi impropri. Dopo l'incidente il dipartimento ha riesaminato, nell'arco di un anno, i casi dell'unità di lavoro più ampia della persona addetta e ha controllato i registri di audit da luglio a dicembre 2023. Nell'aprile 2024 la direzione dei sistemi informativi (Chief Information Officer) ha chiesto ai quasi 900 dipendenti che avevano visitato ChatGPT esempi di uso sicuro. Solo dieci hanno risposto.
Cosa è andato storto
La persona addetta ha ammesso di aver usato ChatGPT per la relazione e per altri lavori per risparmiare tempo, ma ha negato di aver inserito dati personali, dicendo che i nomi erano stati rimossi. Né il dipartimento né l'OVIC hanno potuto verificare che cosa fosse stato digitato, perché le organizzazioni non vedono ciò che il personale inserisce in ChatGPT. L'OVIC ha stabilito, in base al criterio della probabilità prevalente, che sono stati inseriti dati personali, compresi i nomi. Ha citato tracce di ChatGPT in tutta la relazione, l'uso frequente di nomi di persone in quelle sezioni e i resoconti di colleghi secondo cui la persona addetta aveva digitato nomi di clienti nello strumento durante una dimostrazione.
L'OVIC ha anche rilevato che la relazione conteneva dati personali inesatti che minimizzavano i rischi per il minore, e che le informazioni inserite sono arrivate a OpenAI, un'azienda straniera, fuori dal controllo del dipartimento. La vicedirezione dell'OVIC (Deputy Commissioner) ha ritenuto i controlli del dipartimento insufficienti e ha stabilito che esso ha violato gli Information Privacy Principles 3.1 e 4.1. Né il dipartimento né l'OVIC hanno rilevato un cambiamento nelle decisioni sul minore.
La revisione del dipartimento su 796 casi dell'unità di lavoro più ampia della persona addetta ha trovato 100 casi con indicatori di possibile uso di ChatGPT. I revisori del dipartimento hanno giudicato che nessuno di questi avesse sulla valutazione del rischio lo stesso effetto della relazione per il tribunale, e l'OVIC, dopo aver visto nove campioni, ha condiviso questo giudizio. L'OVIC ha aggiunto che i campioni suggerivano che più documenti di quella sola relazione fossero stati redatti con ChatGPT, e che i revisori spesso non riuscivano a distinguere l'uso di ChatGPT da problemi di pratica più ampi nell'unità di lavoro.
Risultati
L'OVIC ha emesso un ordine di conformità con sei azioni specifiche. Richiedevano un'istruzione al personale della tutela dei minori di non usare strumenti di testo di IA generativa basati sul web o su API per le funzioni ufficiali, il blocco via IP o DNS di strumenti indicati, la ricerca di nuovi strumenti simili e controlli per impedire al personale della tutela dei minori di usare Microsoft 365 Copilot. Il blocco doveva essere attivo entro il 5 novembre 2024 e mantenuto fino al 5 novembre 2026. Il dipartimento doveva inoltre riferire all'OVIC sull'efficacia del blocco in quattro date tra marzo 2025 e settembre 2026.
La direzione del dipartimento (Secretary) ha accettato le conclusioni e si è impegnata a compiere ogni sforzo ragionevole per rispettare nei tempi le azioni specificate. Il dipartimento ha descritto la vicenda come un incidente isolato e ha detto che l'uso dell'IA generativa non è diffuso, una posizione che l'OVIC non ha accettato per intero (vedi le avvertenze). Il dipartimento ha inoltre osservato che esiste una procedura per chiedere il parere dell'OVIC sulla rimozione dei requisiti, e il rapporto dell'OVIC afferma che il dipartimento può chiedere di eliminare singole azioni di blocco se dimostra controlli migliori.
Lezioni per il vostro progetto
Non affidarsi a una policy generale di uso accettabile. L'OVIC ha rilevato che il dipartimento non aveva fornito formazione né indicazioni chiare su ChatGPT, quindi il personale non poteva sapere se e come usarlo.
Verificare che cosa il personale usa già. I registri di audit del dipartimento mostravano che quasi 900 dipendenti avevano visitato il sito di ChatGPT, ma solo l'accesso, non ciò che era stato digitato.
Bloccare gli strumenti dove i dati sono molto sensibili. L'OVIC ha ritenuto che policy e indicazioni da sole non potessero gestire il rischio nella tutela dei minori, e ha ordinato un blocco tecnico.
Pianificare come il personale segnala l'uso dell'IA. Solo dieci dei quasi 900 dipendenti hanno risposto alla richiesta di esempi di uso dell'IA generativa fatta dal dipartimento nell'aprile 2024.
Avvertenze
- Si tratta di un uso non autorizzato da parte del personale, non di un'implementazione scelta dal dipartimento. Rientra tra i casi di fallimento perché un'autorità di controllo ha documentato l'uso e la risposta del dipartimento.
- La versione del dipartimento differisce da quella dell'OVIC su alcuni punti. Afferma che si è trattato di un incidente isolato, che l'uso dell'IA generativa non è diffuso, che non si è potuto confermare che dati personali siano stati inseriti dalla persona addetta (che ha lasciato l'incarico) e che nessuna decisione sul minore è cambiata.
- L'OVIC concorda sul fatto che nessuna decisione sia cambiata e che gli input non si potessero verificare, ma ha stabilito, in base al criterio della probabilità prevalente, che sono stati inseriti nomi e altri dati personali, nonostante la smentita della persona addetta. Ha respinto l'affermazione del dipartimento secondo cui non era stato trovato uso in lavori sensibili, e ha detto che i suoi campioni suggerivano che più documenti fossero stati redatti con ChatGPT.
- L'OVIC afferma che le cifre del dipartimento sono solo indicatori. I revisori spesso non potevano capire se un contenuto scadente derivasse da ChatGPT o da problemi di pratica più ampi nell'unità di lavoro.
- I 100 casi sono quelli con indicatori che ChatGPT possa essere stato usato, su 796 esaminati. I 900 dipendenti hanno solo visitato il sito da un dispositivo del dipartimento. Nessuna delle due cifre prova che cosa sia stato inserito.
- La data di avvio indica il 2023, l'anno dell'uso rilevato. L'incidente è stato segnalato all'OVIC nel dicembre 2023.
Fonti
- Investigation into the use of ChatGPT by a Child Protection worker
Office of the Victorian Information Commissioner · 2024-09-24 · Documento depositato · ovic.vic.gov.au
- Investigation into the use of ChatGPT by a Child Protection worker (investigation report)
Office of the Victorian Information Commissioner · 2024-09-24 · Documento depositato · ovic.vic.gov.au
- Victorian agency breaches privacy through use of ChatGPT
Information & Data Manager · 2024-09-26 · Notizia · idm.net.au
Riassunto con parole nostre a partire dalle fonti sopra indicate. Avete notato un errore? Consultate le rettifiche.