Traducido del original en inglés. Las cifras y las fuentes no cambian. Leer el original en inglés
Department of Families, Fairness and Housing (Victoria, Australia)
Se ordena al departamento de protección de menores de Victoria bloquear herramientas de IA tras el uso de ChatGPT en un informe judicial
Una persona empleada de Protección de Menores del Department of Families, Fairness and Housing de Victoria usó ChatGPT, sin autorización, para ayudar a redactar un informe para el Children's Court. El regulador estatal de privacidad, OVIC, concluyó que el departamento infringió dos principios de privacidad y le ordenó bloquear las herramientas de texto de IA generativa para el personal de Protección de Menores; el departamento aceptó las conclusiones.
Cifras clave
Copiadas literalmente de las fuentes. Copie cualquier cifra con su cita.
casi 900
Empleados del departamento que accedieron al sitio web de ChatGPT, de julio a diciembre de 2023 (casi el 13 por ciento de su plantilla)2
100
Casos de protección de menores con indicios de que se pudo usar ChatGPT, hallados en la revisión interna del departamento de una unidad de trabajo durante un periodo de un año (la revisión abarcó 796 casos)2
IPP 3.1 y 4.1
Principios de privacidad que según OVIC contravino el departamento2
del 5 de noviembre de 2024 al 5 de noviembre de 2026
Periodo durante el cual la notificación de cumplimiento exige bloquear las herramientas de texto de IA generativa para el personal de Protección de Menores2
Qué requirió
Las fuentes no divulgan el coste, el tamaño del equipo ni los plazos.
El problema
En diciembre de 2023, el Department of Families, Fairness and Housing informó a la Office of the Victorian Information Commissioner (OVIC) de que una persona empleada de Protección de Menores había usado ChatGPT al redactar un Protection Application Report. Ese informe se envió al Children's Court en un caso sobre un niño pequeño. El departamento dijo que esa persona había incumplido su política de uso aceptable. Las herramientas de IA generativa escriben textos fluidos que pueden ser erróneos, y todo lo que se escribe en ellas sale de la organización.
Qué construyeron
No se construyó nada. Fue un uso no autorizado por parte del personal de una herramienta pública, ChatGPT de OpenAI, en dispositivos del departamento. El departamento señaló políticas generales, entre ellas una política de uso aceptable y formación en privacidad y seguridad. OVIC halló que estas no daban al personal una orientación clara sobre ChatGPT ni sobre la IA generativa.
Cómo lo hicieron
OVIC abrió una investigación para decidir si emitía una notificación de cumplimiento. Examinó si el departamento tomó medidas razonables para mantener exactos los datos personales y protegerlos del mal uso. Tras el incidente, el departamento revisó durante un año los casos de la unidad de trabajo más amplia de esa persona y comprobó los registros de auditoría de julio a diciembre de 2023. En abril de 2024, la dirección de sistemas de información (Chief Information Officer) pidió a los casi 900 empleados que visitaron ChatGPT ejemplos de uso seguro. Solo diez respondieron.
Qué salió mal
La persona empleada admitió haber usado ChatGPT para el informe y para otros trabajos con el fin de ahorrar tiempo, pero negó haber introducido datos personales, y dijo que se habían quitado los nombres. Ni el departamento ni OVIC pudieron comprobar lo que se escribió, porque las organizaciones no pueden ver lo que su personal introduce en ChatGPT. OVIC concluyó, por el balance de probabilidades, que se introdujeron datos personales, incluidos nombres. Citó señales de ChatGPT a lo largo del informe, el uso frecuente de nombres de personas en esas secciones y los relatos de colegas según los cuales esa persona había escrito nombres de clientes en la herramienta al hacer una demostración.
OVIC también halló que el informe contenía datos personales inexactos que restaban importancia a los riesgos para el menor, y que la información introducida llegó a OpenAI, una empresa extranjera, fuera del control del departamento. La dirección adjunta de OVIC (Deputy Commissioner) concluyó que los controles del departamento eran insuficientes y que este infringió los Information Privacy Principles 3.1 y 4.1. Ni el departamento ni OVIC vieron un cambio en las decisiones sobre el menor.
La revisión del departamento de 796 casos de la unidad de trabajo más amplia de esa persona halló 100 con indicios de un posible uso de ChatGPT. Quienes hicieron la revisión en el departamento juzgaron que ninguno tuvo sobre la evaluación del riesgo el mismo efecto que el informe judicial, y OVIC, tras ver nueve muestras, compartió esa opinión. OVIC añadió que las muestras sugerían que se habían redactado con ChatGPT más documentos que el informe en cuestión, y que quienes revisaban a menudo no podían distinguir el uso de ChatGPT de problemas de práctica más amplios en la unidad de trabajo.
Resultados
OVIC emitió una notificación de cumplimiento con seis acciones específicas. Exigían una instrucción al personal de Protección de Menores de no usar herramientas de texto de IA generativa basadas en web o en API para sus funciones oficiales, el bloqueo por IP o DNS de herramientas concretas, la búsqueda de herramientas nuevas similares y controles para impedir que el personal de Protección de Menores use Microsoft 365 Copilot. El bloqueo debía estar listo el 5 de noviembre de 2024 y mantenerse hasta el 5 de noviembre de 2026. El departamento también debía informar a OVIC de la eficacia del bloqueo en cuatro fechas entre marzo de 2025 y septiembre de 2026.
La dirección del departamento (Secretary) aceptó las conclusiones y se comprometió a hacer todos los esfuerzos razonables para cumplir las acciones especificadas a tiempo. El departamento describió el asunto como un incidente aislado y dijo que el uso de IA generativa no es generalizado, una opinión que OVIC no aceptó por completo (véanse las salvedades). El departamento señaló además que existe un proceso para pedir el consejo de OVIC sobre la retirada de los requisitos, y el informe de OVIC dice que el departamento puede solicitar que se eliminen acciones de bloqueo concretas si demuestra mejores controles.
Lecciones para su proyecto
No confíe en una política general de uso aceptable. OVIC halló que el departamento no dio formación ni orientación claras sobre ChatGPT, de modo que el personal no podía saber si debía usarlo ni cómo.
Compruebe qué usa ya su personal. Los registros de auditoría del departamento mostraron que casi 900 empleados visitaron el sitio de ChatGPT, pero solo mostraron el acceso, no lo que se escribió.
Bloquee las herramientas donde los datos son muy sensibles. OVIC sostuvo que la política y la orientación por sí solas no podían gestionar el riesgo en la protección de menores, y ordenó un bloqueo técnico.
Planifique cómo informa el personal del uso de IA. Solo diez de los casi 900 empleados respondieron a la solicitud del departamento de abril de 2024 de ejemplos de uso de IA generativa.
Salvedades
- Se trata de un uso no autorizado por parte del personal, no de un despliegue elegido por el departamento. Es un caso de fracaso porque un regulador documentó el uso y la respuesta del departamento.
- La versión del departamento difiere de la de OVIC en algunos puntos. Dice que fue un incidente aislado, que el uso de IA generativa no es generalizado, que no se pudo confirmar que la persona profesional (que ya no trabaja allí) introdujera datos personales y que no cambió ninguna decisión sobre el menor.
- OVIC coincide en que no cambió ninguna decisión y en que no se podían verificar las entradas, pero concluyó, por el balance de probabilidades, que se introdujeron nombres y otros datos personales, pese a la negativa de la persona empleada. Rechazó la afirmación del departamento de que no se halló uso en trabajo sensible, y dijo que sus muestras sugerían que se redactaron más documentos con ChatGPT.
- OVIC dice que las cifras del departamento son solo indicios. Quienes revisaban a menudo no podían saber si el contenido deficiente procedía de ChatGPT o de problemas de práctica más amplios en la unidad de trabajo.
- Los 100 casos son aquellos con indicios de que se pudo usar ChatGPT, de 796 revisados. Los 900 empleados solo accedieron al sitio web desde un dispositivo del departamento. Ninguna de las dos cifras prueba lo que se introdujo.
- La fecha de despliegue indica 2023, el año del uso detectado. El incidente se comunicó a OVIC en diciembre de 2023.
Fuentes
- Investigation into the use of ChatGPT by a Child Protection worker
Office of the Victorian Information Commissioner · 2024-09-24 · Documento regulatorio · ovic.vic.gov.au
- Investigation into the use of ChatGPT by a Child Protection worker (investigation report)
Office of the Victorian Information Commissioner · 2024-09-24 · Documento regulatorio · ovic.vic.gov.au
- Victorian agency breaches privacy through use of ChatGPT
Information & Data Manager · 2024-09-26 · Noticia · idm.net.au
Resumido con nuestras propias palabras a partir de las fuentes anteriores. ¿Ha detectado un error? Consulte correcciones.