El chatbot My AI de Snap: el regulador británico cierra el caso sin medidas de ejecución después de que Snap rehiciera su evaluación de riesgos

El problema

Snap añadió un chatbot de IA generativa, My AI, a Snapchat, una aplicación con muchos usuarios de 13 a 17 años. La ley británica exige que una empresa evalúe los riesgos para los datos de las personas antes de iniciar un nuevo tipo de tratamiento. Esa evaluación se llama evaluación de impacto relativa a la protección de datos. La Information Commissioner’s Office (ICO) del Reino Unido abrió una investigación en junio de 2023, preocupada porque Snap no hubiera evaluado adecuadamente los riesgos de My AI antes del lanzamiento.

Qué construyeron

My AI es un chatbot dentro de Snapchat al que los usuarios hacen preguntas por texto, imagen o nota de voz. Según la decisión de la ICO, funciona con la tecnología GPT de OpenAI, que Snap utiliza a través de la API para desarrolladores de OpenAI. Snap lo lanzó para los suscriptores de pago de Snapchat+ el 27 de febrero de 2023 y para todos los usuarios británicos el 19 de abril de 2023. El chatbot recibía directrices redactadas por Snap, atributos del usuario como una franja de edad de menores de 18 años y una ubicación a nivel de ciudad, y consultas anteriores. Snap añadió un filtrado de las respuestas y, ante consultas sobre ciertos temas sensibles, devolvía información de ayuda validada. También usaba un modelo interno para detectar intención comercial, de modo que pudiera colocarse un anuncio contextual en una respuesta.

Cómo lo hicieron

El expediente del regulador muestra la secuencia. La primera evaluación de impacto de Snap está fechada el 24 de febrero de 2023. La ICO se reunió con Snap el 20 de abril de 2023 y más tarde emitió dos avisos de información formales para obtener todas las versiones de la evaluación. El 6 de octubre de 2023 emitió un aviso de ejecución preliminar. Su opinión provisional fue que la evaluación no había cumplido los requisitos legales y que Snap debería haber consultado antes al regulador, porque sus primeras cuatro evaluaciones parecían calificar como alto el riesgo para los jóvenes de 13 a 17 años. El borrador de orden habría obligado a Snap a dejar de tratar datos personales de usuarios británicos para My AI hasta que se hiciera una evaluación revisada.

Snap respondió por escrito y en una audiencia el 14 de diciembre de 2023. El 22 de noviembre de 2023 entregó a la ICO una quinta evaluación, revisada. Snap también dijo a la ICO que la conclusión de riesgo alto de los borradores anteriores se había registrado por error, con el respaldo de una declaración de testigo firmada.

Qué salió mal

La opinión provisional de la ICO fue que Snap había lanzado el servicio sin una evaluación de riesgos conforme, en particular sobre los riesgos para los usuarios jóvenes, sobre los datos de categorías especiales y sobre cómo entenderían las personas el uso de sus datos. La ICO dijo que Snap había invertido mucho tiempo y esfuerzo en la quinta evaluación y había atendido las preocupaciones del aviso.

Resultados

El 21 de mayo de 2024 la ICO decidió que la quinta evaluación cumplía los requisitos legales y que Snap no había incumplido el deber de consultar al regulador. Por tanto, no encontró motivos para emitir una Enforcement Notice. La ICO describió el caso como un toque de atención para el sector sobre la IA generativa y la protección de datos, y dijo que seguiría supervisando My AI. No impuso ninguna multa.