Chatbot My AI de Snap : le régulateur britannique clôt le dossier sans mesure d’exécution après que Snap a refait son analyse de risques

Le problème

Snap a ajouté un chatbot d’IA générative, My AI, à Snapchat, une application qui compte de nombreux utilisateurs de 13 à 17 ans. La loi britannique impose à une entreprise d’évaluer les risques pour les données des personnes avant de lancer un nouveau type de traitement. Cette évaluation s’appelle une analyse d’impact relative à la protection des données. L’Information Commissioner’s Office (ICO) britannique a ouvert une enquête en juin 2023, craignant que Snap n’ait pas évalué correctement les risques de My AI avant le lancement.

Ce qu’ils ont construit

My AI est un chatbot intégré à Snapchat, auquel les utilisateurs posent des questions par texte, image ou message vocal. Selon la décision de l’ICO, il repose sur la technologie GPT d’OpenAI, que Snap utilise via l’API pour développeurs d’OpenAI. Snap l’a lancé pour les abonnés payants de Snapchat+ le 27 février 2023, puis pour tous les utilisateurs britanniques le 19 avril 2023. Le chatbot recevait des consignes rédigées par Snap, des attributs de l’utilisateur tels qu’une tranche d’âge de moins de 18 ans et une localisation à l’échelle de la ville, ainsi que les requêtes précédentes. Snap a ajouté un filtrage des réponses et, pour les requêtes portant sur certains sujets sensibles, renvoyait des informations d’aide validées. Il utilisait aussi un modèle interne pour détecter une intention commerciale, afin de placer une publicité contextuelle dans une réponse.

Comment ils s’y sont pris

Le dossier du régulateur montre la chronologie. La première analyse d’impact de Snap est datée du 24 février 2023. L’ICO a rencontré Snap le 20 avril 2023, puis a émis deux avis d’information formels pour obtenir chaque version de l’analyse. Le 6 octobre 2023, elle a émis un avis d’exécution préliminaire. Son avis provisoire était que l’analyse n’avait pas satisfait aux exigences légales et que Snap aurait dû consulter d’abord le régulateur, car ses quatre premières analyses semblaient évaluer comme élevé le risque pour les 13 à 17 ans. Le projet d’ordonnance aurait obligé Snap à cesser de traiter les données personnelles des utilisateurs britanniques pour My AI jusqu’à ce qu’une analyse révisée soit réalisée.

Snap a répondu par écrit et lors d’une audition le 14 décembre 2023. Le 22 novembre 2023, elle avait remis à l’ICO une cinquième analyse révisée. Snap a aussi indiqué à l’ICO que la conclusion de risque élevé des premiers projets avait été consignée par erreur, ce qu’appuyait une déclaration de témoin signée.

Ce qui a mal tourné

L’avis provisoire de l’ICO était que Snap avait lancé le service sans analyse de risques conforme, notamment sur les risques pour les jeunes utilisateurs, sur les données de catégories particulières et sur la manière dont les gens comprendraient l’utilisation de leurs données. L’ICO a dit que Snap avait consacré beaucoup de temps et d’efforts à la cinquième analyse et avait répondu aux préoccupations exprimées dans l’avis.

Résultats

Le 21 mai 2024, l’ICO a décidé que la cinquième analyse satisfaisait aux exigences légales et que Snap n’avait pas manqué à son obligation de consulter le régulateur. Elle n’a donc trouvé aucun motif d’émettre une Enforcement Notice. L’ICO a décrit l’affaire comme un coup de semonce pour le secteur au sujet de l’IA générative et de la protection des données, et a dit qu’elle continuerait de surveiller My AI. Elle n’a infligé aucune amende.