Le département de la protection de l’enfance de Victoria se voit ordonner de bloquer les outils d’IA après l’usage de ChatGPT dans un rapport au tribunal

Le problème

En décembre 2023, le Department of Families, Fairness and Housing a informé l’Office of the Victorian Information Commissioner (OVIC) qu’un membre du personnel de la protection de l’enfance avait utilisé ChatGPT pour rédiger un Protection Application Report. Ce rapport était destiné au Children’s Court dans une affaire concernant un jeune enfant. Le département a déclaré que la personne concernée avait enfreint sa charte d’utilisation acceptable. Les outils d’IA générative produisent un texte fluide mais parfois faux, et tout ce qu’on y saisit quitte l’organisation.

Ce qu’ils ont construit

Rien n’a été construit. Il s’agissait d’un usage non autorisé par le personnel d’un outil public, ChatGPT d’OpenAI, sur des appareils du département. Le département a invoqué des politiques générales, dont une charte d’utilisation acceptable et une formation à la vie privée et à la sécurité. L’OVIC a estimé que celles-ci ne donnaient au personnel aucune consigne claire sur ChatGPT ni sur l’IA générative.

Comment ils s’y sont pris

L’OVIC a ouvert une enquête pour décider s’il fallait émettre une mise en demeure de conformité. Elle a examiné si le département avait pris des mesures raisonnables pour garder les données personnelles exactes et les protéger contre les usages abusifs. Après l’incident, le département a passé en revue, sur un an, les dossiers de l’unité de travail élargie de la personne concernée, et a vérifié les journaux d’audit de juillet à décembre 2023. En avril 2024, la direction des systèmes d’information du département a demandé aux près de 900 employés qui avaient consulté ChatGPT de fournir des exemples d’usage sûr. Seuls dix ont répondu.

Ce qui a mal tourné

La personne concernée a admis avoir utilisé ChatGPT pour le rapport et pour d’autres travaux afin de gagner du temps, mais a nié avoir saisi des données personnelles, en disant que les noms avaient été retirés. Ni le département ni l’OVIC n’ont pu vérifier ce qui avait été saisi, car les organisations ne voient pas ce que leur personnel saisit dans ChatGPT. L’OVIC a conclu, sur la base de la prépondérance des probabilités, que des données personnelles, dont des noms, avaient été saisies. Elle a cité des traces de ChatGPT dans tout le rapport, l’emploi fréquent de noms de personnes dans ces passages, et les témoignages de collègues selon lesquels la personne concernée avait saisi des noms de clients dans l’outil en le présentant.

L’OVIC a aussi constaté que le rapport contenait des données personnelles inexactes qui minimisaient les risques pour l’enfant, et que les informations saisies avaient atteint OpenAI, une société étrangère, hors du contrôle du département. La direction adjointe de l’OVIC (Deputy Commissioner) a jugé que les contrôles du département étaient insuffisants et qu’il avait enfreint les Information Privacy Principles 3.1 et 4.1. Ni le département ni l’OVIC n’ont constaté de changement dans les décisions concernant l’enfant.

L’examen par le département de 796 dossiers de l’unité de travail élargie de la personne concernée a relevé 100 dossiers présentant des indices d’un usage possible de ChatGPT. Les examinateurs du département ont jugé qu’aucun n’avait sur l’évaluation du risque le même effet que le rapport destiné au tribunal, et l’OVIC, après avoir vu neuf échantillons, a partagé cet avis. L’OVIC a ajouté que les échantillons laissaient penser que plus d’un document avait été rédigé avec ChatGPT, et que les examinateurs ne pouvaient souvent pas distinguer l’usage de ChatGPT de problèmes de pratique plus larges dans l’unité de travail.

Résultats

L’OVIC a émis une mise en demeure de conformité assortie de six actions précises. Elles exigeaient une consigne au personnel de la protection de l’enfance de ne pas utiliser d’outils de texte d’IA générative en ligne ou par API pour les tâches officielles, le blocage par IP ou DNS d’outils nommés, une recherche d’outils nouveaux similaires, et des contrôles pour empêcher le personnel de la protection de l’enfance d’utiliser Microsoft 365 Copilot. Le blocage devait être en place au 5 novembre 2024 et maintenu jusqu’au 5 novembre 2026. Le département devait aussi rendre compte à l’OVIC de l’efficacité du blocage, à quatre dates entre mars 2025 et septembre 2026.

La direction du département (Secretary) a accepté les conclusions et s’est engagée à déployer tous les efforts raisonnables pour mener les actions précisées dans les délais. Le département a décrit l’affaire comme un incident isolé et a dit que l’usage de l’IA générative n’est pas répandu, une vision que l’OVIC n’a pas entièrement acceptée (voir les réserves). Le département a aussi noté qu’il existe une procédure pour demander l’avis de l’OVIC sur la levée des exigences, et le rapport de l’OVIC indique que le département peut demander l’abandon de certaines actions de blocage s’il prouve de meilleurs contrôles.