L’agence autrichienne pour l’emploi AMS lance un bot d’orientation sur ChatGPT et essuie des critiques pour biais de genre

Le problème

Le service public autrichien de l’emploi, l’AMS, voulait offrir aux jeunes et aux demandeurs d’emploi un moyen plus rapide d’explorer des parcours professionnels. Il espérait aussi soulager ses conseillers.

Ce qu’ils ont construit

L’AMS a présenté Berufsinfomat, un chatbot construit sur ChatGPT et relié à l’encyclopédie des métiers de l’AMS. Il répond à des questions sur les métiers et cite les fiches de l’AMS avec des liens. Une société d’IA extérieure, qui vend des bots prêts à l’emploi, l’a conçu. Futurezone la nomme Goodguys.ai et indique que le logiciel n’a été que légèrement adapté à partir d’un produit standard.

Comment ils s’y sont pris

Le bot combine les connaissances générales de ChatGPT et le contenu métiers de l’AMS. À la tête de l’AMS, Johannes Kopf a indiqué qu’il avait été testé pendant des mois avec des conseillers et des utilisateurs avant son lancement. Une instruction cachée disait au modèle de ne pas distinguer entre hommes et femmes. L’AMS indique un coût d’environ 300 000 euros et affiche un avertissement précisant que des réponses sans erreur ne sont pas garanties.

Résultats

Le lancement a été éclipsé par les essais du public. Netzpolitik rapporte que, pour un homme aux excellentes notes scolaires, le bot a suggéré l’informatique et la vente, et pour une femme les études de genre ou la philosophie. Futurezone rapporte des schémas similaires, avec des femmes orientées vers les soins, la beauté et la mode et des hommes vers le développement logiciel et le travail en entrepôt. Un testeur a aussi obtenu des réponses inventées pour un métier fictif. L’AMS a dit avoir entraîné le système à faire le moins de distinctions possible et que le travail se poursuivait. Des développeurs extérieurs ont également signalé des failles dans le code et la sécurité.

Ce qui a mal tourné

Le biais est apparu rapidement, entre les mains d’utilisateurs ordinaires. Les publications de Johannes Kopf, telles que lues par netzpolitik, laissent penser que l’AMS acceptait sciemment de telles faiblesses en échange d’un apprentissage. Une personne spécialiste des mathématiques citée par netzpolitik a déclaré que le problème ne peut pas être facilement corrigé après coup. La confidentialité a été un second sujet : les saisies des utilisateurs partent chez OpenAI, et l’AMS a fait reposer la responsabilité sur les utilisateurs au moyen d’avertissements.