Traducido del original en inglés. Las cifras y las fuentes no cambian. Leer el original en inglés
AMS (Arbeitsmarktservice Austria)
El servicio público de empleo austriaco AMS lanza un bot de orientación laboral con ChatGPT y recibe críticas por sesgo de género
En enero de 2024, el servicio público de empleo de Austria, AMS, lanzó Berufsinfomat, un chatbot de orientación profesional basado en ChatGPT, con un coste informado de unos 300.000 euros. En pocos días, varios probadores demostraron que dirigía a hombres y mujeres hacia empleos estereotipados, y el AMS dijo que seguiría mejorando el bot.
Cifras clave
Copiadas literalmente de las fuentes. Copie cualquier cifra con su cita.
unos 300.000 euros
Coste informado del proyecto Berufsinfomat1
Qué requirió
Las fuentes no divulgan el coste, el tamaño del equipo ni los plazos.
El problema
El servicio público de empleo de Austria, el AMS, quería ofrecer a jóvenes y personas en búsqueda de empleo una forma más rápida de explorar trayectorias profesionales. También esperaba aliviar la carga de su personal de asesoramiento.
Qué construyeron
El AMS presentó Berufsinfomat, un chatbot construido sobre ChatGPT y conectado a la propia enciclopedia de ocupaciones del AMS. Responde preguntas sobre profesiones y cita las fichas del AMS con enlaces. Lo creó una empresa de IA externa que vende bots ya hechos. Futurezone la nombra como Goodguys.ai y afirma que el software se adaptó solo ligeramente a partir de un producto estándar.
Cómo lo hicieron
El bot combina el conocimiento general de ChatGPT con el contenido de ocupaciones del AMS. Al frente del AMS, Johannes Kopf dijo que se probó durante meses con asesores y usuarios antes del lanzamiento. Una instrucción oculta indicaba al modelo que no distinguiera entre hombres y mujeres. El AMS declara un coste de unos 300.000 euros y muestra un aviso de que no se garantizan respuestas sin errores.
Resultados
El lanzamiento quedó eclipsado por las pruebas del público. Netzpolitik informa de que, para un hombre con notas escolares excelentes, el bot sugirió informática y comercio, y para una mujer, estudios de género o filosofía. Futurezone informa de patrones similares: las mujeres eran dirigidas hacia los cuidados, la belleza y la moda, y los hombres hacia el software y el trabajo en almacén. Un probador obtuvo además respuestas inventadas para una profesión ficticia. El AMS dijo que había entrenado el sistema para distinguir lo menos posible y que el trabajo continuaba. Desarrolladores externos también informaron de fallos de código y de seguridad.
Qué salió mal
El sesgo apareció rápidamente, en manos de usuarios corrientes. Las publicaciones de Kopf, según las leyó netzpolitik, sugieren que el AMS aceptó conscientemente tales debilidades a cambio de aprender. Una persona experta en matemáticas citada por netzpolitik dijo que el problema no puede corregirse fácilmente a posteriori. La privacidad fue un segundo problema: lo que escriben los usuarios va a OpenAI y el AMS hizo recaer la responsabilidad en los usuarios mediante advertencias.
Lecciones para su proyecto
Pruebe los sesgos con sus propios escenarios antes del lanzamiento. Probadores externos encontraron consejos con estereotipos de género en cuestión de minutos, pese a meses de pruebas internas.
Una instrucción oculta que ordenaba al modelo tratar igual a hombres y mujeres no impidió respuestas sesgadas. Mida los resultados y no confíe en la instrucción.
Si acepta debilidades conocidas en el lanzamiento, dígalo y fije una fecha y una métrica para corregirlas. La postura pública del AMS de que las debilidades forman parte del aprendizaje provocó burlas.
Compruebe adónde van los datos que introducen los usuarios. Los críticos señalaron que lo que los usuarios escribían iba a OpenAI y que el AMS confiaba en advertencias para que no introdujeran datos personales.
Salvedades
- El coste y los hallazgos proceden de informaciones de prensa. El AMS facilitó la cifra del coste; los hallazgos sobre sesgo proceden de probadores externos y periodistas.
- Ninguna fuente leída para esta entrada dice si el bot sigue activo ni cómo funcionó después de enero de 2024. No se encontraron cifras de uso.
- El comunicado de prensa del AMS (3 de enero de 2024) dice que el bot se usa desde principios de enero de 2024 y está abierto a todos los visitantes del sitio web del AMS; no se da el día exacto de puesta en marcha, por lo que se usa el mes.
- Un segundo reportaje (Der Standard) no se pudo leer y no se cita.
Fuentes
- Diskriminierung: AMS erntet Hohn mit neuem KI-Chatbot
netzpolitik.org · 2024-01-05 · Noticia · netzpolitik.org
- Diese sexistischen Antworten liefert der KI-Chatbot des AMS
futurezone.at · 2024-01-04 · Noticia · futurezone.at
- Künstliche Intelligenz unterstützt bei Arbeitssuche
AMS Österreich (via APA-OTS) · 2024-01-03 · Nota de prensa · ots.at
Resumido con nuestras propias palabras a partir de las fuentes anteriores. ¿Ha detectado un error? Consulte correcciones.