Il servizio pubblico per l’impiego austriaco AMS lancia un bot di orientamento basato su ChatGPT e riceve critiche per i pregiudizi di genere

Il problema

Il servizio pubblico per l’impiego austriaco, l’AMS, voleva offrire a giovani e persone in cerca di lavoro un modo più rapido per esplorare percorsi professionali. Sperava anche di alleggerire il lavoro dei propri consulenti.

Cosa hanno costruito

L’AMS ha presentato Berufsinfomat, un chatbot basato su ChatGPT e collegato all’enciclopedia delle professioni dell’AMS. Risponde a domande sulle professioni e cita le schede dell’AMS con i link. Lo ha realizzato un’azienda di IA esterna che vende bot già pronti. Futurezone la indica come Goodguys.ai e dice che il software è stato adattato solo in minima parte da un prodotto standard.

Come ci sono riusciti

Il bot unisce le conoscenze generali di ChatGPT ai contenuti sulle professioni dell’AMS. Alla guida dell’AMS, Johannes Kopf ha detto che era stato testato per mesi con consulenti e utenti prima del lancio. Un’istruzione nascosta diceva al modello di non distinguere tra uomini e donne. L’AMS dichiara un costo di circa 300.000 euro e mostra un’avvertenza secondo cui risposte prive di errori non sono garantite.

Risultati

Il lancio è stato offuscato dai test del pubblico. Netzpolitik riferisce che, per un uomo con ottimi voti scolastici, il bot ha suggerito informatica e commercio al dettaglio, e per una donna studi di genere o filosofia. Futurezone riferisce schemi simili, con le donne indirizzate verso assistenza, bellezza e moda e gli uomini verso sviluppo software e lavoro in magazzino. Una persona che ha testato il bot ha anche ottenuto risposte inventate per una professione inesistente. L’AMS ha detto di aver addestrato il sistema a fare il minor numero possibile di distinzioni e che il lavoro proseguiva. Sviluppatori esterni hanno inoltre segnalato difetti nel codice e nella sicurezza.

Cosa è andato storto

Il pregiudizio è emerso subito, nelle mani di utenti comuni. I post di Kopf, come li ha letti netzpolitik, suggeriscono che l’AMS abbia accettato consapevolmente tali debolezze in cambio di apprendimento. Una persona esperta di matematica citata da netzpolitik ha detto che il problema non si può correggere facilmente a posteriori. La privacy è stato un secondo problema: gli input degli utenti vanno a OpenAI e l’AMS ha scaricato la responsabilità sugli utenti con degli avvisi.