Austriacki urząd pracy AMS uruchamia bota doradztwa zawodowego opartego na ChatGPT i spotyka się z krytyką za stereotypy płciowe

Problem

Austriacka publiczna służba zatrudnienia AMS chciała dać młodym ludziom i osobom szukającym pracy szybszy sposób poznawania ścieżek zawodowych. Liczyła też na odciążenie swoich doradców.

Co zbudowano

AMS przedstawił Berufsinfomat, chatbota zbudowanego na ChatGPT i połączonego z własną encyklopedią zawodów AMS. Odpowiada na pytania o zawody i cytuje wpisy AMS wraz z linkami. Zbudowała go zewnętrzna firma AI sprzedająca gotowe boty. Futurezone podaje, że to Goodguys.ai, i pisze, że oprogramowanie zostało tylko nieznacznie dostosowane z produktu standardowego.

Jak to zrobiono

Bot łączy ogólną wiedzę ChatGPT z treściami o zawodach AMS. Stojący na czele AMS Johannes Kopf powiedział, że przed startem bot był testowany przez miesiące z doradcami i użytkownikami. Ukryta instrukcja kazała modelowi nie rozróżniać mężczyzn i kobiet. AMS podaje koszt około 300 000 euro i wyświetla zastrzeżenie, że odpowiedzi wolne od błędów nie są gwarantowane.

Wyniki

Start został przyćmiony testami przeprowadzonymi przez publiczność. Netzpolitik podaje, że mężczyźnie z doskonałymi ocenami szkolnymi bot zaproponował informatykę i handel detaliczny, a kobiecie gender studies lub filozofię. Futurezone podaje podobne wzorce: kobiety kierowane ku opiece, urodzie i modzie, a mężczyźni ku tworzeniu oprogramowania i pracy w magazynie. Jeden z testerów dostał też zmyślone odpowiedzi dotyczące wymyślonego zawodu. AMS powiedział, że wytrenował system tak, by robił jak najmniej rozróżnień, i że prace trwają. Zewnętrzni programiści zgłosili też błędy w kodzie i zabezpieczeniach.

Co poszło nie tak

Stronniczość ujawniła się szybko, w rękach zwykłych użytkowników. Wpisy Kopfa, jak odczytał je netzpolitik, sugerują, że AMS świadomie godził się na takie słabości w zamian za naukę. Osoba zajmująca się matematyką, cytowana przez netzpolitik, powiedziała, że problemu nie da się łatwo naprawić po fakcie. Drugim problemem była prywatność: dane wpisywane przez użytkowników trafiają do OpenAI, a AMS przerzucił odpowiedzialność na użytkowników za pomocą ostrzeżeń.