Österreichs Arbeitsmarktservice AMS startet einen Berufs-Chatbot auf ChatGPT-Basis und erntet Kritik wegen Geschlechterklischees

Das Problem

Der österreichische Arbeitsmarktservice AMS wollte Jugendlichen und Arbeitsuchenden eine schnellere Möglichkeit bieten, Berufswege zu erkunden. Zugleich hoffte er, seine Beraterinnen und Berater zu entlasten.

Was sie gebaut haben

Der AMS stellte den Berufsinfomat vor, einen Chatbot auf Basis von ChatGPT, der mit der eigenen Berufsenzyklopädie des AMS verknüpft ist. Er beantwortet Fragen zu Berufen und verweist mit Links auf die AMS-Einträge. Gebaut hat ihn ein externes KI-Unternehmen, das fertige Bots verkauft. Futurezone nennt es Goodguys.ai und schreibt, die Software sei nur leicht von einem Standardprodukt angepasst worden.

Wie sie vorgegangen sind

Der Bot verbindet das Allgemeinwissen von ChatGPT mit den Berufsinhalten des AMS. AMS-Vorstand Johannes Kopf sagte, er sei vor dem Start monatelang mit Beratern und Nutzern getestet worden. Eine versteckte Anweisung wies das Modell an, nicht zwischen Männern und Frauen zu unterscheiden. Der AMS nennt Kosten von rund 300.000 Euro und blendet einen Hinweis ein, dass fehlerfreie Antworten nicht garantiert werden.

Ergebnisse

Der Start wurde von Tests durch die Öffentlichkeit überschattet. Netzpolitik berichtet, der Bot habe einem Mann mit hervorragenden Schulnoten IT und Handel vorgeschlagen, einer Frau dagegen Gender Studies oder Philosophie. Futurezone berichtet von ähnlichen Mustern: Frauen würden zu Pflege, Schönheit und Mode gelenkt, Männer zu Softwareentwicklung und Lagerarbeit. Ein Tester erhielt zudem erfundene Antworten zu einem ausgedachten Beruf. Der AMS sagte, er habe das System darauf trainiert, möglichst wenig zu unterscheiden, und die Arbeit gehe weiter. Externe Entwickler meldeten außerdem Code- und Sicherheitsmängel.

Was schiefgelaufen ist

Die Verzerrung trat schnell auf, in den Händen gewöhnlicher Nutzer. Kopfs Beiträge, wie netzpolitik sie las, legen nahe, dass der AMS solche Schwächen im Tausch gegen Lernerfahrung bewusst in Kauf nahm. Eine von netzpolitik zitierte Person aus der Mathematik sagte, das Problem lasse sich nachträglich kaum beheben. Der Datenschutz war ein zweites Thema: Nutzereingaben gehen an OpenAI, und der AMS schob die Verantwortung per Warnhinweis auf die Nutzer.