Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
AMS (Arbeitsmarktservice Austria)
Het Oostenrijkse arbeidsbureau AMS lanceert een loopbaanbot op basis van ChatGPT en krijgt kritiek op genderbias
In januari 2024 lanceerde de Oostenrijkse openbare arbeidsbemiddeling AMS Berufsinfomat, een loopbaanchatbot op basis van ChatGPT, naar verluidt voor ongeveer 300.000 euro. Binnen enkele dagen toonden testers aan dat de bot mannen en vrouwen naar stereotiepe beroepen stuurde, en AMS zei de bot te blijven verbeteren.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
ongeveer 300.000 euro
Gemelde kosten van het project Berufsinfomat1
Wat het kostte
Kosten, teamgrootte en doorlooptijd zijn in de bronnen niet openbaar gemaakt.
Het probleem
De Oostenrijkse openbare arbeidsbemiddeling AMS wilde jongeren en werkzoekenden een snellere manier bieden om loopbaanpaden te verkennen. Het hoopte ook zijn menselijke adviseurs te ontlasten.
Wat ze bouwden
AMS presenteerde Berufsinfomat, een chatbot die is gebouwd op ChatGPT en gekoppeld aan de eigen beroepenencyclopedie van AMS. De bot beantwoordt vragen over beroepen en verwijst met links naar de AMS-items. Een extern AI-bedrijf dat kant-en-klare bots verkoopt, bouwde hem. Futurezone noemt dat bedrijf Goodguys.ai en zegt dat de software slechts licht is aangepast ten opzichte van een standaardproduct.
Hoe ze het aanpakten
De bot combineert de algemene kennis van ChatGPT met de beroepeninhoud van AMS. Johannes Kopf, die AMS leidt, zei dat de bot vóór de lancering maandenlang met adviseurs en gebruikers was getest. Een verborgen instructie zei het model geen onderscheid te maken tussen mannen en vrouwen. AMS geeft kosten van ongeveer 300.000 euro op en toont een disclaimer dat foutloze antwoorden niet worden gegarandeerd.
Resultaten
De lancering werd overschaduwd door tests van het publiek. Netzpolitik meldt dat de bot voor een man met uitstekende schoolcijfers IT en retail voorstelde, en voor een vrouw gender studies of filosofie. Futurezone meldt vergelijkbare patronen, waarbij vrouwen naar zorg, schoonheid en mode werden gewezen en mannen naar softwareontwikkeling en magazijnwerk. Een tester kreeg ook verzonnen antwoorden voor een verzonnen beroep. AMS zei het systeem te hebben getraind om zo min mogelijk onderscheid te maken en dat het werk doorging. Externe ontwikkelaars meldden ook fouten in code en beveiliging.
Wat er misging
De bias verscheen snel, in handen van gewone gebruikers. De berichten van Kopf, zoals gelezen door netzpolitik, doen vermoeden dat AMS dergelijke zwakke punten bewust accepteerde in ruil voor leerervaring. Een door netzpolitik geciteerde wiskundige zei dat het probleem achteraf niet makkelijk te corrigeren is. Privacy was een tweede kwestie: de invoer van gebruikers gaat naar OpenAI, en AMS legde de verantwoordelijkheid met waarschuwingen bij de gebruikers.
Lessen voor uw project
Test vóór de lancering op bias met uw eigen scenario's. Externe testers vonden binnen minuten genderstereotiepe adviezen, ondanks maandenlange interne tests.
Een verborgen instructie om mannen en vrouwen gelijk te behandelen, voorkwam geen bevooroordeelde antwoorden. Meet de uitvoer en vertrouw niet op de instructie.
Als u bij de lancering bekende zwakke punten accepteert, zeg dat dan en stel een datum en een maatstaf voor het herstel vast. Het openbare standpunt van AMS dat zwakke punten bij het leren horen, leverde spot op.
Controleer waar de invoer van gebruikers naartoe gaat. Critici merkten op dat wat gebruikers typten naar OpenAI ging en dat AMS vertrouwde op waarschuwingen om geen persoonsgegevens in te voeren.
Kanttekeningen
- De kosten en de bevindingen komen uit nieuwsberichten. AMS gaf het kostencijfer; de bevindingen over bias komen van externe testers en journalisten.
- Geen enkele voor dit item gelezen bron zegt of de bot nog live is of hoe hij na januari 2024 presteerde. Gebruikscijfers zijn niet gevonden.
- Het persbericht van AMS (3 januari 2024) zegt dat de bot sinds begin januari 2024 in gebruik is en openstaat voor alle bezoekers van de AMS-website; er is geen exacte startdag opgegeven, dus wordt de maand gebruikt.
- Een tweede bericht (Der Standard) was niet leesbaar en wordt niet aangehaald.
Bronnen
- Diskriminierung: AMS erntet Hohn mit neuem KI-Chatbot
netzpolitik.org · 2024-01-05 · Nieuws · netzpolitik.org
- Diese sexistischen Antworten liefert der KI-Chatbot des AMS
futurezone.at · 2024-01-04 · Nieuws · futurezone.at
- Künstliche Intelligenz unterstützt bei Arbeitssuche
AMS Österreich (via APA-OTS) · 2024-01-03 · Persbericht · ots.at
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.