Snaps chatbot My AI: Britse toezichthouder sluit zaak zonder handhaving nadat Snap zijn risicobeoordeling opnieuw doet

Het probleem

Snap voegde een generatieve AI-chatbot, My AI, toe aan Snapchat, een app met veel gebruikers van 13 tot 17 jaar. Britse wetgeving verlangt van een bedrijf dat het de risico’s voor de gegevens van mensen beoordeelt voordat het met een nieuw soort verwerking begint. Die beoordeling heet een gegevensbeschermingseffectbeoordeling. Het Britse Information Commissioner’s Office (ICO) opende in juni 2023 een onderzoek, uit zorg dat Snap de risico’s van My AI vóór de lancering niet voldoende had beoordeeld.

Wat ze bouwden

My AI is een chatbot binnen Snapchat waaraan gebruikers vragen stellen via tekst, afbeelding of spraakbericht. Volgens het besluit van de ICO draait hij op de GPT-technologie van OpenAI, die Snap gebruikt via de ontwikkelaars-API van OpenAI. Snap lanceerde hem op 27 februari 2023 voor betalende abonnees van Snapchat+ en op 19 april 2023 voor alle Britse gebruikers. De chatbot kreeg richtlijnen van Snap, gebruikerskenmerken zoals een leeftijdscategorie onder de 18 en een locatie op stadsniveau, en eerdere vragen. Snap voegde screening van antwoorden toe en gaf bij vragen over bepaalde gevoelige onderwerpen gecontroleerde hulpinformatie terug. Het gebruikte ook een intern model om commerciële intentie te herkennen, zodat een contextuele advertentie in een antwoord kon worden geplaatst.

Hoe ze het aanpakten

Het dossier van de toezichthouder toont de volgorde. Snaps eerste effectbeoordeling is gedateerd op 24 februari 2023. De ICO sprak Snap op 20 april 2023 en vaardigde later twee formele informatiekennisgevingen uit om elke versie van de beoordeling te krijgen. Op 6 oktober 2023 vaardigde ze een voorlopige handhavingskennisgeving uit. Haar voorlopige oordeel was dat de beoordeling niet aan de wettelijke eisen had voldaan en dat Snap eerst de toezichthouder had moeten raadplegen, omdat zijn eerste vier beoordelingen het risico voor 13- tot 17-jarigen leken te bestempelen als hoog. Het ontwerpbevel zou Snap hebben verplicht te stoppen met het verwerken van persoonsgegevens van Britse gebruikers voor My AI totdat een herziene beoordeling was gedaan.

Snap antwoordde schriftelijk en tijdens een hoorzitting op 14 december 2023. Op 22 november 2023 had het de ICO een herziene, vijfde beoordeling gegeven. Snap vertelde de ICO ook dat de conclusie van hoog risico in de eerdere versies per vergissing was vastgelegd, ondersteund door een ondertekende getuigenverklaring.

Wat er misging

Het voorlopige oordeel van de ICO was dat Snap was gelanceerd zonder een toereikende risicobeoordeling, met name over de risico’s voor jonge gebruikers, over bijzondere categorieën van persoonsgegevens en over hoe mensen het gebruik van hun gegevens zouden begrijpen. De ICO zei dat Snap aanzienlijke tijd en moeite in de vijfde beoordeling had gestoken en de zorgen uit de kennisgeving had weggenomen.

Resultaten

Op 21 mei 2024 besloot de ICO dat de vijfde beoordeling aan de wettelijke eisen voldeed en dat Snap de plicht om de toezichthouder te raadplegen niet had geschonden. Ze vond daarom geen grond om een Enforcement Notice uit te vaardigen. De ICO beschreef de zaak als een waarschuwingsschot voor de sector over generatieve AI en gegevensbescherming en zei My AI te blijven volgen. Ze legde geen boete op.