Italiaanse gegevenstoezichthouder beboet maker van Replika met 5 miljoen euro wegens privacybeleid en ontbrekende leeftijdscontrole

Het probleem

Replika is een chatbot-app van het Amerikaanse bedrijf Luka. Ze heeft een geschreven en gesproken interface en laat gebruikers een virtuele metgezel maken, met een rol die de gebruiker kiest, zoals vriend, therapeut, romantische partner of mentor. Begin 2023 opende de Italiaanse gegevensbeschermingsautoriteit, de Garante, na berichten in de pers een onderzoek. Ze maakte zich zorgen over het privacybeleid, het ontbreken van een leeftijdsfilter en chatbotinhoud die ongeschikt kon zijn voor minderjarigen en kwetsbare mensen.

Wat ze bouwden

Replika is Luka’s eigen consumentenproduct. Volgens het besluit van de Garante is het gebaseerd op een generatief AI-systeem dat een groot taalmodel gebruikt, dat via gebruikersinteracties voortdurend wordt gevoed en verfijnd. Luka vertelde de Garante dat zijn AI-modellen eigendom zijn en dat het gebruikersgesprekken niet gebruikt voor reclame of marketing. De dienst was bedoeld voor alleen volwassenen. Luka zei de app in de winkel van Apple te hebben vermeld met een 17+-classificatie.

Hoe ze het aanpakten

Op 2 februari 2023 gelastte de voorzitter van de Garante een dringende tijdelijke beperking van de verwerking van gegevens van gebruikers in Italië. Luka blokkeerde de toegang vanuit Italië. Op 22 juni 2023 schorste de Garante dat bevel onder voorwaarden, waaronder een nieuw privacybeleid, een leeftijdspoort met afkoelperiode, eenvoudiger verzoeken om rechten uit te oefenen en plannen om minderjarigen onder de 18 buiten te houden en ongepaste inhoud te markeren. Luka vertelde de Garante in 2023 dat het aan deze stappen had voldaan. In februari 2024 stelde de Garante Luka formeel in kennis van vermeende schendingen. Het besluit legt vast dat Luka niet op die kennisgeving antwoordde en niet vroeg om te worden gehoord.

Wat er misging

In haar besluit van 10 april 2025 stelde de Garante vast dat het privacybeleid op 2 februari 2023 niet de rechtsgrond voor elk soort verwerking noemde. Ze stelde vast dat het alleen in het Engels bestond, geen bewaartermijnen gaf en gebruikers kon misleiden over doorgifte naar de VS. Ook stelde ze vast dat de app bij aanmelding noch tijdens gebruik een stap voor leeftijdsverificatie had, hoewel ze minderjarigen uitgesloten verklaarde, en dat niets gebruikers blokkeerde die zeiden jonger dan 18 te zijn. Luka had pas een leeftijdspoort toegevoegd nadat de Garante had ingegrepen. De Garante noteerde voortdurende gebreken in 2025: gebruikers konden hun geboortedatum na registratie wijzigen, de afkoelperiode van 24 uur gold niet in incognitomodus, en de taalanalyse om leeftijdscontroles te starten werkte maar in beperkte gevallen.

Resultaten

Het besluit verklaarde de verwerking onrechtmatig en gelastte Luka het privacybeleid en de leeftijdsverificatie binnen dertig dagen in overeenstemming te brengen en binnen zestig dagen over de stappen te rapporteren. Het persbericht van de Garante van 19 mei 2025 zegt dat ze Luka een boete van 5 miljoen euro oplegde en een afzonderlijk onderzoek opende naar de rechtmatigheid van de verwerking over de hele levenscyclus van het generatieve AI-systeem, inclusief risicobeoordeling, trainingsdata en anonimisering. Het persbericht merkt op dat er een beroep loopt.