Italiens Datenschutzbehörde verhängt 5 Millionen Euro Geldbuße gegen den Replika-Hersteller wegen Datenschutzerklärung und fehlender Alterskontrolle

Das Problem

Replika ist eine Chatbot-App des US-Unternehmens Luka. Sie hat eine Text- und Sprachschnittstelle und lässt Nutzer einen virtuellen Begleiter erstellen, dessen Rolle der Nutzer wählt, etwa Freund, Therapeut, Liebespartner oder Mentor. Anfang 2023 leitete die italienische Datenschutzbehörde, der Garante, nach Presseberichten eine Untersuchung ein. Sie sorgte sich wegen der Datenschutzerklärung, des fehlenden Altersfilters und wegen Chatbot-Inhalten, die für Minderjährige und verletzliche Personen ungeeignet sein könnten.

Was sie gebaut haben

Replika ist Lukas eigenes Verbraucherprodukt. Laut Entscheidung des Garante beruht es auf einem generativen KI-System, das ein großes Sprachmodell nutzt, das durch Nutzerinteraktionen laufend gespeist und verfeinert wird. Luka sagte dem Garante, seine KI-Modelle seien proprietär und es verwende Nutzerunterhaltungen nicht für Werbung oder Marketing. Der Dienst war nur für Erwachsene gedacht. Luka sagte, es habe die App im Apple-Store mit einer Altersfreigabe ab 17 eingestellt.

Wie sie vorgegangen sind

Am 2. Februar 2023 ordnete das Präsidium des Garante eine dringende vorläufige Beschränkung der Verarbeitung der Daten von Nutzern in Italien an. Luka sperrte den Zugang aus Italien. Am 22. Juni 2023 setzte der Garante diese Anordnung unter Auflagen aus, darunter eine neue Datenschutzerklärung, eine Alterssperre mit Sperrfrist, einfachere Anträge auf Betroffenenrechte sowie Pläne, Minderjährige unter 18 auszuschließen und unangemessene Inhalte zu markieren. Luka teilte dem Garante 2023 mit, diese Schritte erfüllt zu haben. Im Februar 2024 teilte der Garante Luka förmlich mutmaßliche Verstöße mit. Die Entscheidung hält fest, dass Luka auf diese Mitteilung nicht antwortete und keine Anhörung beantragte.

Was schiefgelaufen ist

In seiner Entscheidung vom 10. April 2025 stellte der Garante fest, dass die Datenschutzerklärung am 2. Februar 2023 nicht die Rechtsgrundlage für jede Art der Verarbeitung nannte. Er stellte fest, dass sie nur auf Englisch vorlag, keine Speicherfristen nannte und Nutzer über Übermittlungen in die USA in die Irre führen konnte. Außerdem stellte er fest, dass die App weder bei der Anmeldung noch während der Nutzung einen Schritt zur Altersprüfung hatte, obwohl sie Minderjährige für ausgeschlossen erklärte, und dass nichts Nutzer sperrte, die angaben, unter 18 zu sein. Luka hatte erst nach dem Eingreifen des Garante eine Alterssperre eingeführt. Der Garante vermerkte fortbestehende Mängel im Jahr 2025: Nutzer konnten nach der Registrierung ihr Geburtsdatum ändern, die 24-stündige Sperrfrist galt im Inkognito-Modus nicht, und die Sprachanalyse, die Alterskontrollen auslösen sollte, funktionierte nur in begrenzten Fällen.

Ergebnisse

Die Entscheidung erklärte die Verarbeitung für rechtswidrig und verpflichtete Luka, Datenschutzerklärung und Altersprüfung binnen dreißig Tagen in Einklang mit dem Recht zu bringen und binnen sechzig Tagen über die Schritte zu berichten. Die Pressemitteilung des Garante vom 19. Mai 2025 besagt, er habe gegen Luka eine Geldbuße von 5 Millionen Euro verhängt und eine gesonderte Untersuchung zur Rechtmäßigkeit der Verarbeitung über den gesamten Lebenszyklus des generativen KI-Systems eröffnet, einschließlich Risikobewertung, Trainingsdaten und Anonymisierung. Die Pressemitteilung vermerkt, dass ein Rechtsbehelf anhängig ist.