Włoski organ ochrony danych nakłada 5 milionów euro kary na twórcę Replika za politykę prywatności i brak weryfikacji wieku

Problem

Replika to aplikacja chatbota amerykańskiej firmy Luka. Ma interfejs pisany i głosowy i pozwala użytkownikom stworzyć wirtualnego towarzysza, którego rolę wybiera użytkownik, na przykład przyjaciela, terapeuty, partnera romantycznego lub mentora. Na początku 2023 roku włoski organ ochrony danych, Garante, wszczął postępowanie po doniesieniach prasowych. Niepokoiły go polityka prywatności, brak filtra wieku i treści chatbota, które mogły być nieodpowiednie dla małoletnich i osób wrażliwych.

Co zbudowano

Replika to własny produkt konsumencki firmy Luka. Decyzja Garante mówi, że opiera się na systemie generatywnej AI korzystającym z dużego modelu językowego, który jest stale zasilany i doskonalony dzięki interakcjom użytkowników. Luka powiedziała Garante, że jej modele AI są własnościowe i że nie wykorzystuje rozmów użytkowników do reklamy ani marketingu. Usługa była przeznaczona wyłącznie dla dorosłych. Luka powiedziała, że umieściła aplikację w sklepie Apple z oznaczeniem 17+.

Jak to zrobiono

2 lutego 2023 roku prezes Garante zarządził pilne tymczasowe ograniczenie przetwarzania danych użytkowników we Włoszech. Luka zablokowała dostęp z Włoch. 22 czerwca 2023 roku Garante zawiesił to zarządzenie pod warunkami, w tym nowej polityki prywatności, bramki wiekowej z okresem karencji, prostszych wniosków o realizację praw oraz planów wykluczenia osób poniżej 18 lat i oznaczania nieodpowiednich treści. Luka powiedziała Garante w 2023 roku, że te kroki spełniła. W lutym 2024 roku Garante formalnie zawiadomił Lukę o domniemanych naruszeniach. Decyzja odnotowuje, że Luka nie odpowiedziała na to zawiadomienie ani nie wnioskowała o wysłuchanie.

Co poszło nie tak

W decyzji z 10 kwietnia 2025 roku Garante stwierdził, że 2 lutego 2023 roku polityka prywatności nie wskazywała podstawy prawnej każdego rodzaju przetwarzania. Stwierdził, że istniała tylko po angielsku, nie podawała okresów przechowywania i mogła wprowadzać użytkowników w błąd co do przekazywania danych do USA. Stwierdził też, że aplikacja nie miała kroku weryfikacji wieku ani przy rejestracji, ani podczas korzystania, choć deklarowała wykluczenie małoletnich, i że nic nie blokowało użytkowników, którzy podawali, że mają mniej niż 18 lat. Luka dodała bramkę wiekową dopiero po interwencji Garante. Garante odnotował utrzymujące się wady w 2025 roku: użytkownicy mogli zmienić datę urodzenia po rejestracji, 24-godzinny okres karencji nie obowiązywał w trybie incognito, a analiza języka mająca uruchamiać kontrole wieku działała tylko w ograniczonych przypadkach.

Wyniki

Decyzja uznała przetwarzanie za niezgodne z prawem i nakazała Luce dostosować politykę prywatności i weryfikację wieku w ciągu trzydziestu dni oraz zgłosić podjęte kroki w ciągu sześćdziesięciu dni. Komunikat prasowy Garante z 19 maja 2025 roku mówi, że nałożył na Lukę karę 5 milionów euro i wszczął osobne postępowanie dotyczące zgodności z prawem przetwarzania w całym cyklu życia systemu generatywnej AI, w tym oceny ryzyka, danych treningowych i anonimizacji. Komunikat zaznacza, że toczy się odwołanie.