Chatbot My AI firmy Snap: brytyjski regulator kończy sprawę bez egzekwowania po tym, jak Snap przerobił ocenę ryzyka

Problem

Snap dodał do Snapchata, aplikacji z wieloma użytkownikami w wieku 13-17 lat, chatbota generatywnej AI o nazwie My AI. Brytyjskie prawo wymaga, aby firma oceniła ryzyka dla danych osób, zanim rozpocznie nowy rodzaj przetwarzania. Ta ocena nazywa się oceną skutków dla ochrony danych. Brytyjskie Information Commissioner’s Office (ICO) wszczęło w czerwcu 2023 roku dochodzenie, obawiając się, że Snap nie ocenił należycie ryzyk My AI przed premierą.

Co zbudowano

My AI to chatbot w Snapchacie, któremu użytkownicy zadają pytania tekstem, obrazem lub wiadomością głosową. Według decyzji ICO działa na technologii GPT firmy OpenAI, z której Snap korzysta przez API dla deweloperów OpenAI. Snap uruchomił go dla płacących subskrybentów Snapchat+ 27 lutego 2023 roku, a dla wszystkich brytyjskich użytkowników 19 kwietnia 2023 roku. Chatbot otrzymywał wytyczne napisane przez Snap, atrybuty użytkownika, takie jak przedział wiekowy poniżej 18 lat i lokalizacja na poziomie miasta, oraz wcześniejsze zapytania. Snap dodał kontrolę odpowiedzi, a w przypadku zapytań o niektóre wrażliwe tematy zwracał sprawdzone informacje pomocowe. Używał też wewnętrznego modelu do wykrywania intencji komercyjnej, aby w odpowiedzi można było umieścić reklamę kontekstową.

Jak to zrobiono

Akta regulatora pokazują przebieg zdarzeń. Pierwsza ocena skutków Snap nosi datę 24 lutego 2023 roku. ICO spotkało się ze Snap 20 kwietnia 2023 roku, a później wydało dwa formalne zawiadomienia informacyjne, aby uzyskać każdą wersję oceny. 6 października 2023 roku wydało wstępne zawiadomienie egzekucyjne. Jego wstępne stanowisko było takie, że ocena nie spełniała wymogów prawnych, a Snap powinien był najpierw skonsultować się z regulatorem, ponieważ jego pierwsze cztery oceny zdawały się określać ryzyko dla osób w wieku 13-17 lat jako wysokie. Projekt nakazu zobowiązałby Snap do zaprzestania przetwarzania danych osobowych brytyjskich użytkowników na potrzeby My AI do czasu sporządzenia poprawionej oceny.

Snap odpowiedział na piśmie i na rozprawie 14 grudnia 2023 roku. 22 listopada 2023 roku przekazał ICO poprawioną, piątą ocenę. Snap poinformował też ICO, że wniosek o wysokim ryzyku we wcześniejszych wersjach został zapisany omyłkowo, na poparcie czego przedstawił podpisane oświadczenie świadka.

Co poszło nie tak

Wstępne stanowisko ICO było takie, że Snap uruchomił usługę bez zgodnej z prawem oceny ryzyka, w szczególności co do ryzyk dla młodych użytkowników, szczególnych kategorii danych i tego, jak ludzie zrozumieją wykorzystanie swoich danych. ICO stwierdziło, że Snap poświęcił piątej ocenie sporo czasu i wysiłku i odniósł się do obaw wskazanych w zawiadomieniu.

Wyniki

21 maja 2024 roku ICO uznało, że piąta ocena spełnia wymogi prawne, a Snap nie naruszył obowiązku konsultacji z regulatorem. Nie znalazło więc podstaw do wydania Enforcement Notice. ICO opisało sprawę jako strzał ostrzegawczy dla branży w kwestii generatywnej AI i ochrony danych i powiedziało, że będzie nadal monitorować My AI. Nie nałożyło kary.