Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
Snap Inc.
Snaps Chatbot My AI: Britische Aufsichtsbehörde beendet Verfahren ohne Durchsetzungsmaßnahme, nachdem Snap seine Risikobewertung überarbeitet hat
Snap führte seinen auf OpenAI-Technologie aufbauenden Chatbot My AI am 27. Februar 2023 für Snapchat+-Abonnenten ein. Die britische Datenschutzbehörde erließ im Oktober 2023 einen vorläufigen Durchsetzungsbescheid wegen der Risikobewertung für Jugendliche und stellte das Verfahren im Mai 2024 ohne Durchsetzungsmaßnahme ein, nachdem Snap eine überarbeitete Bewertung vorgelegt hatte, die sie als rechtskonform ansah.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
Kein Grund für den Erlass einer Enforcement Notice (Durchsetzungsanordnung)
Ergebnis des vorläufigen Durchsetzungsbescheids der ICO vom 6. Oktober 20231
Fünfte
Fassung von Snaps Datenschutz-Folgenabschätzung, die die ICO als rechtskonform ansah (22. November 2023)1
etwa 35,5 %
Anteil der 13- bis 17-Jährigen an den durchschnittlichen täglichen britischen Nutzern von My AI, 1. März bis 18. April 20231
etwa 13 %
Anteil der 13- bis 17-Jährigen an den monatlich aktiven britischen Nutzern von My AI im April 20231
Was es erforderte
Das Problem
Snap fügte Snapchat, einer App mit vielen Nutzern im Alter von 13 bis 17 Jahren, einen generativen KI-Chatbot namens My AI hinzu. Britisches Recht verlangt von einem Unternehmen, die Risiken für die Daten von Personen zu bewerten, bevor es eine neue Art der Verarbeitung beginnt. Diese Bewertung heißt Datenschutz-Folgenabschätzung. Das britische Information Commissioner’s Office (ICO) leitete im Juni 2023 eine Untersuchung ein, weil es befürchtete, Snap habe die Risiken von My AI vor dem Start nicht angemessen bewertet.
Was sie gebaut haben
My AI ist ein Chatbot in Snapchat, dem Nutzer Fragen per Text, Bild oder Sprachnachricht stellen. Laut Entscheidung der ICO basiert er auf der GPT-Technologie von OpenAI, die Snap über die Entwickler-API von OpenAI nutzt. Snap führte ihn am 27. Februar 2023 für zahlende Snapchat+-Abonnenten und am 19. April 2023 für alle britischen Nutzer ein. Der Chatbot erhielt von Snap verfasste Richtlinien, Nutzerattribute wie eine Altersgruppe unter 18 und einen Standort auf Stadtebene sowie frühere Anfragen. Snap fügte eine Prüfung der Antworten hinzu und lieferte bei Anfragen zu bestimmten sensiblen Themen geprüfte Hilfeinformationen. Außerdem nutzte es ein internes Modell, um kommerzielle Absichten zu erkennen, damit in einer Antwort eine kontextbezogene Anzeige platziert werden konnte.
Wie sie vorgegangen sind
Die Akte der Behörde zeigt den Ablauf. Snaps erste Folgenabschätzung ist auf den 24. Februar 2023 datiert. Die ICO traf Snap am 20. April 2023 und erließ später zwei förmliche Auskunftsbescheide, um jede Fassung der Bewertung zu erhalten. Am 6. Oktober 2023 erließ sie einen vorläufigen Durchsetzungsbescheid. Ihre vorläufige Einschätzung war, dass die Bewertung die gesetzlichen Anforderungen nicht erfüllt hatte und Snap zuvor die Behörde hätte konsultieren müssen, weil seine ersten vier Bewertungen das Risiko für 13- bis 17-Jährige offenbar als hoch einstuften. Der Anordnungsentwurf hätte Snap verpflichtet, die Verarbeitung personenbezogener Daten britischer Nutzer für My AI einzustellen, bis eine überarbeitete Bewertung vorlag.
Snap antwortete schriftlich und in einer Anhörung am 14. Dezember 2023. Am 22. November 2023 hatte es der ICO eine überarbeitete, fünfte Bewertung übergeben. Snap teilte der ICO außerdem mit, die Einstufung als hohes Risiko in den früheren Entwürfen sei irrtümlich erfolgt, gestützt auf eine unterzeichnete Zeugenerklärung.
Was schiefgelaufen ist
Die vorläufige Einschätzung der ICO war, dass Snap ohne eine rechtskonforme Risikobewertung gestartet war, insbesondere hinsichtlich der Risiken für junge Nutzer, besonderer Kategorien personenbezogener Daten und des Verständnisses der Menschen für die Nutzung ihrer Daten. Die ICO sagte, Snap habe erhebliche Zeit und Mühe in die fünfte Bewertung investiert und die im Bescheid genannten Bedenken ausgeräumt.
Ergebnisse
Am 21. Mai 2024 entschied die ICO, dass die fünfte Bewertung die gesetzlichen Anforderungen erfüllte und Snap die Pflicht zur Konsultation der Behörde nicht verletzt hatte. Sie fand daher keinen Grund, eine Enforcement Notice zu erlassen. Die ICO bezeichnete den Fall als Warnschuss für die Branche zu generativer KI und Datenschutz und sagte, sie werde My AI weiter beobachten. Eine Geldbuße verhängte sie nicht.
Erkenntnisse für Ihr Projekt
Schließen Sie die Risikobewertung vor dem Start ab und behandeln Sie sie als das Dokument, das eine Aufsichtsbehörde lesen wird. Snaps erste Bewertung ist auf den 24. Februar 2023 datiert, kurz vor dem Start am 27. Februar, und die vorläufige Einschätzung der Behörde war, dass die frühen Fassungen unzureichend waren.
Halten Sie Risikoeinstufungen über Entwürfe hinweg konsistent. Frühere Fassungen verzeichneten ein hohes Restrisiko für 13- bis 17-Jährige, was eine Konsultation der Behörde erfordert hätte. Die ICO akzeptierte auf Grundlage einer unterzeichneten Zeugenerklärung, dass dies ein Irrtum war.
Binden Sie die Aufsichtsbehörde vor dem Start ein. Snap bat im März 2023 um ein Treffen, aber das erste Treffen fand am 20. April 2023 statt, fast zwei Monate nach dem Start für Abonnenten und einen Tag nach der breiteren Einführung.
Eine neu geschriebene Bewertung kann ein Verfahren beenden. Die ICO würdigte detailliertere Beschreibungen der Verarbeitung, eine gezielte Betrachtung der Risiken für junge Nutzer und klare Gegenmaßnahmen.
Rechnen Sie mit besonderer Prüfung jüngerer Nutzer, wenn ein allgemeiner Chatbot in einer Social-Media-App steckt. Die Behörde konzentrierte sich auf Risiken für Unter-18-Jährige, besondere Kategorien personenbezogener Daten und Werbung.
Einschränkungen
- Dies ist ein behördliches Verfahren, kein Ergebnis einer Durchsetzung. Der Bescheid der ICO vom Oktober 2023 war vorläufig, und die Entscheidung vom Mai 2024 fand keinen Grund für den Erlass einer Enforcement Notice. Es wurde keine Geldbuße verhängt.
- Die Entscheidung betrifft nur Snaps Einhaltung der Regeln der britischen DSGVO (UK GDPR) zu Folgenabschätzungen und vorheriger Konsultation (Artikel 35 und 36), Stand 22. November 2023. Die ICO sagt, sie habe keine Feststellungen zur weiteren Datenverarbeitung von My AI getroffen. Sie sagte außerdem, sie werde weiter beobachten.
- Absolute Nutzerzahlen sind in der veröffentlichten Entscheidung geschwärzt; nur einige Prozentwerte sind lesbar. Die Altersanteile sind Snaps Angaben gegenüber der ICO und nicht unabhängig geprüft.
- Die Entscheidung der ICO nennt die GPT-Technologie von OpenAI, genutzt über die Entwickler-API von OpenAI, aber nicht die Modellversion. Laut Entscheidung setzte Snap für die Werbung bei My AI Microsoft als Auftragsverarbeiter ein.
- Die frühere Pressemitteilung der ICO zum Bescheid vom Oktober 2023 ließ sich nicht öffnen; dieser Schritt stammt daher aus der Entscheidung selbst.
Quellen
- Decision of the Information Commissioner: Snap Inc. and Snap Group Limited, 'My AI' (21 May 2024)
UK Information Commissioner's Office · 2024-05-21 · Behördliche Meldung · ico.org.uk
- We warn organisations must not ignore data protection risks as we conclude Snap 'My AI' chatbot investigation
UK Information Commissioner's Office · 2024-05-21 · Pressemitteilung · ico.org.uk
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.