Antwoord schriftelijke vragen : Antwoord op vragen van de leden Stoffer en Drost over het bericht ‘Nieuwe functie Snapchat wil met kinderen afspreken: Zie ik je vanavond? Ik ben een echt persoon!’

Antwoord van Staatssecretaris Van Huffelen (Binnenlandse Zaken en Koninkrijksrelaties)
mede namens de Staatssecretaris van Volksgezondheid, Welzijn en Sport en de Minister
voor Primair en Voortgezet Onderwijs (ontvangen 13 juni 2023).

Vraag 1

Bent u bekend met het bericht «Nieuwe functie Snapchat wil met kinderen afspreken:
Zie ik je vanavond? Ik ben een echt persoon!»?1

Antwoord 1

Ja, hiermee ben ik bekend.

Vraag 2

Wat vindt u van deze nieuwe functie?

Antwoord 2

Ik vind het zeer onwenselijk wanneer chatbots zich voordoen als echte mensen. Ik vind
het belangrijk dat zeker kwetsbare groepen zoals kinderen voor wie het nog moeilijker
is om dat onderscheid te maken hiertegen worden beschermd.

In de AI-verordening (die nog in onderhandeling is) staat dat aanbieders ervoor moeten
zorgen dat AI-systemen die voor interactie met natuurlijke personen zijn bedoeld (zoals
chatbots), zodanig worden ontworpen en ontwikkeld dat natuurlijke personen worden
geïnformeerd dat zij met een AI-systeem te maken hebben, tenzij uit de omstandigheden
en gebruikscontext al blijkt dat sprake is van een AI-systeem.

Vraag 3

Bent u ervan op de hoogte dat de nieuwe functie van Snapchat, «My AI», een speelse
variant is op ChatGPT, maar daarbij verdergaat dan ChatGPT, omdat de functie van Snapchat
zich voordoet als een echt persoon/een echte vriend, die daarnaast ingaat op voorstellen
voor fysiek afspreken?

Antwoord 3

Ja, daarvan ben ik op de hoogte. Snap Inc., het bedrijf achter Snapchat, heeft in
een gesprek met de Staatssecretaris van VWS en mij inmiddels aangegeven dat de functionaliteit
is aangepast waardoor de chatbot zich niet langer voordoet als een echt persoon en
expliciet wordt vermeld dat het gaat om een chatbot. Desalniettemin vind ik het kwalijk
dat er bij de introductie van deze nieuwe functie in Snapchat onvoldoende rekening
is gehouden met de impact die dit kan hebben op kinderen. Ik wil bedrijven zoals Snap
Inc. dan ook oproepen de Code Kinderrechten Online toe te passen, waarvan het eerste
beginsel luidt: «zet het belang van het kind voorop bij het ontwerp». Ook met het
oog op de aankomende AI-verordening vind ik het belangrijk dat ontwerpers die gebruik
maken van een chatbot duidelijk en transparant zijn richting de eindgebruiker dat
er sprake is van een AI-systeem.

Vraag 4

Bent u ervan op de hoogte dat My AI inspeelt op de behoeften en problemen van jongeren,
waardoor jongeren eenzijdige input krijgen, wat gevaarlijk kan zijn voor de ontwikkeling
van de jongeren?

Antwoord 4

Op basis van de beschikbare informatie is het niet te zeggen of «My AI» inspeelt op
de behoeften en problemen van jongeren en daardoor eenzijdige input verschaft. Het
is hoe dan ook belangrijk dat aanbieders van online diensten, wanneer er gebruik wordt
gemaakt van een bot, hierover transparantie bieden. Dit wordt zoals in vraag 2 toegelicht
geregeld in de AI-verordening.

Bovendien dienen aanbieders van zogenaamde zeer grote online platforms, waaronder
Snapchat, TikTok, Facebook en Instagram, op grond van de Digital Services Act (DSA),
die op 25 augustus 2023 op hen van toepassing wordt, jaarlijks de zogenaamde systeemrisico’s
die voortvloeien uit het ontwerp of uit de werking van hun diensten in kaart te brengen
en maatregelen te nemen om deze risico’s te verminderen. Tot deze systeemrisico’s
behoren nadrukkelijk ook eventuele werkelijke of voorzienbare negatieve effecten op
de uitoefening van grondrechten, waaronder de rechten van kinderen, en negatieve effecten
met betrekking tot minderjarigen. Dit betekent dat deze partijen ook maatregelen zullen
moeten nemen om kinderen te beschermen tegen chatbots wanneer deze (potentieel) een
negatief effect hebben op de rechten of het welzijn van kinderen.

Vraag 5

Deelt u de mening dat Snapchat met deze nieuwe functie een grens overschrijdt, omdat
het zich voordoet als echt persoon, en herkent u de zorgen van ondermeer 113 Zelfmoordpeventie
en de Kindertelefoon dat er gevaarlijke situaties kunnen ontstaan voor jongeren, zeker
voor jongeren die kampen met suïcidale gedachten?

Antwoord 5

Ik deel de mening dat het onwenselijk is als een chatbot zich tegenover kinderen voordoet
als echt persoon. Het is belangrijk dat kinderen zich realiseren of zij tegen een
echt persoon praten of tegen een bot. Het is daarom goed dat deze functie in Snapchat
is aangepast, zodat My AI zich niet meer voordoet als een echt persoon. Maar zoals
ik hierboven ook al schreef, had Snap Inc. al bij de introductie van deze functie
duidelijk moeten maken dat het om een AI-functionaliteit gaat en niet om een echt
persoon. Het is kwalijk dat dat niet is gebeurd.

Vraag 6

Wat vindt u ervan dat My AI voor verbetering van hun eigen product en voor reclamedoeleinden
in beginsel alle berichten bewaart, is dit in lijn met fingerende wet- en regelgeving?
Kunt u hierbij specifiek ook ingaan op het kader voor minderjarigen van 16–17 jaar
en kinderen jonger dan 16?

Antwoord 6

Het geldende juridische kader voor de verwerking van persoonsgegevens wordt hoofdzakelijk
vormgegeven door de Algemene Verordening Gegevensbescherming (AVG) en de bijbehorende
Uitvoeringswet (UAVG). Dit kader stelt verschillende voorwaarden aan het verwerken
van persoonsgegevens. Zo is het verwerken van persoonsgegevens alleen toegestaan op
basis van de verwerkingsgrondslagen, of redenen, die de AVG daarvoor biedt. Een van
de verwerkingsgrondslagen uit de AVG is de «toestemming» van een betrokkene voor het
verwerken van de persoonsgegevens voor een specifiek doel. Zo kan een betrokkene toestemming
geven voor het verwerken van persoonsgegevens, bijvoorbeeld ter verbetering van de
dienst die hij afneemt, of voor reclamedoeleinden. Als de betrokkene jonger is dan
16 jaar oud, dient de toestemming te worden gegeven door zijn of haar wettelijke vertegenwoordiger.

Bij de verwerking van deze persoonsgegevens dient ook aan andere voorwaarden uit de
AVG te worden voldaan, waaronder beginselen van behoorlijke gegevensverwerking, zoals
het beginsel van dataminimalisatie. Dit beginsel bepaalt dat niet meer gegevens mogen
worden verwerkt dan strikt noodzakelijk voor het doel waarvoor de verwerking plaatsvindt.

De vraag of My AI aan de AVG voldoet, kan ik als bewindspersoon echter niet beoordelen.
Dit is ook niet aan mij. De Autoriteit Persoonsgegevens (AP) is aangewezen als onafhankelijke
toezichthouder om toe te zien op de naleving van de AVG en waar nodig handhavend op
te treden.

Vraag 7

Wat vindt u ervan dat Snapchat deze functie introduceert voor commerciële doeleinden
en deze ook voor kinderen beschikbaar stelt?

Antwoord 7

Bedrijven mogen functies als een chatbot bij hun online dienst beschikbaar stellen.
Daarbij dient evenwel altijd te worden voldaan aan toepasselijke regelgeving, waaronder
de AVG. Als persoonsgegevens worden verwerkt op basis van toestemming, dient deze
bij kinderen onder de 16 jaar bijvoorbeeld steeds te zijn gegeven door een wettelijke
vertegenwoordiger. Bij dergelijke functies dienen de kinderrechten te allen tijde
te worden geborgd en dienen de belangen van het kind in ogenschouw te worden gehouden.
Commerciële belangen wegen uiteraard nooit zwaarder dan de rechten van kinderen. Het
is belangrijk dat technologiebedrijven zoals Snap Inc. bij het ontwerp van apps en
games de Code Kinderrechten Online toepassen, waarvan een belangrijk beginsel luidt:
«voorkom te allen tijde economische exploitatie van kinderen».

Vraag 8

Bent u bereid om met Snapchat in gesprek te gaan over deze functie en de effecten
hiervan op kinderen in het bijzonder, met als doel deze functie te schrappen of in
elk geval aan te laten passen zodat kinderen beschermd worden? Bent u op zijn minst
van mening dat daarbij duidelijk moet worden aangegeven dat het hier gaat om een fictief
persoon?

Antwoord 8

Ik heb met Snap Inc., het bedrijf achter Snapchat, gesproken. Toen bleek dat Snap
Inc. deze functie inmiddels heeft aangepast waardoor de chatbot zich niet langer voordoet
als echt persoon en wordt vermeld dat het een chatbot betreft. Ik vind het belangrijk
dat aanbieders van online diensten transparant zijn over het gebruik van bots, zeker
wanneer het kinderen betreft.

Vraag 9

Hoe bent u van plan om jongeren, ouders en scholen in bredere zin bewuster te maken
van deze en andere AI-ontwikkelingen?

Antwoord 9

De opkomst van AI is een gegeven en heeft impact op de maatschappij en het onderwijs.
AI kan het onderwijs verbeteren door het leren motiverender en meer op maat te maken
en docenten te ondersteunen. Tegelijkertijd zijn er risico’s en kan de inzet van AI
bijvoorbeeld door biases leiden tot grotere verschillen tussen groepen leerlingen
en studenten waardoor groepen leerlingen en studenten onterecht benadeeld kunnen worden.2 De ontwikkeling van AI zal dan ook een aanpassing vragen van docenten en leerlingen
en studenten om goed met intelligente technologieën in het onderwijs om te gaan.

De ontwikkeling van AI vraagt van zowel docenten als leerlingen om op een doordachte
manier met deze technologie in het onderwijs om te leren gaan. Daarbij is het belangrijk
dat scholieren, leraren en de brede maatschappij in gesprek blijven over het gebruik
van AI in de klas. Van docenten vraagt dit ook meer op het gebied van didactische
en digitale vaardigheden. OCW draagt hieraan bij door het inrichten van een expertisepunt
voor digitale geletterdheid in 2023, waar leraren, schoolleiders en bestuurders terecht
kunnen voor hulp en informatie over digitale geletterdheid. Van onderwijsinstellingen
vraagt dit om te doordenken hoe zij vanuit hun visie op goed onderwijs dit binnen
hun instellingen willen vormgeven.

Vraag 10

Deelt u de mening dat er hele grote stappen worden gezet in de ontwikkeling van kunstmatige
intelligentie, waardoor een zorgvuldige aanpak noodzakelijk is?

Antwoord 10

Ja, daarmee ben ik het eens. Het kabinet onderneemt daarom op dat gebied acties. Het
kabinet gaat in de beantwoording van de vragen van Kamerlid Leijten hierop nader in.3

Vraag 11

Vindt u ook dat technologische ontwikkelingen momenteel sneller gaan dan de kaders
van wet- en regelgeving? Deelt u de mening dat dit geen wenselijke situatie is en
dat idealiter vóór de introductie van nieuwe ingrijpende digitale technologieën een
afweging is gemaakt over de maatschappelijke impact en of, en zo ja onder welke voorwaarden,
dergelijke technologieën kunnen worden geïntroduceerd?

Antwoord 11

Er bestaan al verschillende algemene regelgevende kaders, zoals de AVG, de herziene
richtlijn audiovisuele mediadiensten (AVMSD) en binnenkort de DSA en de AI-verordening.
Daarbij wordt zoveel mogelijk gekozen voor technologie neutrale bepalingen zodat de
wetgeving toekomstbestendig is. Wel is het zo dat technologische ontwikkelingen elkaar
snel opvolgen. Hierdoor kan het voorkomen dat de kaders van wet- en regelgeving niet
meer geheel passend zijn bij de nieuwste ontwikkelingen. Ik acht het echter wel van
het grootste belang dat publieke waarden juist ook bij nieuwe ontwikkelingen goed
worden geborgd. Daarom zet ik, zoals aangegeven in de Werkagenda Waardengedreven digitalisering,
in op het opstellen van techniek neutrale voorwaarden en impact assessments voor de
borging van publieke waarden bij de toepassing van nieuwe digitale technologieën.
Een voorbeeld hiervan is het bestaande Impact Assessment Mensenrechten en Algoritmen
(IAMA)4 en het Kinderrechten Impact Assessment (KIA) dat ik momenteel ontwikkel en in het
najaar gereed zal zijn. Ook stel ik ten aanzien van nieuwe technologieën beleidsagenda’s
op. In zo’n agenda staan concrete acties om kansen van een nieuwe technologie te benutten
en risico’s te adresseren. In het najaar zal ik een beleidsagenda immersieve technologie
lanceren.

In het geval van AI vind ik het van belang dat de AI-verordening niet te lang op zich
laat wachten. Daarin wordt onder meer geregeld dat hoog risico AI-systemen pas op
de Europese markt gebracht mogen worden als deze goedgekeurd zijn op het gebied van
veiligheid en mensenrechten. Daarmee zorgen we ervoor dat die afweging vooraf gemaakt
wordt.

Vraag 12

Hoe beoordeelt het kabinet de stappen die de Italiaanse privacy-autoriteit heeft gezet
om ChatGPT te blokkeren, ondermeer vanwege de slechte bescherming van kinderen? Kan
het kabinet zich voorstellen dat ook in Nederland tot een dergelijke stap wordt overgegaan?

Antwoord 12

Zoals ik hierboven reeds opmerkte bij het antwoord op vraag 6, is het aan de onafhankelijke
toezichthouder (de Autoriteit Persoonsgegevens) om te beoordelen of OpenAI met ChatGPT
aan de AVG voldoet, en indien er sprake blijkt te zijn van onrechtmatig handelen handhavend
op te treden. Ik kan als bewindspersoon niet beoordelen of My AI aan de AVG voldoet,
en of, en zo ja hoe, in dat verband handhavend dient te worden opgetreden.

De Italiaanse toezichthouder heeft overigens inmiddels het verbod opgeven nadat OpenAI
heeft toegezegd enkele wijzigingen te zullen doorvoeren die de zorgen van de Italiaanse
toezichthouder met betrekking tot gegevensbescherming moeten wegnemen. OpenAI heeft
tot 30 april de tijd gehad om deze aanpassingen door te voeren.5 Sindsdien is er geen nieuw verbod op ChatGTP uitgevaardigd door de Italiaanse toezichthouder.

Het kabinet gaat nader in op dit onderwerp in de beantwoording van de vragen van Van
Raan.6

Vraag 13

Deelt u de mening dat niet alleen op korte termijn met een visie op nieuwe AI-producten
moet worden gekomen – zoals door de Kamer verzocht7 – maar ook met nadere wet- en regelgeving waarin in elk geval aandacht is voor de
bescherming van kwetsbare groepen zoals kinderen en jongvolwassenen?

Antwoord 13

Net als de vragenstellers vind ik het enorm belangrijk dat kinderen en jongvolwassenen
goed worden beschermd. Er bestaan daarvoor al veel regels. De AVG en de DSA kennen
bijvoorbeeld specifieke regels voor de bescherming van deze groepen. In de EU wordt
momenteel gewerkt aan de AI-verordening, zoals ook benoemd in vraag 2 en 11. Deze
stelt eisen aan bepaalde AI-systemen, zoals een transparantieverplichting voor chatbots.
In het kader van de kabinetsvisie op nieuwe AI-producten, waaronder generatieve AI,
zal het kabinet bestuderen of er aanvullende wet- en regelgeving nodig is, en daarbij
ook aandacht besteden aan de bescherming van kwetsbare groepen zoals kinderen en jongvolwassenen.

Toelichting:

Deze vragen dienen ter aanvulling op eerdere vragen terzake van het lid Kathmann (PvdA),
ingezonden 20 april 2023 (vraagnummer 2023Z07266).