Antwoord schriftelijke vragen : Antwoord op vragen van de leden El Boujdaini en Van der Werf over het bericht 'Elon Musks AI-chatbot Grok onder vuur door seksueel getinte beelden'

Antwoord van Minister Van Weel (Justitie en Veiligheid) en van Staatssecretaris Aerdts
(Economische Zaken en Klimaat) (ontvangen 17 maart 2026). Zie ook Aanhangsel Handelingen,
vergaderjaar 2025–2026, nr. 1038.

Vraag 1

Heeft u kennisgenomen van het bericht «Elon Musks AI-chatbot Grok onder vuur door
seksueel getinte beelden»?1

Antwoord 1

Ja.

Vraag 2

Bent u op de hoogte van het incident waarbij AI-chatbot Grok door gebruikers werd
aangespoord om seksuele deepfakes van minderjarige meisjes te genereren, en dat deze
beelden tot wel 12 uur online hebben gestaan voordat ze werden verwijderd? Zo ja,
hoe beoordeelt u dit incident in het licht van de Digital Services Act (DSA) verplichtingen
ten aanzien van bescherming van minderjarigen?

Antwoord 2

Ja, daarvan zijn we op de hoogte. Het bericht dat zoveel mensen slachtoffer zijn geworden
vinden wij zeer zorgwekkend. De slachtoffers zijn met name vrouwen en minderjarigen,
maar deepnudes kunnen in potentie van iedereen gemaakt worden. De impact en de gevolgen
van deepnudes voor slachtoffers en hun omgeving zijn enorm, mede omdat het maken van
deepnudes steeds geavanceerder wordt en daarmee deepnudes steeds realistischer worden.
Daarnaast zijn deze beelden ook schadelijk voor de samenleving, omdat iedereen, specifiek
jongeren, ze online tegen kunnen komen. Het vervaardigen van seksueel beeldmateriaal
van minderjarigen, of van personen zonder toestemming, is strafbaar, ook als het materiaal
met AI is gegenereerd.

Als aangewezen zeer groot online platform zal X moeten voldoen aan de verplichtingen
uit de Digitale Dienstenverordening (DSA). In die hoedanigheid is X verplicht om de
systeemrisico’s die kunnen voortvloeien uit de verspreiding van illegale content,
zoals illegale deepnudes, te identificeren en te beperken. Ook moeten zij het gebruikers
mogelijk maken om illegale inhoud op eenvoudige wijze te melden, welke meldingen zij
op een tijdige, zorgvuldige, niet-willekeurige en objectieve wijze moeten beoordelen.

Het primaat van het DSA-toezicht op X als zeer groot online platform ligt bij de Europese
Commissie (EC). Daarbij wordt zij ondersteund door de Ierse toezichthouder, als toezichthouder
van de lidstaat waar X zijn hoofdvestiging heeft. De toezichthouders beoordelen niet
of specifieke content illegaal is en leggen geen verwijderverzoeken of bevelen op
aan platforms, maar controleren of bijvoorbeeld bovenstaande meldingsmechanismes van
platforms voldoen aan de DSA en of het platform de melding netjes en op tijd onderzoekt
en melder over de beslissing informeert. Op 26 januari werd bekend dat de EC een nieuw,
officieel onderzoek is gestart naar (de functies van) Grok en X onder de DSA. In dit
nieuwe onderzoek zal worden beoordeeld of X de risico’s in verband met de verspreiding
van illegale inhoud, waaronder gemanipuleerde seksuele afbeeldingen en inhoud die
kwalificeert als seksueel misbruik van kinderen, in verband met de uitrol van Grok
in de EU naar behoren heeft beoordeeld en beperkt.

Vraag 3

Welke stappen onderneemt Nederland binnen de Raad en richting de Europese Commissie
om ervoor te zorgen dat DSA-verplichtingen met betrekking tot bescherming van minderjarigen
en voorkomen van AI-malafide content effectief worden nageleefd door grote platforms?

Antwoord 3

Op de DSA wordt toezicht gehouden door onafhankelijke toezichthouders en Nederland
kan dienaangaande geen instructies geven. Wel kan Nederland signalen afgeven aan de
EC of de Autoriteit Consument & Markt (ACM), de coördinerende toezichthouder op de
DSA in Nederland, in het geval risico’s worden gezien die om aandacht vragen. Zo heeft
Nederland de uitkomsten van de kinderrechtenimpactassessments met de EC gedeeld.

Vraag 4

Bent u op de hoogte van de lopende onderzoeken van meerdere landen (o.a. Frankrijk,
Zweden, Australië) tegen X over de stroom aan deepfakes en seksueel expliciete AI-beelden?
Zo ja, wat is de Nederlandse positie en rol hierin?

Antwoord 4

Ja, daarvan zijn wij op de hoogte. Het is mede aan de toezichthouder van de DSA, in
dit geval de EC, om te beoordelen of X aan de wettelijke verplichtingen heeft voldaan.
Daarnaast hebben wij vernomen dat Frankrijk een strafrechtelijk onderzoek is gestart.2 Nederland heeft in de lopende onderzoeken tegen X geen specifieke rol. Uiteraard
volgen wij de ontwikkelingen met belangstelling.

Vraag 5

Onder DSA zijn grote platformen verplicht om duidelijke, gebruiksvriendelijke mechanismen
voor het rapporteren van illegale content te hebben en deze snel te behandelen, hoe
beoordeelt u de effectiviteit van de huidige mechanismen van X, mede gezien het feit
dat sommige beelden pas na journalistieke publiciteit werden verwijderd?

Antwoord 5

Het niet adequaat en of snel handelen van een zeer groot online platform wordt gesanctioneerd
in het derde lid van artikel 16 DSA. Dit artikel verduidelijkt dat een melding van
illegale inhoud, conform de vereisten van dat artikel, leidt tot zogenaamde «daadwerkelijke
kennis of bekendheid» van die illegale inhoud bij een hostingbedrijf of online platform.
Zodra dat het geval is, moet een zeer groot online platform prompt handelen om die
illegale inhoud te verwijderen of de toegang daartoe onmogelijk te maken. Doet een
platform dat niet dan kunnen ze geen beroep doen op de vrijwaring van aansprakelijkheid
uit artikel 6 van de verordening en zelfstandig aansprakelijk worden gesteld voor
die illegale inhoud.

Het is aan de toezichthouder, in dit geval de EC, om te beoordelen of aan bovengenoemd
kader is voldaan. De EC onderzoekt dit momenteel.

Vraag 6

Hoeveel meldingen van AI-gegenereerde illegale content, waaronder deepfakes en beelden
met minderjarigen, zijn via het DSA-transparantiesysteem aan de Europese Commissie
en nationale autoriteiten gerapporteerd, en wat is daarvan de uitkomst?

Antwoord 6

De ACM heeft geen inzicht in meldingen die door andere lidstaten worden gedaan bij
de EC en/of de Ierse toezichthouder Coimisiún na Meán (CNAM; toezichthouder van de
lidstaat waar X zijn hoofdvestiging heeft). Dit is in principe vertrouwelijk tussen
de melder en de EC. Meldingen over systeemrisico’s zijn vaak beschrijvend over een
bepaalde functionaliteit of risico, aangevuld met enkele voorbeelden van het betreffende
onderwerp.

Vraag 7

Kunt u duidelijkheid geven over hoe momenteel toezicht en handhaving is ingericht
op het gebied van deepfake incidenten in Nederland? En is dit alleen meldings-gedreven
of ook door middel van actieve detectie?

Antwoord 7

Handhaving en toezicht op illegaal deepfake-beeldmateriaal gebeurt primair op basis
van meldingen bij de bevoegde handhavingsautoriteiten over de online platforms waar
deze worden verspreid.

De ACM is de bevoegde Nederlandse toezichthouder op de DSA. De ACM heeft op grond
van de DSA geen bevoegdheid om verwijderbevelen op te leggen. Wel bevat de DSA verplichtingen
op grond waarvan de ACM kan handhaven wanneer online platforms of hostingproviders
onvoldoende optreden tegen illegale inhoud en hun processen met betrekking tot meldingen
niet op orde hebben. Dit kan het geval zijn als blijkt dat de onlinedienst niet of
onvoldoende gemotiveerd of traag reageert op meldingen over illegale inhoud van bijvoorbeeld
gebruikers of trusted flaggers.

Het kan zijn dat niet de ACM maar een toezichthouder in een andere lidstaat bevoegd
is ten aanzien van de onlinedienst in kwestie. In het geval van de kwestie X/Grok
is bijvoorbeeld de Europese Commissie primair bevoegd. Zij kan als bevoegd toezichthouder
een onderzoek instellen en boetes opleggen tot 6% van de wereldwijde omzet. Daarnaast
hebben gebruikers de mogelijkheid om, naast het doorlopen van de interne klachtenafhandelingsprocedure
bij een aanbieder, ook een gerechtelijke procedure te starten.

De ACM roept slachtoffers van dergelijke beelden op om melding te doen bij het platform/de
hosting provider, bij de politie of bij een trusted flagger zoals Offlimits. Deze
meldingen zijn waardevol om aan te tonen dat materiaal zonder toestemming is verspreid.
Ook kan naar aanleiding van de meldingen blijken dat het platform/de hosting provider
onvoldoende optreedt tegen illegale inhoud, waarna de ACM daarop kan handelen.

Daarnaast is de Autoriteit Persoonsgegevens (AP) op grond van de DSA en de Algemene
Verordening Gegevensbescherming (AVG) een bevoegd toezichthouder op het gebied van
illegale deepfakes. Als deepfakes zonder toestemming worden verspreid, kan er sprake
zijn van onrechtmatige verwerking van persoonsgegevens. De AP kan een onderzoek instellen
naar personen of organisaties die verantwoordelijk zijn voor het (mogelijk) maken
en verspreiden van dit soort materiaal. Dit kunnen in bepaalde gevallen online platforms
zijn, maar ook hostingproviders die de content hosten. Voor de AP is het wel van belang
dat de partij die verantwoordelijk is voor de content (afhankelijk van de omstandigheden
van het geval; het individu en/of het platform) te achterhalen is, wat, anders dan
bij X, niet altijd het geval is. Het kan zijn dat niet de AP maar een gegevensbeschermingsautoriteit
in een andere lidstaat bevoegd is ten aanzien van de onlinedienst in kwestie. Als
uit het onderzoek blijkt dat er overtredingen zijn, kan de AP of andere autoriteit
aanbieders van onlinediensten bijvoorbeeld een verwerkingsverbod opleggen voor wat
betreft het onrechtmatige materiaal. Het proces van onderzoek en bestuursrechtelijk
handhaven zal in de regel niet leiden tot het snel offline zijn van de beelden.

De officier van justitie kan op grond van artikel 125p van het Wetboek van Strafvordering
(Sv) aan een aanbieder van een communicatiedienst bevelen om strafbare online content
ontoegankelijk te maken. Een dergelijk bevel kan, kort gezegd, worden gegeven als
sprake is van een strafbaar feit waarvoor voorlopige hechtenis is toegelaten, ter
beëindiging van dat strafbare feit en/of ter voorkoming van nieuwe strafbare feiten.

Voor illegale deepfakes, op basis van de artikelen 252, 254ba en art. 285d van het
Wetboek van Strafrecht (Sr), is dit het geval. Van deze mogelijkheid wordt beperkt
gebruik gemaakt, omdat de politie en het Openbaar Ministerie ook gebruik kunnen maken
van verwijderverzoeken op basis van de zelfregulerings-mogelijkheden. Deze zijn in
de praktijk vaak sneller. Een aanbieder die niet voldoet aan een dergelijk bevel onder
125p Sv kan strafrechtelijk aansprakelijk zijn (54a Sr).

Wanneer het materiaal van minderjarigen betreft is het seksueel beeldmateriaal van
kinderen en is het strafbaar op grond van artikel 252 Sr. In Nederland is dan ATKM
bevoegd om aanbieders van communicatiediensten die in Nederland zijn gevestigd of
die seksueel beeldmateriaal van kinderen op Nederlands grondgebied hebben opgeslagen,
te verplichten om dergelijk materiaal ontoegankelijk te maken of te verwijderen. Dit
geldt ook voor seksueel beeldmateriaal van minderjarigen dat is vervaardigd door middel
van AI, zoals bij deepnudes. Als aanbieders van hostingdiensten niet aan deze verplichting
voldoen, kan de ATKM bestuursrechtelijk handhaven. De ATKM kan in dat geval een last
onder dwangsom of een bestuurlijke boete opleggen, die kan oplopen tot 10% van de
jaarlijkse omzet van de onderneming.

Vraag 8

Hoe verhoudt de handhaving van de AVG zich tot de handhaving van de DSA in dit soort
gevallen, en ziet u mogelijkheden om deze instrumenten gezamenlijk effectiever in
te zetten?

Antwoord 8

Er kan in dit soort gevallen zowel op basis van de AVG als de DSA worden gehandhaafd.
De ACM werkt momenteel nauw samen met de AP en andere betrokken instanties aan mogelijkheden
om elkaar hierin te versterken.

De ACM heeft op grond van de DSA geen bevoegdheid om verwijderbevelen op te leggen.
Wel bevat de DSA verplichtingen op grond waarvan de ACM kan handhaven wanneer online
platforms of hostingproviders onvoldoende optreden tegen illegale inhoud en hun processen
met betrekking tot meldingen niet op orde hebben. Dit kan het geval zijn als blijkt
dat de onlinedienst niet of onvoldoende gemotiveerd of traag reageert op meldingen
over illegale inhoud van bijvoorbeeld gebruikers of trusted flaggers. Het kan zijn
dat niet de ACM maar een toezichthouder in een andere lidstaat bevoegd is wat betreft
de onlinedienst in kwestie. In het geval van de kwestie X/Grok is bijvoorbeeld de
Europese Commissie primair bevoegd.

De AP kan een onderzoek instellen naar personen of organisaties die verantwoordelijk
zijn voor het (mogelijk) maken en verspreiden van materiaal dat in strijd is met de
AVG. Dit kunnen in bepaalde gevallen online platforms zijn, maar ook hostingproviders
die de content hosten. Voor de AP is het wel van belang dat de partij die verantwoordelijk
is voor de content (afhankelijk van de omstandigheden van het geval; het individu
en/of het platform) te achterhalen is, wat, anders dan bij X, niet altijd het geval
is. Het kan verder zo zijn dat niet de AP maar een gegevensbeschermingsautoriteit
in een andere lidstaat bevoegd is wat betreft de onlinedienst in kwestie. Als uit
het onderzoek blijkt dat er overtredingen zijn, kan de AP of andere autoriteit aanbieders
van onlinediensten bijvoorbeeld een verwerkingsverbod opleggen wat betreft het onrechtmatige
materiaal. Hierin verschilt de handhavingsmogelijkheden op de AVG ten aanzien van
de mogelijkheden onder de DSA. Het proces van onderzoek en bestuursrechtelijk handhaven
zal in de regel niet leiden tot het snel offline zijn van de beelden.

Vraag 9

Vindt u dat «nudify»-apps en dergelijke functies van AI-chatbots überhaupt bestaansrecht
hebben? Zo nee, wat gaat u daaraan doen?

Antwoord 9

Binnen het Ministerie van Justitie en Veiligheid wordt gekeken naar de mogelijkheden
om het gebruik van nudify applicaties verder tegen te gaan. Ondanks de mogelijkheid
om gebruikers van de applicaties strafrechtelijk te vervolgen (via de artikelen 252
en 254ba Sr) en de mogelijkheid om elk illegaal beeld steeds te laten verwijderen,
blijft het maatschappelijk probleem rondom deepnudes zich in grote mate voordoen.
Om die reden wordt bezien of het wenselijk en haalbaar is het aanbieden van de applicaties
zelf te verbieden, nationaal dan wel Europees. Inmiddels hebben met verschillende
stakeholders en experts gesprekken plaatsgevonden. Voordat een inhoudelijke positie
bepaald wordt, is verdere studie nodig.

Vraag 10

Bent u bereid om aan te dringen op effectieve handhaving tegen X in de kwestie van
AI-gegenereerde beelden van minderjarigen en zo ja, welke nationale en Europese maatregelen
kunnen er genomen worden of welke sancties kunnen er worden opgelegd?

Antwoord 10

Effectieve handhaving van Europees recht is onverminderd van belang. De Europese Commissie
is op 26 januari jl. een nieuw onderzoek gestart naar X dat specifiek ziet op Grok.
Als de Commissie concludeert dat X de DSA heeft overtreden, kan zij verdere handhavingsmaatregelen
nemen, zoals de vaststelling van een besluit tot niet-naleving en de oplegging van
een boete.

Vraag 11

Kunt u deze vragen elk afzonderlijk beantwoorden?

Antwoord 11

Ja.