Antwoord schriftelijke vragen : Antwoord op vragen van het lid Buitenweg over het gebruik van kunstmatige intelligentie in zedenzaken

Antwoord van Minister Grapperhaus (Justitie en Veiligheid) (ontvangen 4 november 2019).
Zie ook Aanhangsel Handelingen, vergaderjaar 2019–2020, nr. 332.

Vraag 1

Kent u het bericht over onderzoekers van de Universiteit Maastricht die een chatbot
hebben ontwikkeld voor slachtoffers van aanranding, verkrachting of andere vormen
van seksuele intimidatie?1

Antwoord 1

Ja.

Vraag 2

Acht u het mogelijk dat de overheid gebruik gaat maken van een dergelijke chatbot
voor het helpen van slachtoffers van seksueel geweld?

Antwoord 2

In zijn algemeenheid wil ik opmerken dat digitale mogelijkheden de bestaande wijzen
van hulpverlening kunnen aanvullen. Het kan er niet voor in de plaats komen, maar
wel vanuit slachtofferperspectief ondersteunend werken.

Van de Universiteit van Maastricht heb ik begrepen dat de chatbot, waar uw vragen
naar verwijzen, als doel heeft om geanonimiseerd meldingen te ontvangen, de melder
te steunen en een advies te geven over het opnemen van contact met de bij de melder
passende instantie. Dit kan bijvoorbeeld een psycholoog zijn. De ontwikkelingen op
dit gebied zijn interessant en die volg ik. Het is echter te vroeg om voor dit concrete
geval te zeggen of het door de overheid gebruikt kan worden.

Vraag 3

Klopt het dat deze chatbot draait op een algoritme dat emoties van burgers interpreteert?
Zo ja, wat vindt u ervan als de overheid met algoritmes gaat werken die emoties analyseren?

Antwoord 3

Het systeem is gemaakt door de Universiteit Maastricht. Zij hebben mij laten weten
dat er geen emotie-herkenningsmodule in het systeem zit.

Vraag 4

Welke data zijn gebruikt om het algoritme te ontwikkelen? Zijn dat data van Nederlandse
meldingen? Waren de indieners van de gebruikte meldingen ervan op de hoogte dat deze
gebruikt konden worden voor het ontwikkelen van een algoritme?

Antwoord 4

De Universiteit van Maastricht heeft mij laten weten dat de meldingen grotendeels
afkomstig zijn uit India, maar ook uit enkele andere landen komen, zoals de Verenigde
Staten van Amerika en Zuid-Afrika. Het betreft anonieme meldingen, die tevens ontdaan
zijn van gegevens over eventuele daders.2

Vraag 5

Welk juridisch en ethisch kader is op een dergelijke bot van toepassing? Vindt u dat
dit huidige kader voldoet? Zo nee, waarom niet en welke voorwaarden bent u voornemens
aan dit soort bots te stellen?

Antwoord 5

Belangrijk element van het juridische kader dat op een dergelijke bot van toepassing
zal zijn is het gegevensbeschermingsrecht. Hieraan moet in eerste instantie worden
voldaan bij het verkrijgen en gebruiken van de reeds in de beantwoording bij vraag
4 genoemde trainingsdata. Zoals ik vernam waren deze in dit geval reeds geanonimiseerd
toen zij door de Universiteit werden verkregen, waardoor er voor de training van het
algoritme in beginsel geen persoonsgegevens zijn verwerkt. Indien de chatbot echter
in gebruik zou worden genomen voor een concrete doelgroep dan ligt het voor de hand
dat er persoonsgegevens verwerkt gaan worden, waaronder naar alle waarschijnlijkheid
ook bijzondere persoonsgegevens. Bij de ontwikkeling en het gebruik van een dergelijke
bot zal men zich moeten houden aan alle vereisten die de Algemene Verordening Gegevensbescherming
stelt aan het verwerken van de desbetreffende persoonsgegevens. Daarbij zal speciale
aandacht uit moeten gaan naar de vraag of die bijzondere persoonsgegevens verwerkt
mogen worden.

In algemene zin geldt dat AI zich in hoog tempo ontwikkelt en dat er nationaal en
internationaal wordt bezien of daar gevolgen aan moeten worden verbonden voor regelgeving.
Zo is de verwachting dat de nieuwe Europese Commissie op korte termijn een voorstel
gaat doen voor een verordening op het gebied van AI.

Het kabinetsstandpunt over de omgang met Artificial Intelligence is recent verwoord
in een drietal publicaties, namelijk het Strategisch Actieplan AI,3 de Beleidsbrief AI,4 publieke waarden en mensenrechten, en de brief over Waarborgen tegen risico’s van
data-analyses door de overheid.5

Vraag 6

Wie is er verantwoordelijk wanneer een dergelijke bot een fout zou maken in de beoordeling
van een melding?

Antwoord 6

Als een chatbot in gebruik wordt genomen, dan is de partij die de bot beschikbaar
stelt verantwoordelijk voor de deugdelijkheid van het systeem. Voor eventuele vragen
van aansprakelijkheid gelden de algemene regels uit het Burgerlijk Wetboek. Aansprakelijkheid
vraagt een beoordeling van de omstandigheden van het geval. De deugdelijkheid van
het systeem, de informatie over de werking daarvan en de wijze waarop de gebruiker
er gebruik van heeft gemaakt zijn aspecten die in dat licht van belang kunnen zijn.