Brief regering : Kabinetsreactie op drietal onderzoeken naar algoritmen

Nr. 726 BRIEF VAN DE MINISTER VOOR RECHTSBESCHERMING, DE STAATSSECRETARIS VAN ECONOMISCHE
ZAKEN EN KLIMAAT EN DE MINISTER EN STAATSSECRETARIS VAN BINNENLANDSE ZAKEN EN KONINKRIJKSRELATIES

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 20 november 2020

1. Inleiding

Het kabinet hanteert bij het beleid rond algoritmen en AI een lerende aanpak. Hierbij
past, mede op instigatie van uw Kamer, ook onderzoek naar de vraag of beleid en regelgeving
voldoende zijn toegesneden op actuele en toekomstige kansen en risico’s van algoritmen.
In dit verband zenden we uw Kamer een reactie op de volgende onderzoeken:

• «Juridische aspecten van algoritmen die besluiten nemen»1 (hierna: besluitvormingsonderzoek);

• Onvoorziene effecten van zelflerende algoritmen» (hierna: effectenonderzoek);

• «De modernisering van het Nederlandse Procesrecht in het licht van big data» (hierna:
procesrechtonderzoek)2.

Elk van de onderzoeken houdt verband met een toezegging aan uw Kamer, dan wel een
motie die door uw Kamer is aangenomen.

Met de casestudy «Overheidsincasso bij verkeersboetes» in het besluitvormingsonderzoek
is gevolg gegeven aan een toezegging die werd gedaan in het kader van de kabinetsreactie3 op het WRR-rapport «Weten is nog geen doen».

Aanleiding tot het effectenonderzoek was de motie van de leden Van den Berg en Wörsdörfer4.

Met het procesrechtonderzoek is uitvoering gegeven aan de motie van het lid Buitenweg5.

2. Kabinetsreactie

2.1 Algemene conclusies

De snelle technologische ontwikkelingen roepen de vraag op of beleid en wetgeving
voldoende toegesneden zijn op de kansen en de risico’s rondom algoritmen. Naar aanleiding
van de onderhavige onderzoeken trekt het kabinet de volgende algemene conclusies.

Grondoorzaken van onvoorziene (en ongewenste) effecten

Het besluitvormingsonderzoek en het effectenonderzoek bieden een gedegen analyse van
risico’s van algoritmen voor individuen, groepen en de samenleving als geheel6.

Een belangrijke uitkomst van het effectenonderzoek is dat onvoorziene effecten van
algoritmen (die kunnen resulteren in ongewenste gevolgen) een drietal grondoorzaken
hebben die gelden voor alle typen algoritmen (dus zowel voor regelgebaseerde als zelflerende algoritmen). Deze grondoorzaken zijn:

1. Er is een onvolledig of verkeerd begrip van de probleemruimte7.

2. Het (zelflerende) algoritme is niet goed toegerust op de complexe omgeving waarbinnen
het wordt ingezet.

3. Het (zelflerende) algoritme wordt niet goed ingepast in een bredere (socio-technische)
context.8

De onderzoekers lichten duidelijk toe hoe zelflerende algoritmen de kans vergroten
op onvoorziene effecten. Om de kans op onvoorziene effecten van algoritmen te verkleinen,
is het zaak om bovengenoemde grondoorzaken in te perken.

Het kabinet onderschrijft het belang van goede consumentenbescherming daarbij en zal
nader verkennen welke maatregelen kunnen bijdragen aan het tegengaan van eventuele
negatieve effecten van algoritmen op consumenten.

Het onderzoek biedt hiertoe tal van aanknopingspunten. Daarnaast is binnen de Europese
Unie hier al aandacht voor.

De Europese Commissie benadrukt onder andere in het Witboek over AI9 dat consumentenbescherming ook een plaats moet krijgen bij het ontwikkelen van beleid
op het terrein van AI.

De toekomstbestendigheid van de algemene juridische kaders op het gebied van non-discriminatie,
gegevensbescherming en rechtsbescherming

In het besluitvormingsonderzoek is aan de hand van vier casestudy’s (contentmoderatie
door online platformen, zelfrijdende auto’s, de rechtspraak en overheidsincasso bij
verkeersboetes) verkend of de algemene juridische kaders op het gebied van de waarden
non-discriminatie, gegevensbescherming en rechtsbescherming voldoende zijn toegesneden
op de (toekomstige) kansen en risico’s van algoritmen. Dit onderzoek indiceert10 dat de bedoelde algemene kaders op hoofdlijnen toekomstbestendig zijn. Wel noemt
het onderzoek een aantal knelpunten/aandachtspunten. Het gaat hier om de uitleg van
het begrip «geautomatiseerde besluitvorming», de mogelijkheid om te testen met «bijzondere
persoonsgegevens» en om de bewijspositie in de context van productaansprakelijkheid.
Hierop reageert het kabinet in par. 2.2.

In deze paragraaf zal tevens worden ingegaan op de waarneming van het kabinet dat
het besluitvormingsonderzoek en het procesrechtonderzoek ieder een ander gevolg van
de invloed van de veranderende stand van de techniek op de uitleg van het begrip «persoonsgegevens»
belichten, waardoor het begrip «persoonsgegevens» lijkt te vervagen.

Met betrekking tot de toekomstbestendigheid van genoemde kaders onderschrijft het
kabinet dat algoritmen niet in een juridisch vacuüm vallen. Wel signaleert het kabinet
het volgende. Om normen toekomstbestendig(er) te maken, worden ze vaak breed en open
geformuleerd. Maar daardoor kan ook onzekerheid ontstaan over hoe ze in een concrete
situatie precies moeten worden uitgelegd. Dit is waarom het besluitvormingsonderzoek
benadrukt dat wel rechtsontwikkeling moet plaatsvinden.

Uiteraard ziet het kabinet de belangrijke rol die de rechter (en de toezichthouder)
in dit verband spelen. Maar het ziet hier zeker ook een rol voor zichzelf. Thans wordt
bijvoorbeeld ingezet op nadere normering van algoritmen via de richtlijnen voor data-analyse
door overheden. In het eerste kwartaal van 2021 zal, mede aan de hand van de ervaringen
hiermee, worden bezien in hoeverre het nodig en wenselijk is dat onderdelen van deze
richtlijnen worden omgezet in aanvullende wettelijke waarborgen. De overwegingen die
het procesrechtonderzoek aandraagt m.b.t. de mogelijkheid om de analysefase van grootschalige
data-analyses nader te reguleren, zullen hierbij worden meegenomen.

Het kabinet wijst er tot slot nog op dat de Europese Commissie (EC) met genoemd Witboek
over AI de discussie heeft gestart of, aanvullend op de bestaande wettelijke kaders,
nieuwe wettelijke regels nodig zijn voor zogenoemde hoog risico toepassingen van AI.
Het kabinet heeft n.a.v. dit Witboek een appreciatie uitgebracht.11

Sectorspecifieke interventies kunnen nodig zijn

Als gezegd, indiceert het besluitvormingsonderzoek dat de algemene wettelijke kaders
op het gebied van non-discriminatie, gegevensbescherming en rechtsbescherming op hoofdlijnen
toekomstbestendig zijn.

Het onderzoek geeft echter ook aan dat de kansen en risico’s van algoritmen voor publieke
belangen en waarden sterk afhankelijk zijn van de toepassing, de sector en de organisatorische
context. Het kan dus zo zijn dat in een specifieke context noch de algemene juridische
kaders, noch de specifiek voor die sector geldende juridische kaders voldoen.

In dit verband signaleert genoemd onderzoek in de casestudy’s de nodige knelpunten/spanningen.
Zo vinden de onderzoekers de huidige vormen van zelfregulering tekort schieten om
discriminatie te voorkomen bij het modereren van content op on line platformen (zie
casestudy Contentmoderatie door online platformen). In bijlage 1 wordt op elke casestudy
afzonderlijk gereageerd12.

Beleid is meer dan regels stellen

Een verantwoorde inzet van algoritmen vergt naast een adequaat juridisch kader ook
beleid. Het kabinet zet actief in op het borgen en versterken van mensenrechten en
het voorkomen en mitigeren van onvoorziene en ongewenste gevolgen bij de inzet van
algoritmen.

Dit doet het kabinet onder meer door: communicatie en voorlichting, het doen van onderzoek,
het uitvoeren van experimenten, het ontwikkelen/bevorderen van standaarden, toezicht
en audits en het stimuleren van het maatschappelijk debat. Voor een overzicht van
het gevoerde beleid ten aanzien van algoritmen en AI verwijst het kabinet naar de
drie op 8 oktober 2019 naar uw kamer verzonden brieven over dit onderwerp, te weten
het Strategisch Actieplan voor AI (SAPAI)13, de Beleidsbrief AI, publieke waarden en mensenrechten14 en de Brief «Waarborgen tegen risico’s van data-analyses door de overheid»15.

Ook is uw Kamer op 20 april jl. de kabinetsreactie16 toegezonden op de initiatiefnota Middendorp («Grip op algoritmen»)17 en het onderzoek over het toezicht op overheidsalgoritmen.

Dit jaar worden in opdracht van het kabinet technische ontwerpprincipes opgeleverd
om risico’s op discriminatie door AI systemen al in de ontwikkelfase te mitigeren.
In het eerste kwartaal van 2021 volgt een model voor een impact assessment dat overheidsorganisaties
in een vroegtijdig stadium helpt bij het ondervangen van risico’s van algoritmen voor
mensenrechten.

Geen lacunes in het huidige procesrechtelijke kader m.b.t. grootschalige data-analyses.

Met betrekking tot het procesrechtonderzoek concludeert het kabinet dat er geen lacunes
worden geconstateerd ten aanzien van het huidige procesrechtelijke kader. Dit laat
onverlet dat de mogelijkheden in het procesrecht altijd kunnen worden verruimd. Ten
aanzien van de voorstellen daartoe concludeert het kabinet dat een aantal achterliggende
vraagstukken de aandacht verdienen. (Zie nader par. 2.3.)

2.2 Knelpunten/aandachtspunten m.b.t. de algemene juridische kaders

Zoals in de vorige paragraaf aangegeven18, vloeit uit het besluitvormingsonderzoek en het procesrechtonderzoek een aantal knelpunten/aandachtspunten
voort m.b.t de algemene juridische kaders op het gebied van non-discriminatie, gegevensbescherming
en rechtsbescherming. Hierop gaat het kabinet hieronder in.

Verbod van geautomatiseerde besluitvorming (AVG)

Volgens art. 22 AVG mag een persoon niet worden onderworpen aan een uitsluitend op
geautomatiseerde verwerking, waaronder profilering, gebaseerd besluit waaraan voor
hem rechtsgevolgen zijn verbonden of dat hem anderszins in aanmerkelijke mate treft.
Als sprake is van menselijke tussenkomt, is geen sprake van geautomatiseerde besluitvorming.

Naar aanleiding van de casestudy Contentmoderatie door online platformen wordt in
het besluitvormingsonderzoek de meer algemene vraag opgeworpen of dit wel terecht
is, in gevallen waarin die tussenkomst onvoldoende betekenis heeft.

Volgens het kabinet is het evident dat het verbod op geautomatiseerde besluitvorming
prevaleert, in die gevallen waarin menselijke tussenkomst niet adequaat is. Het zou
echter goed zijn als het Europees Comité, dat toeziet op de consequente toepassing
van de AVG, meer duidelijkheid verschaft hierover. De AP heeft AI en algoritmen in
ieder geval als focusgebied voor de komende jaren aangemerkt.

Testen met behulp van bijzondere persoonsgegevens (AVG)

Volgens artikel 9 AVG is het verwerken van bijzondere persoonsgegevens (zoals bijvoorbeeld
betreffende iemands etnische afkomst, politieke opvattingen of religieuze overtuiging)
in beginsel verboden. Volgens het besluitvormingsonderzoek zou het verwerken van zulke
gegevens echter juist kunnen helpen bij het voorkomen van discriminatie in het model
van de werkelijkheid dat besloten ligt in een algoritme.

Het kabinet heeft dit punt al bij de evaluatie van de AVG in Europa naar voren gebracht.
Omdat dit geen resultaat opleverde, zal het kabinet bekijken of een nationale wettelijke
grondslag kan worden gecreëerd om zo nodig van genoemd verbod af te wijken.

De vervaging van het begrip persoonsgegevens (AVG)

In de regulering van algoritmen speelt de AVG een cruciale rol. De AVG geldt alleen
als «persoonsgegevens» worden verwerkt. Het besluitvormingsonderzoek en het procesrechtonderzoek
indiceren dat door de veranderende stand van de techniek onzekerheid ontstaat over
de vraag of de AVG op bepaalde gegevenssets van toepassing is.

De onderzoeken komen echter tot andere conclusies ten aanzien van de toepasselijkheid
van de AVG. Volgens het besluitvormingsonderzoek zullen gegevenssets door de inzet
van algoritmische modellen eerder persoonsgegevens bevatten, omdat verbanden in voorheen
anonieme gegevenssets kunnen worden gevonden. Het procesrechtonderzoek wijst juist
op technische mogelijkheden om persoonsgegevens te anonimiseren, waardoor de AVG niet
meer zou gelden. Om hier klaarheid in te brengen, zal het kabinet nader onderzoek
laten verrichten (zie ook: Bijlage 2, onder reguleringsoptie I)19.

In afwachting daarvan zet het kabinet al meerdere stappen om te bevorderen dat bepaalde
normen van zorgvuldigheid en transparantie in acht worden genomen, ook wanneer formeel
weliswaar geen persoonsgegevens worden verwerkt, maar wel impact van de verwerking
van gegevens op burgers te verwachten valt.20

Rechtsbescherming bij productaansprakelijkheid: aandacht nodig voor bewijspositie

De productaansprakelijkheidsregels regelen wanneer de producent aansprakelijk is voor
een gebrekkig product. Het besluitvormingsonderzoek geeft naar aanleiding van de casestudy
over de Zelfrijdende auto in overweging om – daar waar zelflerende algoritmen het
zicht ontnemen op de toedracht van een ongeluk – de bewijslast te verlichten, of om
te keren.

Mede in verband met deze vraag wordt thans in Europees verband verkend of de richtlijn
productaansprakelijkheid (85/374/EEG) aanpassing behoeft met het oog op nieuwe technologie,
waaronder het gebruik van software. Deze verkenning strekt vanzelfsprekend verder
dan alleen de zelfrijdende auto, om de brede toepassing van de richtlijn te waarborgen.

2.3 Rechtsbescherming tegen grote dataverwerkingsprocessen

Zoals eerder in deze brief benoemd, constateert het procesrechtonderzoek geen lacunes
in het huidige procesrechtelijke kader. Met name door de ruime mogelijkheden die het
civiele recht biedt, is een gang naar de rechter mogelijk bij de onrechtmatige inzet
van data-analyse en het onrechtmatig gebruik van big data.

Belanghebbenden lijken de rechtsingangen ook als voldoende effectief te ervaren voor
rechtszaken in het collectief of algemeen belang. Dit beeld wordt bevestigd door het
groeiende aantal (collectieve) rechtszaken dat de laatste jaren is gevoerd en door
zaken die recent zijn aangebracht.21

Het kabinet constateert dat er al wordt gewerkt aan het verruimen van de mogelijkheden
voor procedures in overeenstemming met de voorstellen uit het procesrechtonderzoek.22

Een deel van de opties uit het procesrechtonderzoek neemt het kabinet echter niet
over:

• Reguleringsopties VIII en XIII, die raken aan een bredere staatsrechtelijke discussie,
waarbij de aangevoerde argumenten over de «big data context» onvoldoende overtuigen
om de eigen argumenten te heroverwegen;

• Reguleringsopties die een te grote inbreuk zouden vormen op de onafhankelijkheid van
de rechter of procespartijen, zoals bijvoorbeeld reguleringsoptie VI die ziet op het
vergroten van de voegingsmogelijkheden voor rechtspersonen in het strafproces;

• Reguleringsopties waarvan het kabinet betwijfelt of die het beoogde effect kunnen
verwezenlijken. Dit betreft onder meer reguleringsoptie IX betreffende het uitbreiden
van de mogelijkheden voor het stellen van prejudiciële vragen.

• Het kabinet vindt echter wel dat drie achterliggende problemen die het onderzoek signaleert
nadere aandacht vragen:

• Vermeende gebrekkige kennis en kunde bij procespartijen of de rechter in bepaalde
zaken. Voldoende kennis en kunde over data-analyse, maar ook bijvoorbeeld algoritmegebruik,
zou de rechtspleging ten goede komen.

Het kabinet zou het dan ook toejuichen als meer deskundigen zich zouden inschrijven
in het Nederlands Register Gerechtsdeskundigen. Het kabinet zal de komende jaren bezien
of er signalen zijn dat procespartijen onvoldoende geëquipeerd zijn om processen te
voeren over (big) data-analyses.

• Burgers weten niet altijd dát er een big data-analyse wordt uitgevoerd, laat staan
wát die behelst. Dan kunnen ze ook niet overwegen of een analyse onrechtmatig is,
om eventueel (collectief) naar een rechter te stappen.

• Het kabinet vindt transparantiebevordering van groot belang en heeft onder paragraaf
2.1 verwezen naar reeds ingezette trajecten om transparantie te bevorderen.

• Het financieren van procedures, met name in het algemeen belang, is soms moeilijk
en kan leiden tot het uitblijven van procedures. Dat vormt voor het kabinet geen reden
om het procesrecht aan te passen, maar wél om, in lijn met reguleringsoptie XI, onderzoek
te doen naar de noodzaak, kosten en vormgeving van een processenfonds.

3. Afsluiting

Met deze onderzoeken en de kabinetsreactie daarop kan het gesprek met uw Kamer over
het beleid en de juridische kaders rondom algoritmen worden voortgezet, mede in het
licht van de reguleringsvoorstellen naar aanleiding van het Witboek Kunstmatige Intelligentie,
die de Europese Commissie naar verwachting in het begin van 2021 zal publiceren, en
het haalbaarheidsonderzoek van de Raad van Europa naar een juridisch raamwerk voor
kunstmatige intelligentie.

De Minister voor Rechtsbescherming, S. Dekker

De Staatssecretaris van Economische Zaken en Klimaat, M.C.G. Keijzer

De Minister van Binnenlandse Zaken en Koninkrijksrelaties, K.H. Ollongren

De Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties, R.W. Knops