Brief regering : Kabinetsreactie op het juridische onderzoeksrapport ‘Algoritmes en grondrechten’ van de Universiteit Utrecht

Nr. 601 BRIEF VAN DE MINISTER VAN BINNENLANDSE ZAKEN EN KONINKRIJKSRELATIES

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 28 maart 2019

In 2018 is verschenen het juridische onderzoeksrapport «Algoritmes en grondrechten»
van de Universiteit Utrecht.1 Het onderzoek is verricht in opdracht van mijn ministerie en biedt een quick scan waarin de (potentiële) gevolgen zijn geanalyseerd van het gebruik van de algoritme-gedreven
technologieën Big Data, Internet of Things en Kunstmatige Intelligentie voor vier
clusters van grondrechten: privacyrechten, gelijkheidsrechten, vrijheidsrechten en
procedurele rechten. Het onderzoeksrapport geeft een belangrijke aanzet voor de beantwoording
van de vraag waar zich serieuze grondrechtelijke knelpunten (kunnen) voordoen als
gevolg van voornoemde technologieën. Ik heb met veel waardering kennis genomen van
het zorgvuldige en gedegen rapport. In reactie erop deel ik u, mede namens de Staatssecretaris
van Binnenlandse Zaken en Koninkrijksrelaties en de Minister voor Rechtsbescherming,
het volgende mee. Kern van het navolgende is de onderkenning dat nieuwe technologieën
relevantie hebben voor vele grondrechten en dat het belang van de effectieve realisering
daarvan door wetgever, bestuur en rechter ook in het digitale tijdperk voorop staat.
Dat betekent onder andere dat wetgeving waar nodig nieuwe knelpunten moet adresseren
en dat het van de overheid bijzondere inspanning vergt ook ten aanzien van het gebruik
van algoritmes de zorgvuldige afweging tussen de bescherming van grondrechten en andere
belangen te blijven bewaken.

Achtergrond van de onderzoeksopdracht

Sinds oudsher zijn mens en techniek met elkaar verbonden. De ontwikkeling en toepassing
van nieuwe (digitale) technologieën hebben altijd kansen en risico’s met zich gebracht,
zowel voor mens en samenleving, als voor de later opgekomen financiële markten en
het functioneren van de staat als democratische rechtsstaat. Vele studies daarover
zijn verschenen, waaronder het in opdracht van mijn ministerie uitgebrachte rapport
«Opwaarderen» van het Rathenau Instituut in 2017.2 In dat rapport werd beschreven hoe de razendsnelle ontwikkeling en samenloop van
vele technologieën heeft geleid tot een nieuwe fase in de digitale samenleving, waarin
fysieke en digitale wereld onlosmakelijk met elkaar zijn verbonden. Big Data, Internet
of Things (hierna: IoT) en Kunstmatige Intelligentie (hierna: AI)3 zijn belangrijke drijvers van dit proces van digitalisering en kunnen het dagelijks
leven van mensen en het functioneren van bedrijven en overheden aanzienlijk beïnvloeden.
Daarmee kan ook de bescherming van grondrechten in het geding zijn. Daarop wijzen
behalve het Rathenau Instituut, ook andere commissies en instituten, zoals reeds de
Commissie grondrechten in het digitale tijdperk (2000), de Staatscommissie Grondwet
(2010) en later de Wetenschappelijke raad voor het regeringsbeleid (WRR; 2016) en
Van Est en Gerritsen (2017).4 In die onderzoeksrapporten stonden overwegend centraal de gevolgen van technologieën
voor de relationele en informationele privacy en gegevensbescherming, waarbij de twee
eerstgenoemde commissierapporten zich voornamelijk concentreerden op de vraag of bestaande
grondwettelijke grondrechten aanpassing behoefden en of er nieuwe grondrechten zouden
moeten worden opgenomen in de Grondwet. Laatstbedoelde rapporten hebben – hoe waardevol
ook – niet geleid tot voorstellen tot aanpassingen van de Grondwet, behoudens het
in eerste lezing aanvaarde voorstel voor een techniekonafhankelijk brief- en telecommunicatiegeheim.5 Een specifiek op Nederland gerichte juridische en systematische studie naar de gevolgen
van (de nieuwe) technologieën op andere grondrechten dan privacy, briefgeheim en gegevensbescherming
ontbrak. De onderzoekers is daarom gevraagd door middel van een quick scan bij te dragen aan de vulling van dat hiaat. De aanzet daartoe is nu gegeven met het
onderzoeksrapport «Algoritmes en grondrechten» (2018).6

Opzet en samenvatting onderzoek

In het eerste hoofdstuk van hun rapport schetsten de onderzoekers een overzicht van
het functioneren van de drie technologieën Big Data, IoT en AI en de slimme algoritmes
als gemeenschappelijke deler daarvan (hoofdstuk I). Daarna volgt in Hoofdstuk II het
grondrechtelijk kader dat centraal staat in dit onderzoek: privacy-rechten, vrijheidsrechten,
gelijke behandelingsrechten en procedurele rechten. Hoofdstuk III vormt de kern van
het onderzoek en gaat in op de impact van genoemde technologieën op voornoemde grondrechten.
Daarbij wordt specifiek besproken welke technologische toepassing op welke manier
tot grondrechtelijke spanningen of problemen leidt of kan leiden. Tot slot wordt in
het samenvattende hoofdstuk IV een aanzet gegeven voor de vraag waar zich de grootste
grondrechtelijke knelpunten (kunnen) voordoen.

Samenvattend signaleren de onderzoekers een breed palet aan grondrechtelijke knelpunten,
die voortkomen uit de brede impact die algoritmes en daarop berustende technologieën
kunnen hebben op verschillende aspecten van mensenlevens, al dan niet in combinatie
met het vaak weinig transparante karakter van deze algoritmes. Daarnaast speelt mee
dat grondrechten een ruim toepassingsbereik hebben, waardoor de (negatieve) gevolgen
van het gebruik van algoritmes al snel binnen de reikwijdte van deze grondrechten
vallen.7 De onderzoekers wijzen er op dat het lastig is enige rangorde in ernst van knelpunten
aan te geven, vanwege de samenhang van de grondrechtenclusters en de sterke continue
ontwikkeling van de technologieën. Toch wijzen zij op twee eruit springende, belangrijkste
grondrechtelijke knelpunten, namelijk op het terrein van gelijke behandeling en procedurele
rechten.8 Bij deze grondrechten(clusters) staat de effectieve waarborging ervan onder druk
vanwege de vooringenomenheid (bias)9 en ondoorzichtigheid van algoritmes. Daarom zien de onderzoekers als belangrijke
opgave de vergroting van de neutraliteit en transparantie van algoritmes.10 Verschillende actoren spelen daarbij een rol, waaronder voornamelijk de wetgever,
het bestuur en de rechter.11

Belang grondrechten en verantwoordelijke actoren

In reactie op de onderzoeksresultaten stel ik graag het belang van grondrechten en
de effectieve realisering daarvan door wetgever, bestuur en rechter voorop, zoals
ik ook uiteen heb gezet in mijn reactie op het jaarrapport van het College voor de
rechten van de mens.12 Dit is in het digitale tijdperk niet fundamenteel anders.13 Digitale technologieën kunnen bijdragen aan de realisering van grondrechten, bijvoorbeeld
de vrije meningsuiting, informatiegaring, demonstratierecht en een efficiënte, betere
gezondheidszorg. Door sociale media kunnen burgers bijvoorbeeld sneller hun mening
uiten, en gelijkgestemden elkaar vinden, en door online tools kunnen journalistieke
media als Bellingcat meer informatie boven tafel krijgen. Tegelijkertijd kunnen technologische
toepassingen ook leiden tot inperkingen van grondrechten, wat bij het handelen door
de overheid onder omstandigheden geboden en gerechtvaardigd kan zijn als wordt voldaan
aan een aantal strikte voorwaarden, zoals proportionaliteit. Daarbij roepen door overheid
en private actoren ingezette technologieën, in het bijzonder slimme algoritmes, ook
nieuwe en indringende grondrechtelijke knelpunten op, zoals het onderzoek «Algoritmes
en grondrechten» overtuigend aantoont. Ook bij de adressering van die knelpunten kunnen
technologieën een nuttige functie vervullen en spelen wetgever, bestuur en rechter
een cruciale rol. Deze knelpunten en de overheidsinzet bij de adressering daarvan
bespreek ik hierna. Daarbij staan centraal neutraliteit, non-discriminatie, transparantie
en procesrecht, het belang van gegevensbescherming voor de bescherming van (andere)
grondrechten en de rol van wetgever en bestuur.

Neutraliteit, bias en non-discriminatie

Een belangrijke zorg van de onderzoekers is dat algoritmes niet objectief zijn, maar
altijd een bias in zich hebben, wat kan leiden tot een ongerechtvaardigd onderscheid tussen (groepen)
personen. Dit risico van bias doet zich voor in het gelijke behandelingsrecht (in het kader van bijvoorbeeld recruitment,
sociale zekerheid, marketing, verzekeraars en kredietverlening), maar ook bij andere
grondrechten, zoals het demonstratierecht, de vrijheid van vereniging, toegang tot
informatie, en het passief kiesrecht. In die gevallen kunnen er gevolgen zijn voor
de uitoefening van grondrechten door bias in de manier waarop persoonsgegevens worden verwerkt. Door een vooringenomen risicoprofiel
kan men bijvoorbeeld uitgesloten worden van deelname aan een bepaalde vereniging,
een demonstratie of een politieke partij. Dat kan algoritmische discriminatie opleveren
die lastig is te bestrijden, onder andere omdat de (soms gemaskeerde) ondoorzichtigheid
en complexiteit van algoritmes het voor betrokkenen moeilijk maken om vast te stellen
hoe en op welke gronden onderscheid wordt gemaakt door het systeem.14

Ik hecht eraan dat het discriminatieverbod zoals onder andere vastgelegd in artikel
1 Grondwet en is uitgewerkt in de gelijke behandelingswetgeving ook effectief kan
worden gehandhaafd bij de toepassing van algoritme-gedreven technologieën. Een oplossingsrichting
voor de genoemde knelpunten zal moeten worden bezien in de combinatie van het gelijke
behandelingsrecht en het databeschermingsrecht. Dit laatste is verankerd in onder
andere artikel 10 lid 2 en 3 van de Grondwet, artikel 8 van het Handvest van de Grondrechten
van de EU en de Algemene Verordening Gegevensbescherming (AVG).

Met name de AVG biedt hier een aantal relevante aanknopingspunten. De AVG stelt regels
inzake bescherming van de grondrechten en de fundamentele vrijheden van natuurlijke
personen in verband met de verwerking van persoonsgegevens, in alle maatschappelijke
sectoren voor overheden en bedrijven, waaronder ook verwerkingen van persoonsgegevens
die plaatsvinden in het kader van Big Data, AI of het IoT, en verwerkingen waarbij
gebruik wordt gemaakt van geautomatiseerde besluitvorming. Zo is volgens artikel 9
AVG de verwerking van bijzondere persoonsgegevens (zoals godsdienst, etniciteit, etc.)
in principe verboden, tenzij uitzonderingen zijn aangewezen. Ook vermeldt overweging
71 van de AVG dat verwerkingsverantwoordelijken als waarborg «passende wiskundige
maatregelen» moeten nemen om bijvoorbeeld discriminatie te voorkomen. Daarnaast moeten
bij het maken van een Privacy Impact Assessment, op grond van artikel 35 AVG, voorafgaande
aan de gegevensverwerking altijd de mogelijke effecten op de rechten en vrijheden
van data subjecten worden onderzocht. Dit kan helpen om discriminatieproblemen bij
de toepassing van algoritmes aan de voorkant te voorkomen.15 Op grond van artikel 15 AVG kunnen toegangsrechten mensen van wie gegevens zijn verwerkt,
helpen achteraf te beoordelen of hun gegevens op de juiste manier zijn verwerkt en
eventueel helpen om discriminatie bloot te leggen.

Regelgeving, technologiebestendigheid daarvan en uitvoering behoeven echter voortdurend
aandacht. Bias bij algoritmes is dan ook een uitgesproken zorg van overheidsorganisaties, blijkt
uit het in opdracht van mijn ministerie door het CBS uitgevoerde onderzoek naar algoritmegebruik
bij de overheid.16 En daarom verkent de Minister voor Rechtsbescherming momenteel de mogelijkheid van
aanvullende wettelijke waarborgen bij big data toepassingen door de overheid. Verder
onderzoekt het kabinet de toepassing van anti-discriminatiewetgeving en het databeschermingsrecht
bij het gebruik van algoritmes. Daarbij richt het zich op de vraag wat nodig is om
voldoende bescherming in deze nieuwe situatie te bieden, hoe deze bescherming eruit
moet zien, en hoe de bepalingen uit het gegevensbeschermingsrecht zich verhouden tot
de anti-discriminatiewetgeving en wat de consequenties daarvan zijn voor handhaving.
Het kabinet realiseert zich de rol die ook de Autoriteit persoonsgegevens en het College
voor de rechten van de mens hierin hebben ten aanzien van de naleving van respectievelijk
het databeschermingsrecht en het gelijke behandelingsrecht en hun onderlinge verhouding.
Het 25-jarig jubileum van de Algemene wet gelijke behandeling dit najaar wil ik aangrijpen
om aandacht te besteden aan de toekomstbestendigheid van deze wetgeving in het licht
van de nieuwe algoritme-gedreven technologieën.

Transparantie en het eerlijk procesrecht

Transparantie van algoritmes is het tweede belangrijke en terugkerend thema in het
onderzoek. Zo maken de steeds complexere slimme algoritmes het moeilijker voor betrokkenen
en derden, zoals toezichthouders, te controleren of algoritmes en analysemethoden
niet onbedoeld discrimineren of andere schadelijke neveneffecten hebben. Transparantievraagstukken
spelen ook bij vrijheidsrechten en procedurele rechten. Ten aanzien van vrijheidsrechten
kan informatie via zoekmachines en sociale media bijvoorbeeld zo gepresenteerd worden
dat de politieke meningsvorming van burgers beïnvloed wordt zonder dat zij daar zicht
op hebben. Wat betreft procedurele rechten geldt dat een beslissing lastiger aanvechtbaar
is als niet voldoende duidelijk is op grond waarvan die beslissing is genomen en dat
burgers een ongelijke procespositie kunnen hebben als zij geen inzicht hebben in de
achtergrond van de zaken die in het proces worden besproken.

De onderzoekers hebben hier een tweede zeer relevant vraagstuk aangesneden, waarvoor
inmiddels de nodige aandacht aanwezig is. Zo heeft de Minister voor Rechtsbescherming,
mede namens de Staatssecretaris van Binnenlandse zaken, op 9 oktober 2018 een brief
naar de Tweede Kamer gestuurd,17 waarin wordt ingegaan op de transparantie van algoritmes in gebruik bij de overheid
en de verplichtingen die daaromtrent voortvloeien uit de AVG. Daarnaast is het thema
geadresseerd door de Afdeling advisering van de Raad van State18 en in de kabinetsreactie op haar advies, waarin is beschreven hoe we de benodigde
transparantie verder kunnen verbeteren.19 Daarbij is ook gewezen op een verruimde interpretatie van de algemene beginselen
van behoorlijk bestuur en op de recente bestuursrechtspraak. Daaruit blijkt dat een
bestuursorgaan zorg moet dragen voor de inzichtelijkheid en controleerbaarheid van
de keuzes, aannames en gegevens bij een geautomatiseerd proces dat geheel of ten dele
de grondslag vormt voor een besluit, zodat de belanghebbende de juistheid van de bij
dat geautomatiseerde proces gemaakte keuzes en van de daarbij gebruikte gegevens en
aannames kan controleren en zo nodig gemotiveerd betwisten.20

Voorts werkt een interdepartementale werkgroep aan het opstellen van richtlijnen voor
het inzichtelijk maken van algoritmes die de overheid gebruikt, ten behoeve van toezichthouders
en de rechtspraak, en van richtlijnen ten behoeve van publieksvoorlichting over big
data toepassingen door de overheid. Ook is mijn ministerie volop bezig met een brede
dialoog over publieke waarden – waaronder transparantie – en mensenrechten en de waarborging
hiervan in de informatiesamenleving.21 Deze dialogen worden gevoerd met burgers, bedrijfsleven en wetenschap.

Toegenomen belang van databeschermingsrecht voor bescherming grondrechten

Zoals hiervoor is gebleken, levert het databeschermingsrecht – met name de AVG – belangrijke
aanknopingspunten voor het verhelpen van de grondrechtelijke knelpunten inzake non-discriminatie
en procedurele rechten waar de onderzoekers terecht de vinger op leggen. Mede door
de snelle technologische ontwikkeling is het van belang om regelmatig te beoordelen
of de (U)AVG nog voldoende bescherming en rechtszekerheid biedt. Die beoordeling zal
plaatsvinden met de formele evaluatie van de AVG en de UAVG, die respectievelijk uiterlijk
25 mei 2020 en 25 mei 2021 moeten zijn afgerond. Ook overigens zal het kabinet de
ontwikkelingen rond het databeschermingsrecht nauwgezet volgen, mede ter uitvoering
van de motie-Koopmans c.s.,22 waarin de regering wordt verzocht de ervaringen met betrekking tot de UAVG te inventariseren
en in het licht daarvan zo nodig maatregelen te treffen.

Aandacht voor ICT bij inperkingen grondrechten en constitutionele toets ex ante

Het onderzoek «Algoritmes en grondrechten» laat zien dat gebruikmaking van algoritme-gedreven
technologieën kan leiden tot (onvoorziene) inperkingen van grondrechten. Dergelijke
gevolgen zijn op zich zelf niet nieuw aan de inzet van nieuwe technologieën, maar
behoeven wel extra aandacht. Inperkingen kunnen onder omstandigheden zijn geboden
en gerechtvaardigd, mits wordt voldaan aan een aantal strikte grondrechtelijke voorwaarden.
Deze komen in essentie neer op de eis van toegankelijke en voorzienbare wetgeving
die een of meer vastgestelde legitieme doelen dient en proportioneel is. Ook bij de
inzet van nieuwe technologieën, de vorming van beleid en de voorbereiding van nieuwe
regelgeving dient daarmee rekening te worden gehouden. Ten behoeve daarvan kunnen
dienstig zijn de vele institutionele mechanismen en instrumenten die zijn ontwikkeld
in het kader van de constitutionele toets ex ante, waarvan de resultaten hun weerslag
(dienen te) vinden in de memorie van toelichting bij wetgeving en in BNC Fiches.23 In de Handreiking toetsing aan hoger recht die ik dit voorjaar zal uitbrengen voor
betrokkenen binnen de rijksdienst zal expliciete aandacht worden besteed aan de relevantie
van het toetsingskader voor de inperking van grondrechten door middel van algoritme
gedreven-technologieën bij overheidsbevoegdheden. Mede in het kader van de proportionaliteit
van de inzet van nieuwe technologieën kan periodieke evaluatie ervan zijn aangewezen,
evenals het gebruik van tijdgebonden en specifiek geformuleerde experimenteerwetgeving
of, in situaties van ingrijpender aard, de opneming van een horizonbepaling. Dergelijke
voorzieningen zijn niet nieuw, maar behoeven bewuste overweging in het geval van de
zich snel en zichzelf ontwikkelende technologieën waarvan overheid en bedrijfsleven
gebruik maken.

Bescherming andere grondrechten, onderzoek en de rol van het bestuur

De onderzoekers benoemen nog een aantal minder urgente, maar wel belangrijke knelpunten,
zoals op het gebied van de menselijke autonomie, die mogelijk onder druk komt te staan
als met behulp van slimme technologieën gedrag wordt voorspeld en beïnvloed, of de
relatie tussen slimme huis- en eHealth applicaties en de bescherming van de woning
en de lichamelijke integriteit als specificaties van het algemene privacyrecht. Ook
deze thema’s verdienen nadere aandacht. Het kabinet bereidt een visie voor op de bescherming
van de horizontale privacy met een aantal maatregelen om de bescherming daarvan te
verbeteren. Tot slot noemen de onderzoekers terecht ook de rol van het bestuur bij
de bescherming van grondrechten. Het is belangrijk dat elke overheidslaag bekend is
met de belangrijkste waarden en rechten bij de toepassing van nieuwe technologie.
Daarom ontwikkelt mijn ministerie een toolbox rondom principes voor verantwoord innoveren bij de overheid. Deze toolbox is samengesteld op basis van de laatste inzichten in het veld en geeft overheidsorganisaties
handvatten om zelf werk te maken van verantwoorde innovatie.

Overigens zal in de verschillende onderzoeken steeds ook worden gekeken naar de manier
waarop de nieuwe technologieën de grondrechtelijke bescherming juist kunnen vergroten.
In sommige gevallen zouden algoritmes kunnen helpen om bijvoorbeeld op een meer transparante
manier besluiten te nemen, of om menselijke vooroordelen inzichtelijker te maken en
uit te sluiten. Zo werkt de High Level Expert Group on AI in Europa aan ethische principes
voor het gebruik van AI (onlangs ging een eerste versie in consultatie), werkt het
kabinet aan een nationale AI strategie, heeft het kabinet de WRR om advies gevraagd
over de invloed van AI op publieke waarden, werkt de Minister voor Rechtsbescherming
samen met de andere departementen aan diverse trajecten in reactie op het WRR onderzoek
«Big data in een vrije en veilige samenleving,» en werkt mijn ministerie met enkele
andere departementen aan een beleidsvisie op AI en publieke waarden.

Tot slot

De samenleving verandert steeds sneller in de 21ste eeuw. Dat gebeurt door technologie zoals Big Data, IoT en AI, maar ook door de economische
en maatschappelijke veranderingen die mede als gevolg van die nieuwe technologie plaats
vinden.24 Bij veel van deze nieuwe technologieën spelen algoritmes een centrale rol. Zij kunnen
dienstig zijn aan mens en samenleving, maar ook risico’s met zich brengen. Grondrechten
kunnen hiervan profiteren of juist nadeel ondervinden. Het quick scan-onderzoek «Algoritmes en grondrechten» maakt inzichtelijk in hoeverre grondrechten
geraakt worden door nieuwe technologische ontwikkelingen en waar zich – vooral ook
buiten het privacyrecht – knelpunten (kunnen) voordoen, namelijk bij non-discriminatie
en procedurele rechten. Dat is een belangrijke toevoeging aan het politiek en maatschappelijk
debat, de bestuurspraktijk en de vorming van beleid en wetgeving. Oplossingsrichtingen
blijken deels aanwezig en zijn deels in ontwikkeling, zoals in de vele trajecten rond
het databeschermingsrecht. Het onderzoeksrapport helpt nadere focus en diepgang daarbij
aan te brengen. Op de vraag of de grondwettelijke grondrechten als zodanig aanpassing
behoeven om hun rechtsbeschermende functie te kunnen blijven waarmaken, beoogt het
quick-scan onderzoek geen antwoord te geven en doet dat dan ook niet. Daarvoor is op enig moment
vervolgonderzoek vereist. Dat hoeft niet op de korte termijn, gelet op de vele ontwikkelingen
die nog gaande zijn op het terrein van Big Data, IoT, AI en algoritmes. Dit verdient
echter een continue vinger aan de pols, en in een later stadium opnieuw overweging.

De Minister van Binnenlandse Zaken en Koninkrijksrelaties, K.H. Ollongren