Antwoord schriftelijke vragen : Antwoord op vragen van het lid Van Baarle over gemeenten die mogelijk discriminerende algoritmen gebruiken

Antwoord van Staatssecretaris Knops (Binnenlandse Zaken en Koninkrijksrelaties) (ontvangen
3 juni 2021).

Vraag 1

Kent u het bericht «Rekenkamer Rotterdam: risico op vooringenomen uitkomsten door
gebruik algoritmes»?1

Antwoord 1

Ja, het bericht is mij bekend.

Vraag 2

Aan welk wettelijk kader dienen gemeenten zich te houden bij het gebruik van algoritmes?
Op welke kenmerken mag wel geselecteerd en gecontroleerd worden en op welke kenmerken
niet? Kunt u dit zo uitgebreid mogelijk omschrijven?

Antwoord 2

Het is belangrijk dat de inzet van algoritmen binnen het kader van de wet gebeurt.
Een gemeente moet bij het handelen zorgen dat de mensenrechten, zoals neergelegd in
onze Grondwet en in internationale verdragen worden nageleefd. Het verbod op discriminatie
is één van deze mensenrechten. Het recht op een gelijke behandeling is verder uitgewerkt
in de Algemene wet gelijke behandeling (Awgb) en een aantal specifieke wetten, zoals
de Wet gelijke behandeling op grond van leeftijd, de Wet gelijke behandeling van mannen
en vrouwen en de Wet gelijke behandeling op grond van handicap of chronische ziekte.
Daarnaast is de Algemene wet bestuursrecht (Awb) van toepassing op het nemen van besluiten
door een gemeente. Dat geldt ook als daarvoor algoritmen worden ingezet. Ook dan moeten
besluiten zorgvuldig worden voorbereid en goed worden gemotiveerd. Met de «Richtlijnen
voor het toepassen van algoritmen door overheden en publieksvoorlichting over data-analyses»
worden handvatten gegeven om invulling te geven aan de algemene beginselen van behoorlijk
bestuur. De richtlijnen zijn vooral gericht op de transparantie en daarmee de uitlegbaarheid
van algoritmen, de werking en toepassing daarvan, bedoeld om het inzicht te vergroten
alsmede de kwaliteit en betrouwbaarheid van algoritmen te verbeteren. De richtlijnen
zijn een hulpmiddel en zijn vooralsnog niet verplicht. Tot slot stelt de Algemene
verordening gegevensbescherming (AVG) eisen aan het verwerken van gegevens. Die verbiedt
het gebruik van bijzondere persoonsgegevens, zoals etniciteit of levensovertuiging,
tenzij daar een uitzondering voor is, zoals een wettelijke grondslag.

Het in gelijkebehandelingswetgeving neergelegde verbod van onderscheid geldt niet
ten aanzien van indirect onderscheid als dat onderscheid objectief gerechtvaardigd wordt door een legitiem
doel en de middelen voor het bereiken van dat doel passend en noodzakelijk zijn. Direct
onderscheid is in principe verboden. Wel zijn in de verschillende wetten een paar
bijzondere uitzonderingen opgenomen, die per discriminatiegrond verschillen. Bij direct
onderscheid wordt onderscheid gemaakt op grond van afkomst of huidskleur, geslacht,
seksuele gerichtheid, leeftijd, godsdienst, handicap, levensovertuiging, politieke
gezindheid en burgerlijke staat.

Het is niet toegestaan om deze gronden te gebruiken in modellen en algoritmische data-analyses
tenzij er een objectieve rechtvaardiging voor is en het gemaakte onderscheid proportioneel
is. Dit geldt ook voor kenmerken die indirect verwijzen naar deze beschermde gronden.

Vraag 3 en 4

Sinds wanneer is het gebruik van etniciteit, nationaliteit en afkomst verboden in
de toepassing op risicoselectie en risicoprofilering? In welke gevallen is dit verboden
en in welke gevallen niet?

Kunt u uitsluiten dat gemeenten etniciteit, afkomst of nationaliteit gebruiken als
indicator bij risicoselectie of risicoprofilering? Zo ja, op basis waarvan? Zo nee,
hoe gaat u dit uitsluiten?

Antwoord 3 en 4

Het is niet toegestaan om nationaliteit en etniciteit te gebruiken als indicator in
risicomodellen voor fraudebestrijding, tenzij er een objectieve rechtvaardiging voor
die gegevensverwerking is, er een wettelijke basis is, en het gemaakte onderscheid
proportioneel is. Een algemeen verbod op ieder direct of indirect gebruik van nationaliteit
of etniciteit bij risicoprofilering in de wetshandhaving gaat te ver en zou het rechtmatige
gebruik in gevaar kunnen brengen. Daarvan is bijvoorbeeld sprake als de regelgeving
een rechtmatig onderscheid maakt op nationaliteit, zoals dat soms gebeurt in de belastingregelgeving.
Als iemand met de Nederlandse nationaliteit in Nederland heeft gewoond en Nederland
(definitief) heeft verlaten, wordt hij voor de schenk- en erfbelasting geacht nog
tien jaar in Nederland te wonen (artikel 3 Successiewet). Deze wetsfictie geldt alleen
voor personen met de Nederlandse nationaliteit. Deze regels moeten ook worden gehandhaafd.
En daarbij speelt nationaliteit dan ook een rol.

Er vindt momenteel een rijksbrede inventarisatie plaats naar het onrechtmatig (niet
volgens geldende wet- en regelgeving toegestane) en het oneigenlijk (niet objectief
gerechtvaardigd) gebruik van nationaliteit, etniciteit en geboorteplaats in risicomodellen.
Als gegevens zijn gebaseerd op onrechtmatig en oneigenlijk gebruik in risicomodellen,
dan worden deze gegevens beschouwd als vervuilde data en worden deze opgeruimd door
de overheidsinstellingen zelf. Gemeenten en andere overheidsinstellingen zijn bij
deze inventarisatie betrokken in zoverre zij onderdeel zijn van de ketens en dienstverleningsprocessen
aan burgers en bedrijven. Op 8 april jl. zond ik uw Kamer hierover een brief.2 De rijksbrede inventarisatie is een uitwerking van de motie van het lid Marijnissen
(SP) c.s. om voor 1 maart een voorstel te doen hoe overal binnen overheidsinstellingen
vervuilde data, risicomodellen en het gebruik van nationaliteit worden opgeruimd met
inachtneming van de motie van het lid Klaver (GroenLinks) c.s. om hierbij niet alleen
te kijken naar nationaliteit, maar ook naar etniciteit en geboorteplaats.

Vraag 5

Deelt u de zorg van de Rekenkamer Rotterdam, namelijk dat op een indirecte manier,
door indicatoren te gebruiken die correleren met afkomst en etniciteit, afkomst en
etniciteit alsnog een rol spelen bij selectie door algoritmen? Zo ja, op welke manier
gaat u dergelijk gebruik van algoritmen in de toekomst voorkomen? Zo nee, waarom niet?

Antwoord 5

Ik deel die zorg. Het gebruik van directe beschermde gronden is het meest zichtbaar.
Het gebruik van kenmerken die indirect verwijzen naar een beschermde grond is lastiger
te herkennen. In het voorbeeld van de Rekenkamer Rotterdam wordt spreekvaardigheid
genoemd als een kenmerk dat indirect kan verwijzen naar iemands afkomst of etniciteit.
Om overheden en bedrijven te ondersteunen bij het voorkomen van discriminatie – zowel
door direct als door indirect onderscheid – heeft het kabinet de Handreiking AI-systeemprincipes
voor non-discriminatie laten ontwikkelen. De handreiking bevat een handzaam overzicht
van de belangrijkste non-discriminatiewetgeving en allerlei voorbeelden van direct
en indirect onderscheid die mogelijk kunnen leiden tot discriminatie. De handreiking
helpt om al in de ontwikkelfase van een AI-systeem – met algoritmen – discriminerende
patronen in gegevens zoveel mogelijk te identificeren, te voorkomen en te bestrijden.
In de handreiking is een vertaalslag gemaakt van essentiële juridische kaders naar
operationele ontwerpprincipes. Binnenkort zal mijn ministerie daarnaast een impact
assessment mensenrechten en algoritmen (IAMA) publiceren. Dit impact assessment helpt
overheden om risico’s voor mensenrechten (waaronder non-discriminatie) bij de ontwikkeling
van systemen in kaart te brengen en te mitigeren. Verschillende instrumenten voor
een verantwoorde inzet van algoritmen komen samen in de toolbox ethisch verantwoord
innoveren voor overheden.3

Tot slot wijs ik er op dat de gemeente Rotterdam al het een en ander doet om algoritmen
verantwoord in te zetten onder o.a. in het project «Public AI in Control» dat de Rekenkamer
Rotterdam als goed voorbeeld benoemt. In het tweede deel van de beantwoording van
vraag 9 kom ik daar kort op terug.

Vraag 6 en 7

Bent u bereid om bij alle gemeenten na te gaan of een dergelijke indirecte benadering
van afkomst of etniciteit (bewust of onbewust) wordt toegepast? Zo ja, wat is hiervan
de uitkomst? Zo nee, waarom niet?

Kunt u aangeven welke indicatoren door gemeenten gebruikt worden in algoritmen die
benut worden in de sfeer van risicoselectie/risicoprofilering?

Antwoord 6 en 7

Ik vind dit het verantwoordelijkheidsdomein van de gemeenteraad/College van burgemeester
en Wethouders, lokale toezichthouders en Rekenkamers. Daarnaast wijs ik graag op de
rijksbrede inventarisatie in de beantwoording van vragen 3 en 4. In deze inventarisatie
zijn ook gemeenten betrokken indien zij onderdeel uitmaken van de ketens en dienstverleningsprocessen
aan burgers en bedrijven.

Vraag 8

Deelt u de constatering dat er mogelijk vooringenomen uitkomsten kunnen zijn indien
er te weinig regelgeving is omtrent welke indicatoren wel en welke indicatoren niet
benut mogen worden bij risicoselectie door algoritmen? Zo ja, bent u bereid dit wettelijk
kader aan te scherpen? Zo nee, waarom niet?

Antwoord 8

Het kabinet heeft in de kabinetsreactie op drie algoritmeonderzoeken geconcludeerd
dat algoritmen niet in een juridisch vacuüm vallen.4 Meer specifiek op het gebied van non-discriminatie zijn beschermde gronden vastgelegd
in de Grondwet en deze bepalingen zijn uitgewerkt in verschillende wetten, zoals de
Algemene wet gelijke behandeling (Awgb). Het kabinet stelt wel vast dat wet- en regelgeving
veel open normen bevatten en dat deze beter toepasbaar moeten worden gemaakt voor
de praktijk. De hiervoor genoemde Handreiking AI-systeemprincipes voor non-discriminatie
en het impact assessment mensenrechten en algoritmen (IAMA) kunnen hier een praktische
invulling aan geven.

Op 25 februari jl. is door de initiatiefnemers een wijziging van artikel 1 van de
Grondwet ingediend voor tweede lezing. In dit voorstel zijn twee extra gronden opgenomen,
namelijk handicap en seksuele geaardheid. Daarnaast merk ik op dat het kabinet actief
bijdraagt aan de ontwikkeling en uitwerking van het voorstel van de Europese Commissie
voor een Verordening over AI en algoritmen. Het BNC-fiche daarover wordt binnenkort
aan Uw kamer gezonden.

Vraag 9

Deelt u de conclusies van de Rekenkamer Rotterdam, dat de interne en externe transparantie
van het gebruik van algoritmen verbeterd dient te worden? Zo ja, bent u bereid om
hier bij alle gemeenten op aan te dringen en hoe gaat u bewerkstelligen dat gemeenten
op dit vlak beterschap gaan vertonen? Zo nee, waarom niet?

Antwoord 9

Ik deel in algemene zin het belang van transparantie bij het gebruik van algoritmen.
Het kabinet zal bezien of in aanvulling op de bestaande transparantieverplichtingen
die voortvloeien uit de Algemene wet bestuursrecht en de AVG, aanvullende wettelijke
waarborgen nodig zijn die o.a. beogen om het publiek beter te infomeren over de inzet
van algoritmen. Deze richtlijnen zullen nadrukkelijk onder de aandacht gebracht worden
van overheidsorganisaties.

De gemeenten zijn zelf verantwoordelijk om een overzicht te hebben van algoritmen
die worden ingezet. Vanuit mijn verantwoordelijkheid voor de digitale overheid wordt
vanuit BZK onderzoek gedaan naar de nut- en noodzaak van een algoritmeregister. De
gemeente Rotterdam experimenteert hiermee. Daarnaast zijn er ook proeven in Amsterdam,
Utrecht en de provincie Zuid-Holland. In een dergelijk register worden algoritmen
opgenomen die voor burgers en toezichthouders in te zien zijn. Een register kan informatie
verschaffen over het type algoritmen, maar ook over de data die gebruikt zijn. Ook
kan zo’n register een statusoverzicht geven van de kwaliteitseisen die toegepast zijn
en de vermelding van de verantwoordelijke functionaris waar burgers terecht kunnen
met vragen. Het is belangrijk dat een algoritmeregister aansluit bij de behoeften
van burgers. Ik kom hier op terug in de brief aan uw Kamer die medio juni verschijnt
en bericht over de voortgang van moties die ingediend zijn tijdens het debat over
het rapport van de Parlementaire Ondervragingscommissie Kinderopvangtoeslag.

Vraag 10

Is er een toezichthoudend orgaan op de toepassing van algoritmen door gemeenten? Zo
nee, bent u bereid om een dergelijk toezichthoudend orgaan in te richten?

Antwoord 10

Voor burgers is het van belang dat ze kunnen vertrouwen op goed werkende interne en
externe controlemechanismen. Onafhankelijk toezicht is daar een onderdeel van. Ook
moeten burgers laagdrempelig terecht kunnen bij een instantie met klachten over het
gebruik van algoritmen.

De gemeentelijke rekenkamers spelen een rol door hun bevoegdheid om achteraf onafhankelijk
onderzoek te doen en burgers kunnen voor klachten terecht bij de nationale of de gemeentelijke
ombudsman. Ook kunnen burgers terecht bij een gemeentelijke anti-discriminatievoorziening
(adv). Een adv heeft tot taak om onafhankelijke bijstand te verlenen aan personen
bij de afwikkeling van hun klachten betreffende onderscheid als bedoeld in de gelijke
behandelingswetgeving.

Er is een breed scala aan toezichthouders actief die toezien op algoritmen, zoals
het College voor de Rechten van de Mens, de Autoriteit Persoonsgegevens en de Autoriteit
Consument en Markt die ook toezicht houden op gemeenten. Bij het grootste deel van
de toezichthouders is toenemende aandacht voor toezicht op algoritmen. Voor toezicht
specifiek op de overheid is geconcludeerd dat er geen juridische lacunes zijn in de
toezichtstaken en -bevoegdheden met betrekking tot algoritmegebruik. Een nieuwe toezichthouder
wordt vooralsnog dan ook niet noodzakelijk geacht. Wel is het van belang voor zowel
publiek als privaat toezicht dat toezichthouders vanuit hun eigen expertise en toezichtdomein
toezicht houden. Daarbij is samenwerking van groot belang. In het voorjaar van 2020
is door toezichthouders de werkgroep toezicht op AI opgericht. Deze werkgroep draagt
eraan bij dat de samenwerking tussen toezichthouders een meer structurele vorm krijgt.