Antwoord schriftelijke vragen : Antwoord op vragen van het lid Leijten over het gebruik van algoritmes door decentrale overheden

Antwoord van Minister Bruins Slot (Binnenlandse Zaken en Koninkrijksrelaties), mede
namens de Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties (ontvangen
11 maart 2022).

Vraag 1

Kunt u aangeven aan welke regels en voorwaarden algoritmes moeten voldoen als deze
gebruikt worden door decentrale overheden en andere overheidsinstanties?1

Antwoord 1

De overheid is gebonden aan mensenrechten en wetgeving zoals de Algemene verordening
gegevensbescherming (AVG), de Algemene wet gelijke behandeling en Algemene wet bestuursrecht.
De overheid is verder gebonden aan domeinspecifieke wetgeving zoals die op het terrein
van de sociale zekerheid. De inzet van algoritmen, maar ook van andere technologieën,
moet in lijn zijn met de geldende wetten en regels. De Europese Commissie werkt daarnaast
aan nieuwe wetgeving voor de toepassing van AI-systemen. Belangrijk is dat de technologie
zelf op een behoorlijke manier werkt, zodat mensenrechtenschendingen door die technologie
worden voorkomen. In elke fase van de levenscyclus (ontwerpen, bouwen, testen, gebruiken
en monitoren) van AI-systemen moet daarom aandacht zijn voor de mensenrechten. De
AI-verordening biedt daartoe mogelijkheden. Toepassingen met onaanvaardbare risico’s
voor de mensenrechten zijn verboden. Aan hoog-risico toepassingen worden eisen gesteld
die er voor moeten zorgen dat systemen veilig zijn en mensenrechten respecteren: er
worden bijvoorbeeld eisen gesteld aan de data, de accuraatheid van het systeem, de
mogelijkheid van menselijk toezicht en cybersecurity. Met een ex ante conformiteitsbeoordeling
moeten aanbieders van zulke hoog-risico toepassingen aantonen dat het AI-systeem werkt
volgens de regels. Voor AI-systemen die bedoeld zijn om interactie te hebben met natuurlijke
personen of content genereren, zoals bots of deepfakes, gaan transparantieverplichtingen
gelden. Ook de tijdelijke AI-commissie van de Raad van Europa (CAHAI) werkt aan een
juridisch raamwerk voor AI.

Om wetten en regels beter toepasbaar te maken zijn er diverse instrumenten ontwikkeld,
zoals de Handreiking non-discriminatie by design om bias en non-discriminatie vroegtijdig
te herkennen, een Impactassessment Mensenrechten en Algoritmen (IAMA) die risico’s
voor mensenrechten in kaart brengt en mitigeert, en een Code Goed Digitaal Bestuur
met beginselen die richting geven aan een verantwoorde inzet van technologie. Het
gebruik hiervan is op vrijwillige basis; wel laat ik door de ADR onderzoeken hoe de
impact en het gebruik van de handreiking kunnen worden vergroot.

Tot slot zijn adequaat toezicht en controle van belang. De toezichthouders hebben
een kader ontwikkeld om beter onderzoek te doen naar algoritmen. En dit kabinet heeft
extra middelen beschikbaar gesteld voor de functie van een algoritmewaakhond die is
ondergebracht bij de Autoriteit Persoonsgegevens (AP).

Vraag 2

Voldoet volgens u het gebruikte algoritme in de gemeente Rotterdam aan deze voorwaarden?
Zo ja, waarom?

Antwoord 2

Ik begrijp dat u vraagt naar mijn mening over de rechtmatigheid van het gebruik van
het algoritme in Rotterdam. Het is echter niet aan mij om daarover te oordelen. Het
is belangrijk dat overheden zich aan de regels houden, ook als zij algoritmen inzetten
bij het uitoefenen van hun taken. In dit geval is de gemeente Rotterdam daar zelf
voor verantwoordelijk. De ex ante conformiteitsbeoordeling, zoals die wordt voorgesteld
in de AI-verordening, kan organisaties helpen om aan de voorkant al te ontdekken of
aan de verplichtingen wordt voldaan. De hiervoor genoemde instrumenten kunnen er ook
aan bijdragen om aan de voorkant al goede keuzes te maken. Uiteindelijk is het aan
de Autoriteit Persoonsgegevens om te bezien of het specifieke algoritme op het punt
van de verwerking van persoonsgegevens voldoet aan de eisen van de AVG en aan de rechter
om te oordelen of het gebruik van het algoritme in overeenstemming met de geldende
regelgeving is. Voor intern toezicht dient een privacyfunctionaris om een oordeel
gevraagd te worden als persoonsgegevens worden verwerkt; dat kan bij algoritmen het
geval zijn. De Staatssecretaris van Koninkrijksrelaties en Digitalisering werkt aan
de verbetering van het toezicht. In de iStrategie Rijk wordt daarom voorgesteld dat
CIO’s ook toezicht gaan houden op algoritmen. Daarnaast is de ADR gevraagd inzicht
te geven in de kwaliteit van de beheersing van de algoritmen door onderzoek te doen
naar de wijze waarop de organisaties de kwaliteit en verantwoorde inzet van hun algoritmen
op dit moment borgen. Op basis van deze inzichten en aanbevelingen kunnen er op stelselniveau
verbeteringen worden doorgevoerd. Tot slot is er ook extern toezicht uitgevoerd door
toezichthouders die toezicht houden op een specifiek domein. De toezichthouders hebben
een kader ontwikkeld om beter onderzoek te doen naar algoritmen. De Algemene Rekenkamer
komt medio mei met een rapport waar mogelijk ook lessen getrokken kunnen worden m.b.t.
toezicht op algoritmen.

In het kader van het eigen onderzoek van de gemeente heeft de Rotterdamse Rekenkamer
in haar rapport over het ethisch gebruik van algoritmen enkele aandachtspunten geformuleerd.
Daaruit vloeide voort dat de transparantie van het gebruik van algoritmen verbeterd
diende te worden. Zoals in de eerdere beantwoording van vragen over het gebruik van
algoritmen door de gemeente Rotterdam2 is aangegeven, vergt het transparantievereiste uit de AVG (artikel 5, eerste lid,
onder a) dat persoonsgegevens worden verwerkt op een wijze die voor de betrokkenen
transparant is. De gemeente Rotterdam heeft inmiddels in het kader van transparantie
een eerste aanzet gedaan tot een algoritmeregister en dit opgenomen op de website
van de gemeente.3 Onder het punt «uitkeringsonrechtmatigheid» staat informatie over het hier aan de
orde zijnde algoritme.

Verder heeft gemeente Rotterdam laten weten dat bij het ontwikkelen van het model
kritisch wordt gekeken naar de bruikbaarheid en het niet-discriminerende karakter
van variabelen en kenmerken. Uit het rapport van de Rekenkamer Rotterdam is gebleken
dat de vastlegging van deze toetsing zou moeten worden verbeterd. De gemeente Rotterdam
geeft aan op dit punt momenteel stappen te zetten, onder meer door het verstevigen
van de governance rondom algoritmen met een grote impact of gevoeligheid (hoog-risico
algoritmen). Op verzoek van de Staatssecretaris van Koninkrijksrelaties en Digitalisering
doet het Rathenau Instituut op dit moment onderzoek naar de werkprocessen, functies,
expertise en hulpmiddelen die organisaties kunnen helpen om bij de ontwikkeling en
inzet van algoritmen te werken in lijn met onze grondrechten. De lessen uit dat onderzoek
kunnen ook behulpzaam zijn voor gemeenten; de Staatssecretaris gaat daarover graag
met hen in gesprek.

Vraag 3

Bent u bereid onderzoek te doen naar de vraag in welke gemeenten en provincies soortgelijke
algoritmes worden gebruikt, en met welk doel? Zo nee, waarom niet?

Antwoord 3

Er vinden steeds meer inventarisaties plaats van het gebruik van AI en algoritmen
door overheden. De Algemene Rekenkamer heeft begin 2021 onderzoek gedaan naar algoritmen
die door het Rijk worden ingezet.4 Het onderzoek van de Algemene Rekenkamer levert inzichten op van de typen algoritmen
die worden ingezet en de zorgen en twijfels die er nog bestaan. Graag verwijs ik ook
naar een TNO-publicatie van mei vorig jaar5, waarin diverse toepassingen van AI in de publieke dienstverlening zijn onderzocht.
Hier zaten ook voorbeelden bij uit het sociaal domein.

Gelet op hun eigen verantwoordelijkheid voor het naleven van de regelgeving is het
de eigen verantwoordelijkheid van provincies en gemeenten om waar nodig onderzoek
te laten doen, via de provinciale staten of gedeputeerde staten en gemeenteraad of
B&W.6 Daarnaast kunnen ook toezichthouders zoals de Autoriteit Persoonsgegevens (AP) of
onafhankelijke instanties met controlerende en toezichthoudende taken, zoals lokale
rekenkamers, besluiten om onderzoek te doen. Er vindt dus al met al veel onderzoek
plaats en er zijn mogelijkheden om onderzoek te laten doen. De Staatssecretaris van
Koninkrijksrelaties en Digitalisering wil stimuleren dat overheden meer inzicht bieden
in de werking en de impact van algoritmen die zij inzetten. Daarbij wordt voortgebouwd
op de kennis en ervaringen die gemeenten opgedaan hebben met experimenten rond algoritmeregisters,
waaronder ook de gemeente Rotterdam, die haar eerste algoritmen heeft opgenomen en
de bedoeling is dat dit verder wordt uitgebreid. Met het opzetten en uitvoeren van
een verplicht algoritmeregister voor overheden wordt uitvoering gegeven aan de wens
van uw Kamer. Op dit moment wordt onderzocht op welke manier dit juridisch en beleidsmatig
vorm kan worden gegeven. Uw kamer wordt dit voorjaar verder geïnformeerd, en het is
daarom niet gelukt om de kamer zoals eerder toegezegd door mijn voorganger eind januari
hierover te informeren.

Vraag 4

Welke bedrijven of instanties ontwikkelen dergelijke algoritmes voor overheidsinstanties
en worden deze ontwikkelaars actief aanbevolen door bijvoorbeeld de VNG, de landelijke
overheid of door andere belanghebbenden? Zo ja, welke ontwikkelaars zijn dit?

Antwoord 4

Er zijn geen lijsten bekend met aanbieders bij het Rijk of de VNG, of leveranciers
die aanbevolen worden. Bekende aanbieders zijn onder andere Deloitte, Capgemini en
Accenture. De laatste was bij Rotterdam betrokken. Grotere overheidsorganisaties –
met name de uitvoeringsorganisaties – beschikken vaker dan kleine organisaties over
de capaciteit om algoritmen zelf te ontwikkelen.

Vraag 5

Op welke manieren wordt er door gemeenten of andere overheden getoetst of het gebruik
van een dergelijk algoritme de meest proportionele maatregel is ten aanzien van andere
maatregelen? Is een dergelijke toetsing verplicht? Zo nee, waarom niet?

Antwoord 5

Een verwerking van persoonsgegevens moet altijd voldoen aan de eisen van de AVG. Eén
van die eisen is dat een verwerking proportioneel is. Een middel om dit in kaart te
brengen is de data protection impact assessment (DPIA). De Autoriteit Persoonsgegevens
heeft een lijst opgesteld wanneer het verplicht is om een DPIA te doen. Daaronder
valt ook het doen van heimelijk onderzoek, dat wil zeggen grootschalige of stelselmatige
verwerkingen van persoonsgegevens waarbij informatie wordt verzameld met onderzoek,
zonder de betrokkene daarvan vooraf op de hoogte te stellen. Ook bij grootschalige
of stelselmatige verwerkingen van persoonsgegevens voor fraudebestrijding is een DPIA
verplicht. Een DPIA moet in ieder geval een beoordeling van de noodzaak en proportionaliteit
van de verwerkingen bevatten. Daarbij hoort dus de vraag of er een minder ingrijpend
middel beschikbaar is dan een algoritme. Ook worden in een DPIA de privacyrisico’s
voor betrokkenen in kaart gebracht. Vragen die daarbij worden beantwoord, zijn bijvoorbeeld
welke data in een algoritme gaat en of die van goede kwaliteit en betrouwbaar is,
of de werking van het algoritme uitgelegd en zo nodig gecorrigeerd kan worden en of
er risico is op discriminatie door gebruik van het algoritme. Als er risico’s worden
gesignaleerd, wordt in kaart gebracht welke maatregelen genomen worden om die risico’s
aan te pakken zodat de gebruiker van het algoritme aan de AVG voldoet. Als risico’s
niet voldoende beperkt kunnen worden, is het verplicht om voorafgaand aan de verwerking
met de AP te overleggen.

De gemeente Rotterdam heeft aangegeven dat het algoritme als een efficiënte manier
wordt gezien om te bepalen welke uitkeringsgerechtigden het beste voor een rechtmatigheidsonderzoek
kunnen worden uitgenodigd. Gelet op het grote aantal uitkeringsgerechtigden heeft
de gemeente Rotterdam vastgesteld dat het onhaalbaar om de rechtmatige uitkeringsverstrekking
binnen een tijdsbestek van 1 of 2 jaar te onderzoeken voor de volledige uitkeringspopulatie.
Daarbij geeft de gemeente Rotterdam aan dat door gebruikmaking van het algoritme,
bij een deel van de uitkeringsgerechtigden administratieve lasten worden voorkomen.
Uitkeringsgerechtigden waarvoor de kans dat de uitkering niet meer aansluit op de
feitelijke situatie van de uitkeringsgerechtigde minder groot wordt geschat, zullen
ook minder snel worden uitgenodigd voor een rechtmatigheidsonderzoek. Daarnaast benadrukt
de gemeente Rotterdam dat het algoritme slechts ondersteunt bij de selectie van uitkeringsgerechtigden
die voor een rechtmatigheidsonderzoek worden uitgenodigd. Het feitelijke onderzoek
naar de rechtmatige verstrekking van bijstand wordt altijd door een medewerker uitgevoerd.
Het toepassen van een (algoritmische) selectiemethode kan grote risico’s met zich
meebrengen. Het leidt onvermijdelijk tot het maken van een onderscheid. Het is belangrijk
om te zorgen en erop toe te zien dat zulk onderscheid niet leidt tot discriminatie
(verboden in artikel 1 Grondwet). Het College voor de Rechten van de Mens heeft eind
vorig jaar een mensenrechtelijk toetsingskader gepresenteerd over discriminatie door
risicoprofielen dat hierbij kan helpen.

Vraag 6

Vindt u het begrijpelijk dat mensen met een uitkering zich automatisch verdacht voelen
als ze lezen dat gemeenten gesprekken met bijstandsgerechtigden standaard filmen,
verregaande algoritmes ingezet worden om uitkeringsfraude op te sporen, en drones
en camera’s worden gebruikt om mensen thuis te controleren op bijstandsfraude? Zo
nee, waarom niet?7
8

Antwoord 6

Mensen die recht hebben op een uitkering moeten die krijgen. Het is belangrijk dat
er gecontroleerd wordt op de rechtmatigheid van de toekenning. Deze controle moet
echter wel gedaan worden met oog voor de mens achter de uitkering, zoals door de Staatssecretaris
van Sociale Zaken en Werkgelegenheid aangegeven in diens brief van 23 november 2021.9 Daarbij moet gebruik worden gemaakt van passende instrumenten. Het standaard filmen
van gesprekken zal, zoals is toegelicht in de antwoorden op de vragen van de leden
Leijten en Van Kent (SP) over «een gemeente die gesprekken over uitkeringen filmt»
van 14 december 2021, alleen in heel bijzondere gevallen acceptabel zijn. Dit geldt
des te meer voor situaties waarin er sprake zou zijn van het volgen van burgers. Dergelijke
handhavingsinstrumenten maken een inbreuk op de privacy en tot de inzet daartoe kan
slechts worden besloten indien wordt voldaan aan de eisen van noodzakelijkheid, proportionaliteit
en subsidiariteit en er een verwerkingsgrondslag voor aanwezig is. De AVG biedt daarvoor
het toetsingskader.

Vraag 7

In de beantwoording van eerdere schriftelijke vragen zegt u: «De camera had geen invloed
op het gesprek of de strekking van het gesprek en het al dan niet verstrekken van
de uitkering.», kunt u bevestigen dat mensen die weigerden deel te nemen aan een gesprek
omdat zij gefilmd werden, om die reden een uitkering is ontzegd of is verminderd?
Zo nee, waarom niet?

Antwoord 7

Weigeren van het betreden van een spreekkamer met cameratoezicht is geen grond om
een uitkering te ontzeggen dan wel te verlagen. De gemeente Dronten heeft desgevraagd
bevestigd dat hier ook geen sprake van is geweest.

Vraag 8

In diezelfde beantwoording stelt u dat er geen onderscheid gemaakt werd naar de aard
van het gesprek of de doelgroep waarbij camera’s werden ingezet, terwijl de gemeente
in antwoord op vragen aangeeft dat dit bij gesprekken gebeurde «waarbij een verhoogd
risico bestaat op fysiek of verbaal geweld». Wat waren daar de selectiecriteria voor,
los van eerdere geweldsincidenten die hebben plaatsgevonden met een individu? Vindt
u deze selectiecriteria passend?10

Antwoord 8

De gemeente Dronten heeft desgevraagd bevestigd dat er geen onderscheid gemaakt werd
naar de aard van het gesprek of de doelgroep waarbij camera’s werden ingezet.

Vraag 9

Is er een verplichting voor gemeenten en andere (decentrale) overheden om mensen op
de hoogte te stellen dat zij onderwerp zijn van een fraudeonderzoek op basis van een
resultaat van een algoritme? Zo nee, waarom niet?

Antwoord 9

Ik begrijp dat u vraagt naar een algoritme dat selecteert welke personen nader zullen
worden onderzocht. In algemene zin is een gemeente of andere overheid niet verplicht
om individuen vooraf op de hoogte te stellen dat zij onderwerp zijn van een onderzoek.
Het kabinet hecht wel aan zo veel mogelijk transparantie rondom het gebruik van algoritmen
en investeert het onder meer in het opzetten van een algoritmeregister. Zoals hiervoor
opgenomen, heeft de gemeente Rotterdam recentelijk zo’n register online gezet. Hierin
zijn de eerste algoritmen opgenomen en de bedoeling is dat dit verder wordt uitgebreid.
Verder is van belang dat als de input van een algoritme leidt tot de beslissing om
vervolgonderzoek te doen, binnen dat vervolgonderzoek de betrokkene moet worden gehoord.
Daarbij moet de betrokkene worden geïnformeerd dat het onderzoek het resultaat is
van een algoritme en moet worden toegelicht hoe het algoritme werkt zodat een betrokkene
daarop kan reageren en eventuele onjuistheden kan tegenspreken.

Vraag 10

In hoeverre zijn mensen vrij om te weigeren dat zij zonder individuele aanleiding
worden gefilmd, zonder dat dit nadelige gevolgen heeft voor de aanvraag van een uitkering
of andere voorziening?

Antwoord 10

Het weigeren van het betreden van een spreekkamer met cameratoezicht is, zoals ook
bij de beantwoording van vraag 7 is aangegeven, geen grond om een uitkering te ontzeggen
dan wel te verlagen.

Vraag 11

Wanneer vindt u het gerechtvaardigd dat gemeenten of andere decentrale overheden algoritmes
gebruiken gebaseerd op kenmerken als woonplaats, leeftijd, geslacht, levensovertuiging,
burgerlijke staat of etnische achtergrond?

Antwoord 11

Artikel 1 van de Grondwet verbiedt discriminatie wegens godsdienst, levensovertuiging,
politieke gezindheid, ras, geslacht of op welke grond dan ook. Niet elk verschil in
behandeling op kenmerken als woonplaats, leeftijd, geslacht, levensovertuiging, burgerlijke
staat of etnische achtergrond is discriminatie. In sommige gevallen kan onderscheid
toch gerechtvaardigd zijn. Deze objectieve rechtvaardiging moet echter wel voldoen
aan een strenge toets. Aan het onderscheid moet een legitieme doelstelling ten grondslag
liggen en het middel dat is ingezet moet geschikt zijn om het doel te bereiken. Daarnaast
moet het middel proportioneel zijn en moeten er geen minder ingrijpende middelen ter
beschikking staan om hetzelfde doel te bereiken. Rechtvaardiging is dus niet de norm,
maar uitzondering in een specifieke situatie waarin voldaan is aan alle genoemde eisen.
In mijn brief van 14 december 2021 heb ik meer specifiek ten aanzien van het kenmerk
etnische achtergrond aangegeven dat onderscheid op deze grond niet, of slechts in
uitzonderlijke situaties, gebruikt mag worden en alleen als er zeer zwaarwegende redenen
ter rechtvaardiging van het onderscheid zijn.11