Antwoord schriftelijke vragen : Antwoord op vragen van de leden Bouchallikh en Bromet over het bericht dat algoritmes van de gemeente Rotterdam kunnen leiden tot vooringenomen uitkomsten

Antwoord van Staatssecretaris Knops (Binnenlandse Zaken en Koninkrijksrelaties) (ontvangen
3 juni 2021).

Vraag 1

Heeft u kennis genomen van de berichten «Algoritmes gemeente Rotterdam kunnen leiden tot «vooringenomen uitkomsten»»1 en «Harde kritiek op algoritmes voor opsporing van bijstandsfraude?»2

Antwoord 1

Ja.

Vraag 2

Wat is uw reactie op het rapport «Gekleurde technologie» van de Rekenkamer Rotterdam?

Antwoord 2

Het is belangrijk om onderzoek te doen naar de manier waarop algoritmische data-analyses
in de praktijk door de overheid gebruikt worden en hoe het toezicht daarop georganiseerd
is. Het Rekenkamerrapport maakt nog eens inzichtelijk dat er risico’s op het gebied
van vooringenomenheid kunnen ontstaan wanneer in datasets (indirect) onderscheid wordt
gemaakt met behulp van variabelen. De Rekenkamer Rotterdam concludeert dat er in deze
gemeente aandacht is voor ethische principes bij het gebruik van algoritmen, maar
dat deze aandacht nog niet wijdverspreid is. De gemeente Rotterdam is eerstverantwoordelijk
om op dit rapport te reageren en dat heeft de gemeente ook gedaan.

Vraag 3

Is het waar dat de gemeente Rotterdam in het kader van het project «Analytics Uitkeringsfraude»
gebruik maakt van algoritmes die op eigen houtje zoeken naar kenmerken van fraudeurs?
Is er daarmee sprake van de inzet van zelflerende algoritmes?

Antwoord 3

In haar bestuurlijke reactie zegt de gemeente dat het genoemde algoritme geen fraude
opspoort, maar risico op fraude inschat. Het gaat om een risico-inschattingsmodel
dat op basis van beschikbare historische data uit het uitkeringsproces een inschatting
maakt van de kans dat er iets met de rechtmatigheid van een uitkering aan de hand
kan zijn. Op basis van de risico-inschatting worden uitkeringsgerechtigden uitgenodigd
voor een gesprek. Daarna wordt de rechtmatigheid van de uitkering beoordeeld.

De gemeente Rotterdam zegt dat er geen sprake is van een zelflerend algoritme. Het
ontwikkelen («trainen») van het algoritmisch model gebeurt door in data van historische
rechtmatigheidsonderzoeken naar patronen te zoeken en te testen of deze patronen in
ongeziene data (een apart gehouden deel van de historische rechtmatigheidsonderzoeken)
een voorspellende waarde hebben over de mate van (on)rechtmatigheid. Hierin zit altijd
een menselijke handeling.

Vraag 4

Deelt u de conclusie dat dit kan leiden tot vooringenomenheid omdat het model, via
een omweg langs andere variabelen zoals laaggeletterdheid, ook etnische achtergrond
mee kan nemen en sommige mensen als gevolg daarvan een grotere kans hebben te worden
onderworpen aan controles? Zo nee, waarom niet? Zo ja, wat vindt u hiervan?

Antwoord 4

Ik deel de conclusie dat door het gebruik van variabelen die een (indirecte) relatie
hebben met een in de wet beschermde grond zoals leeftijd of godsdienst, vooringenomenheid
in algoritmische modellen kan ontstaan. Dat moet worden voorkomen. Het gebruik van
kenmerken die indirect verwijzen naar een beschermde grond is lastiger te herkennen
dan kenmerken die direct verwijzen naar beschermde gronden. In het voorbeeld van de
Rekenkamer Rotterdam wordt spreekvaardigheid genoemd als een kenmerk dat indirect
kan verwijzen naar iemands afkomst of etniciteit. De gemeente Rotterdam zegt dat zij
voorafgaand aan het Rekenkameronderzoek op eigen verzoek een onderzoek door Concern
Auditing heeft laten uitvoeren op het algoritme. Door Concern Auditing is aangegeven
dat er bij de ontwikkeling van het algoritme en de werking daarvan goed is nagedacht
over keuzes en maatregelen om vooringenomenheid te voorkomen. Zo bevat de input geen
beschermde gronden zoals nationaliteit en vindt er pseudonimisering plaats op de data
waarop het algoritme draait. Ook wordt de output gescreend om te voorkomen dat er
onnodige heronderzoeken plaatsvinden.

Niet alleen de gemeente Rotterdam zet algoritmen in ter ondersteuning van publieke
taken; vele overheden doen dat. Daarom wordt vanuit het Ministerie van BZK beleid
ontwikkeld dat overheden helpt om algoritmen op een verantwoorde manier in te zetten.
Om vooringenomenheid van algoritmische modellen te voorkomen, is de Handreiking AI-systeemprincipes
voor non-discriminatie ontwikkeld (die binnenkort aan uw Kamer zal worden toegezonden).
De handreiking bevat een overzicht van de belangrijkste non-discriminatiewetgeving
en allerlei voorbeelden van direct en indirect onderscheid die mogelijk kunnen leiden
tot discriminatie. De handreiking helpt overheden om al in de ontwikkelfase van een
algoritmisch systeem discriminerende patronen in modellen en gegevens zoveel mogelijk
te identificeren, te voorkomen en te bestrijden. In de handreiking is een vertaalslag
gemaakt van essentiële juridische kaders naar operationele ontwerpprincipes. Binnenkort
zal het ministerie daarnaast een impact assessment mensenrechten en algoritmen (IAMA)
publiceren. Dit impact assessment helpt overheden om risico’s voor mensenrechten (waaronder
non-discriminatie) bij de ontwikkeling van systemen in kaart te brengen en af te zwakken.
Verschillende instrumenten voor een verantwoorde inzet van algoritmen komen samen
in de toolbox ethisch verantwoord innoveren voor overheden.3

Vraag 5

Wat onderneemt u, in navolging van de motie-Klaver c.s., om te verzekeren dat zelflerende
algoritmes die worden gebruikt door de overheid geen gevoelige variabelen zoals nationaliteit
of etniciteit hanteren, direct of indirect?4

Antwoord 5

Het is niet toegestaan om nationaliteit of etniciteit te gebruiken als indicator in
risicomodellen tenzij er een objectieve rechtvaardiging voor die gegevensverwerking
is en het gemaakt onderscheid proportioneel is. Naast de bovengenoemde instrumenten
die overheden helpen om de juiste variabelen in modellen te gebruiken, kijken we ook
naar de kwaliteit van bestaande modellen in de praktijk. Zo vindt er momenteel een
rijksbrede inventarisatie plaats naar het onrechtmatig (niet volgens geldende wet-
en regelgeving toegestane) en het oneigenlijk (niet objectief gerechtvaardigd) gebruik
van nationaliteit, etniciteit en geboorteplaats in risicomodellen. Als gegevens zijn
gebaseerd op onrechtmatig en oneigenlijk gebruik in risicomodellen, dan worden deze
gegevens beschouwd als vervuilde data en worden deze opgeruimd door de overheidsinstellingen
zelf. Gemeenten en andere overheidsinstellingen zijn bij deze inventarisatie betrokken
in zoverre zij onderdeel zijn van de ketens en dienstverleningsprocessen aan burgers
en bedrijven. Op 8 april jl. zond ik uw Kamer hierover een brief.5 De rijksbrede inventarisatie is een uitwerking van de motie van het lid Marijnissen
(SP) c.s. om voor 1 maart een voorstel te doen hoe overal binnen overheidsinstellingen
vervuilde data, risicomodellen en het gebruik van nationaliteit worden opgeruimd met
inachtneming van de motie van het lid Klaver (GroenLinks) c.s. om hierbij niet alleen
te kijken naar nationaliteit, maar ook naar etniciteit en geboorteplaats.

Vraag 6

Deelt u de bevinding van de Rekenkamer Rotterdam dat bijstandsontvangers onmogelijk
kunnen weten waarom het algoritme hen aanmerkt voor nadere controle? Zo nee, waarom
niet? Zo ja, in hoeverre is dat verenigbaar met de privacywetgeving die stelt dat
burgers het recht hebben om inzicht te krijgen in de achtergrond van belangrijke beslissingen?
Kunt u het antwoord juridisch onderbouwen met verwijzing naar de relevante wet- en
regelgeving?

Antwoord 6

Het transparantievereiste uit de AVG (artikel 5, eerste lid, onder a) vergt dat persoonsgegevens
worden verwerkt op een wijze die voor de betrokkenen transparant is. Dit beginsel
wordt uitgewerkt in verschillende informatieverplichtingen. Bij artikel 5 AVG is overwogen
dat overeenkomstig het transparantiebeginsel informatie en communicatie in verband
met de verwerking van die persoonsgegevens eenvoudig toegankelijk en begrijpelijk
moeten zijn, en dat duidelijke en eenvoudige taal moet worden gebruikt. Het beginsel
betreft met name het informeren van de betrokkenen over de identiteit van de verwerkingsverantwoordelijke
en de doeleinden van de verwerking. Tevens bevat het beginsel verdere informatie om
te zorgen voor behoorlijke en transparante verwerking met betrekking tot de natuurlijke
personen in kwestie en hun recht om bevestiging en mededeling te krijgen van hun persoonsgegevens
die worden verwerkt.

De gemeente Rotterdam heeft aangegeven zich ervan bewust te zijn dat er duidelijker
moet worden gecommuniceerd over het gebruik van algoritmen. Ook uit een interne beoordeling
van het risico-inschattingsmodel, die de gemeente op eigen initiatief heeft laten
uitvoeren voorafgaand aan het rapport van de Rekenkamer Rotterdam, was al gebleken
dat transparantie rondom en communicatie over het gebruik van het algoritme aandacht
behoeven. De gemeente heeft inmiddels actie uitgezet om dit te verbeteren. Dit zou
in de komende maanden zichtbaar moeten worden.

Vraag 7

Hoe verhoudt het gebruik van algoritmes binnen het project «Analytics Uitkeringsfraude»
zich tot de rechterlijke uitspraak van 5 februari 2020 die het gebruik van het fraude-opsporingssysteem
SyRI verbiedt?

Antwoord 7

In de SyRI-uitspraak wijst de rechtbank fraudebestrijding en het verzamelen en combineren
van gegevens en het gebruik van algoritmen/profilering daarvoor niet zonder meer af.
De rechtbank oordeelde dat het programma niet in verhouding stond met de inmenging
in de privacy die de toepassing met zich meebracht. Het systeem was volgens de rechtbank
onvoldoende transparant, o.a. over welke objectieve feitelijke gegevens tot een verhoogd
risico konden leiden, over de werking van het risicomodel (dus welk type algoritme,
welke methode voor risicoanalyse), en over hoe het model gevalideerd werd. Ook was
het niet duidelijk hoe betrokkenen geïnformeerd werden of konden controleren of hun
gegevens op de juiste manier werden verwerkt. Bovendien werden bij SyRI veel gegevens
gecombineerd, zonder integraal toezicht van een onafhankelijke derde, wat strijdig
is met doelbinding. Tot slot was niet duidelijk of het risico op discriminatie werd
ondervangen.

In algemene zin bestaat er ruimte om algoritmen in te zetten bij het uitoefenen van
taken en bevoegdheden. De wet biedt daar kaders voor, in het bijzonder de AVG. De
rekenkamer en de bestuurlijke reactie van de gemeente Rotterdam adresseren dezelfde
zorgen die ook in deze uitspraak geuit zijn. Daarbij gaat het met name om transparantie
en om de validatie van de gebruikte modellen.

Vraag 8

Wat vindt u ervan dat het project «analytics uitkeringsfraude» al vier jaar bestaat,
in toenemende mate wordt gebruikt om uitkeringsgerechtigden te selecteren voor controles,
maar nog altijd de status van een pilot heeft?

Antwoord 8

De gemeente Rotterdam heeft aangegeven dat het project feitelijk niet meer de status
heeft van een pilot, ook al suggereert de naamgeving dit. De gemeente heeft toegezegd
hierover duidelijk te zullen communiceren, bijvoorbeeld via haar website.

Vraag 9

Bent u bereid, op basis van het rapport van de Rekenkamer Rotterdam, deze uitgerekte
pilot met onmiddellijke ingang stop te laten zetten? Zo nee, waarom niet?

Antwoord 9

Uiteindelijk zijn gemeenten zelf verantwoordelijk voor naleving van de wet. Dat geldt
ook wanneer zij algoritmen inzetten. Als rijksoverheid bieden wij kaders en beleid
om dit zo goed mogelijk te doen.

Vraag 10

Hoe is het mogelijk dat er algoritmes worden ingezet zonder dat de betrokken ambtenaren,
volgens de Rekenkamer Rotterdam, ook maar beseffen dat daar ethische risico’s aan
zijn verbonden?

Antwoord 10

In het rapport is niet gesteld dat de betrokken ambtenaren geen enkel besef hebben
van de ethische risico’s die zijn verbonden aan het gebruik van algoritmen. Wel constateert
de Rekenkamer Rotterdam dat instrumentarium om ethische risico’s in beeld te brengen
en te toetsen, onvoldoende aanwezig is of wordt gebruikt. De gemeente Rotterdam heeft
aangegeven ervoor zorg te dragen dat gemaakte keuzes rondom ethische vraagstukken,
navolgbaar zullen worden vastgelegd.

Vanuit het Ministerie van BZK zetten we de komende jaren in op het beter over het
voetlicht brengen van eerdergenoemde instrumenten voor een verantwoorde inzet van
algoritmen. Daarnaast hebben we het Rathenau Instituut gevraagd om in kaart te brengen
op welke vlakken (denk aan bijvoorbeeld kennis, capaciteit en processen) overheidsorganisaties
verder versterkt kunnen worden om mensenrechten (zoals non-discriminatie) bij digitalisering
(en dus de inzet van algoritmen) te borgen.

Vanuit de Vereniging van Nederlandse Gemeenten (VNG) worden gemeenten daarnaast gestimuleerd
om een commissie in te zetten die advies geeft over de ethische en maatschappelijke
aspecten van digitaliseringsprojecten.

Vraag 11

Deelt u de mening dat de verantwoorde inzet van algoritmes onmogelijk is zonder besef
van de risico’s? Zo nee, waarom niet? Zo ja, wat onderneemt u om bewustwording en
kennis onder rijksambtenaren en medeoverheden op dit vlak te vergroten?

Antwoord 11

Die mening deel ik. Het bewustzijn van de risico’s is altijd de eerste stap. Er bestaan
al instrumenten, zoals het Privacy Impact Assessment (PIA), waarmee de risico’s in
kaart worden gebracht. Zo’n PIA moet worden gedaan bij het verwerken van (bijzondere)
persoonsgegevens. Aanvullend werkt het kabinet aan de ontwikkeling en toepassing van
instrumenten die overheden en bedrijven ondersteunen bij het beter in de praktijk
toepassen van wettelijke verplichtingen en die (daarmee) helpen algoritmen op verantwoorde
wijze in te zetten. Onder de beantwoording van vraag vier ben ik al ingegaan op de
Handreiking AI-systeemprincipes voor non-discriminatie en het impact assessment mensenrechten
en algoritmen (IAMA). Ook heeft het kabinet richtlijnen voor data-analyse opgesteld
die op verschillende plekken binnen de overheid zijn getest en momenteel verder worden
doorontwikkeld. Vanuit het innovatiebudget financier ik projecten die zien op verantwoorde
inzet van algoritmen. Onder die projecten is ook het project «Public AI in Control»
dat de Rekenkamer Rotterdam als goed voorbeeld benoemt. Ten slotte wordt op dit moment
een vervolg op de nationale AI-cursus ontwikkeld met speciale aandacht voor ethiek.

Vraag 12 en 13

Wat vindt u ervan dat de gemeente Rotterdam nog geen overzicht heeft van de algoritmes
die de gemeente zelf gebruikt? Wat onderneemt u om een overzicht te krijgen van alle
overheidsalgoritmes? Bent u bijvoorbeeld bereid om er bij medeoverheden op aan te
dringen dat zij ieder een centrale regisseur en eindverantwoordelijke benoemen voor
het gebruik van algoritmes?

Hoe staat het met de uitvoering van de motie-Klaver c.s. die de regering verzoekt
om een algoritmeregister op te zetten zodat iedereen, ook experts van buiten, toezicht
kan houden op mogelijk discriminerende algoritmes? Kunt u een nauwkeurig tijdpad geven
van de uitvoering van deze motie?

Antwoord 12 en 13

De gemeenten zijn zelf verantwoordelijk om een overzicht te hebben van algoritmen
die worden ingezet. Vanuit mijn verantwoordelijkheid voor de digitale overheid wordt
vanuit BZK onderzoek gedaan naar de nut- en noodzaak van een algoritmeregister. De
gemeente Rotterdam experimenteert hiermee. Daarnaast zijn er ook proeven in Amsterdam,
Utrecht en de provincie Zuid-Holland. In een dergelijk register worden algoritmen
opgenomen die voor burgers en toezichthouders in te zien zijn. Een register kan informatie
verschaffen over het type algoritmen, maar ook over de data die gebruikt zijn. Ook
kan zo’n register een status overzicht geven van de kwaliteitseisen die toegepast
zijn en de verantwoordelijke vermelden waar burgers terecht kunnen met vragen. Het
is belangrijk dat een algoritmeregister aansluit bij de behoeften van burgers. Ik
kom hier op terug in de brief aan uw Kamer die medio juni verschijnt en bericht over
de voortgang van moties die zijn ingediend tijdens het debat over het rapport van
de Parlementaire Ondervragingscommissie Kinderopvangtoeslag.

Vraag 14 en 15

In hoeverre denkt u dat de door de Rekenkamer geconstateerde problemen rond het gebruik
van algoritmes in Rotterdam ook spelen in andere gemeenten? Hoe houdt u daar zicht
op?

Welke instanties houden toezicht op het gebruik van algoritmes bij de rijksoverheid
en medeoverheden? Hoeveel modellen zijn door een toezichthouder getoetst en hoeveel
zijn aangemerkt als problematisch?

Antwoord 14 en 15

Ik heb geen zicht op het gebruik van algoritmen door gemeenten, en ik heb geen signalen
ontvangen dat er in andere gemeenten soortgelijke problemen spelen. Er vinden interne
controles plaats bij gemeenten, daarnaast zijn er ook externe controles van gemeentelijke
auditdiensten en van gemeentelijke rekenkamers. Op Rijksniveau vinden ook interne
controles plaat, is de Audit Dienst Rijk bevoegd om audits uit te voeren op algoritmen
en doet de Algemene Rekenkamer (ARK) regelmatig onderzoek naar algoritmen. Onlangs
nog heeft de ARK een onderzoek afgerond «Aandacht voor algoritmen» met daarin een
overzicht van algoritmen die het Rijk gebruikt.6 Daarnaast zijn er toezichthouders zoals de Autoriteit Persoonsgegevens en het College
voor de Rechten van de Mens die proactief, of op basis van signalen die ze krijgen,
onderzoek kunnen instellen. De Nationale ombudsman doet onderzoek naar klachten. Recent
bracht de Nationale ombudsman een onderzoek naar buiten «de burger is geen dataset».7 Verder is in mijn opdracht recent door TNO opnieuw een quick-scan gemaakt met daarin
een inventarisatie van AI-toepassingen in de publieke sector.8

Vraag 16 en 17

Deelt u de conclusie van de Rekenkamer Rotterdam dat de bestaande AVG-wetgeving niet
toereikend is voor goede borging van de ethiek en kwaliteit van algoritmes? Zo nee,
waarom niet? Zo ja, op welke wijze zou de wetgeving moeten worden aangepast?

Bent u bereid om de aanbeveling van de Rekenkamer Rotterdam, om voor alle algoritmes
regels, richtlijnen en instructies te formuleren die toezien op transparantie en eerlijkheid
en die voorzien in de systematische beoordeling en evaluatie van in gebruik zijnde
algoritmes, Rijksbreed op te volgen?

Antwoord 16 en 17

Het kabinet heeft eerder in de kabinetsreactie op drie algoritmeonderzoeken geconcludeerd
dat algoritmen niet in een juridisch vacuüm vallen.9 Zo bevat de AVG uitvoerige eisen voor de kwaliteit van data en vraagt zij tests die
van tevoren moeten worden gedaan, óók om andere fundamentele vrijheden te beschermen.
Toch bestaan er in praktische zin knelpunten, zoals de mogelijkheid om «bijzondere
persoonsgegevens» te gebruiken om de kwaliteit van modellen en data te beoordelen.10 Het kabinet zal een wettelijke grondslag voor de verwerking van bijzondere persoonsgegevens
in het leven roepen die ertoe strekt het onder strenge voorwaarden mogelijk te maken
gegevens te verwerken om discriminatie in een algoritmisch model te voorkomen.11 Daarnaast zal het kabinet bezien of in aanvulling op de bestaande transparantieverplichtingen
die voortvloeien uit de AVG, aanvullende wettelijke waarborgen nodig zijn die o.a.
beogen om het publiek beter te informeren. Tot slot vindt het kabinet het van belang
om wet- en regelgeving die veel open normen bevatten, beter toepasbaar te maken voor
de ontwerppraktijk. Zie ook het antwoord op vraag 11. Begin juni zal een voortgangsrapportage
AI en algoritmen uw Kamer bereiken. Hierin worden de verschillende acties die nodig
zijn om burgers de noodzakelijke bescherming te bieden verder toegelicht.