Brief regering : Reactie op het onderzoeksrapport van Amnesty International over ‘Xenofobe Machines’

26 643
Informatie- en communicatietechnologie (ICT)

Nr. 45
BRIEF VAN DE STAATSSECRETARIS VAN BINNENLANDSE ZAKEN EN KONINKRIJKSRELATIES

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 4 juli 2022

In 2021 verscheen het onderzoeksrapport «Xenofobe Machines» van Amnesty International.
Het rapport behandelt mensenrechtenrisico’s bij het gebruik van algoritmische besluitvormingssystemen
door de overheid. De directe aanleiding is de toeslagenaffaire. Het kabinet heeft
in zijn reactie op het rapport «Ongekend onrecht» acties aangekondigd om te voorkomen
dat zulk onrecht nog eens gebeurt. Die acties richten zich bijvoorbeeld op de rol
van uitvoeringsorganisaties en de hardheid van besluiten die zij kunnen nemen, op
het datagebruik en de IT-voorzieningen bij de overheid, op de toegang voor burgers
tot het recht en op het voorkomen van discriminatie door de overheid.1

Hoewel veel verschillende factoren tot de toeslagenaffaire hebben geleid, richten
de schrijvers van dit Amnesty-rapport zich vooral op de rol van algoritmen en doen
zij verschillende aanbevelingen om het gebruik van algoritmen bij besluitvormingsprocessen
in de publieke sector in lijn te brengen met mensenrechten. Amnesty speelt wereldwijd
een fundamentele rol in de bescherming van mensenrechten, iets wat mij aan het hart
gaat. Ik waardeer dit rapport dan ook: algoritmen spelen een steeds grotere rol in
onze samenleving en bij de overheid. Dit kabinet wil ervoor zorgen dat algoritmen
met respect voor mensenrechten worden ontwikkeld en gebruikt. In het coalitieakkoord
(Bijlage bij Kamerstuk 35 788, nr. 77) heeft het kabinet aangegeven wettelijk te gaan regelen dat algoritmen worden gecontroleerd
op transparantie, discriminatie en willekeur en te willen zorgen voor effectief toezicht
op algoritmen, onder meer door de oprichting van een algoritmetoezichthouder. In brede
zin is er veel werk te verzetten op het terrein van de digitale overheid, in Nederland
en in de EU. Recentelijk heb ik mijn hoofdlijnenbrief naar uw Kamer gestuurd waarin
ik de speerpunten voor het digitaliseringsbeleid van de komende jaren uiteen heb gezet.

Hieronder volgt, mede namens de Minister voor Rechtsbescherming en de Staatssecretaris
van Financiën (Toeslagen en Douane), mijn reactie op de aanbevelingen van Amnesty.
Bij aanbeveling 1 zal ik in het algemeen ingaan op het kader rond algoritmische besluitvormingssystemen.
Daarna volgt een reactie op de specifieke aanbevelingen inzake transparantie, toezicht
en rechtsmiddelen.

1. Bescherm de mensenrechten bij het gebruik van algoritmische besluitvormingssystemen

regeringen moeten een kader tot stand brengen dat a) mensenrechtenschendingen voorkomt
bij het gebruik van algoritmische besluitvormingssystemen, b) monitoring- en toezichtmechanismen
instelt als waarborg, c) degenen die verantwoordelijk zijn voor schendingen ter verantwoording
roept, en d) voorziet in effectieve rechtsmiddelen voor individuen en groepen wier
rechten zijn geschonden.

In haar onderzoek richt Amnesty zich op algoritmische systemen en algoritmische besluitvormingssystemen.2 Overheidshandelen moet binnen de kaders van de mensenrechten plaats vinden, ook als
gebruik wordt gemaakt van algoritmische besluitvormingssystemen. Dat staat voorop.

Wetgeving

Om mensenrechten te beschermen, moeten overheden zich aan de huidige wet- en regelgeving
houden en wordt nieuwe wet- en regelgeving voorbereid die ook op algoritmische besluitvormingssystemen
van toepassing is.

Er is al een kader dat algoritmische besluitvorming reguleert: de Grondwet en de fundamentele
mensenrechten vereisen dat een inbreuk op een recht alleen is toegelaten indien deze
wettelijk is geregeld en noodzakelijk en proportioneel is. Domein-specifieke wetgeving
reguleert de bevoegdheid waaruit besluitvorming volgt; het bestuursprocesrecht stelt
regels aan besluitvorming, zoals de motivering ervan en hoor en wederhoor. De privacy-
en gegevensbeschermingswetgeving (waaronder de Algemene Verordening Gegevensbescherming
(AVG)) stelt regels aan het gebruik van persoonsgegevens en geautomatiseerde besluitvorming
met behulp van persoonsgegevens. Het non-discriminatierecht verbiedt het maken van
een (ongerechtvaardigd) onderscheid tussen mensen.

Het moet vanzelfsprekend zijn dat de overheid volgens deze juridische kaders werkt,
ook bij het gebruik van algoritmen. In elke fase van de levenscyclus van algoritmische
besluitvormingssystemen (ontwerpen, bouwen, testen, gebruiken en monitoren) moet aandacht
zijn voor de risico’s voor mensenrechten. Dat is belangrijk, omdat er mensenrechtelijke
risico’s kunnen kleven aan techniek die niet goed werkt, niet goed gebruikt wordt
of moeilijk te doorgronden is.3 Een algoritme dat niet goed werkt of verkeerd gebruikt wordt, kan bijvoorbeeld discriminerende
vooroordelen bevatten die onvoldoende worden herkend.

Specifiek voor AI-systemen met een hoog risico voor mensenrechten, de gezondheid en
veiligheid is er wetgeving in voorbereiding die met name de ontwikkelingsfase van
deze systemen verder reguleert. Deze conceptwetgeving is in belangrijke mate van toepassing
op algoritmische besluitvormingssystemen bij de overheid. De Europese Commissie heeft
in 2021 de AI-verordening voorgesteld en Nederland draagt met de andere EU-lidstaten
bij aan de totstandkoming ervan. Deze concept verordening verbiedt een aantal AI-toepassingen
die onaanvaardbare risico’s voor mensenrechten met zich meebrengt. Voor AI-systemen
met een hoog risico is voorzien in een set eisen aan de ontwikkeling en ingebruikname
van deze systemen waaraan aantoonbaar moet zijn voldaan (waarin mensenrechten worden
meegenomen). Zo moet een risicoanalyse worden gedaan en worden onder andere eisen
gesteld aan de datakwaliteit; de accuraatheid van het systeem; moet het systeem voldoende
transparant zijn voor degene die het toepast en moet er adequaat menselijk toezicht
op mogelijk zijn. Ook de accuratesse, de robuustheid tegen fouten en de beveiliging
moeten in orde zijn. Met een beoordeling vooraf moeten aanbieders van zulke hoog-risico
toepassingen aantonen dat het AI-systeem werkt in overeenstemming met deze eisen.
Voor andere specifieke AI-systemen (emotieherkenning, deepfakes, bots) zijn aanvullende
transparantieverplichtingen opgenomen.

Ook werkt de Europese Commissie aan andere wetsvoorstellen, zoals de Digital Services
Act, en een herziening van het productaansprakelijkheidsrecht, die verschillende aspecten
van de digitale samenleving, inclusief algoritmen, reguleren. Het uitgangspunt hierbij
is de bescherming van mensenrechten bij de digitale transitie.

Naast de EU werkt ook de Raad van Europa aan een juridisch raamwerk voor AI, specifiek
om mensenrechten en de democratische rechtsstaat te beschermen. Hierin wordt naar
het zich laat aanzien extra aandacht besteed aan een mensenrechten impact assessment
en aan het gebruik van algoritmische besluitvormingssystemen bij de overheid. Ook
hier speelt Nederland een actieve rol. De onderhandelingen zijn gestart. Aan de Kamer
zal ik een zo volledig mogelijk beeld geven van de mogelijke inhoud van het ontwerpverdrag.

Hoewel er in nationaal en Europees verband het nodige loopt op wetgevende terrein,
blijft het kabinet alert op de toekomstbestendigheid van de juridische kaders in relatie
tot algoritmen. Na de zomer volgt een reactie op recent AI-onderzoek van de Wetenschappelijke
Raad voor het Regeringsbeleid hierover.4

Versterking van de naleving

De beleidsmatige en juridische kaders moeten niet alleen toekomstbestendig zijn, maar
ook in de praktijk worden nageleefd.

Het bewustzijn van de ethische en juridische kaders met betrekking tot de inzet van
algoritmen is bij uitvoeringsorganisaties dus van groot belang. In het geval van verwerking
van persoonsgegevens moet een gegevensbeschermingseffectberoordeling (DPIA/GEB) worden
gedaan als er een hoog risico bestaat voor de rechten en vrijheden van natuurlijke
personen en bij de totstandkoming van wetgeving. Die GEB omvat ook een discriminatietoets.
De overheid moet van de naleving van het gegevensbeschermingsrecht prioriteit maken.
Momenteel doet het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC) van het
Ministerie van Justitie en Veiligheid daarom onderzoek naar manieren om die naleving
te verbeteren. De verwachting is dat dit onderzoek in het tweede kwartaal van 2022
is afgerond.5

Om wetten en regels beter toepasbaar te maken, zijn er daarnaast diverse hulpmiddelen
en instrumenten ontwikkeld, zoals de Richtlijnen voor het gebruik van algoritmen door
overheden, de Handreiking non-discriminatie by design om bias en non-discriminatie
vroegtijdig te herkennen, een Impactassessment Mensenrechten en Algoritmen (IAMA)
die risico’s voor mensenrechten in kaart brengt en een Code Goed Digitaal Bestuur
met beginselen die richting geeft aan een verantwoorde inzet van technologie. Omdat
er inmiddels diverse toetsingsinstrumenten en werkmethoden zijn ontwikkeld, wil ik
kijken naar het gebruik ervan in de praktijk en of/waar stroomlijning aan de orde
kan zijn. Ik heb uw Kamer toegezegd te onderzoeken of «non-discriminatie by design»
actief verspreid kan worden,6 en of het IAMA verplicht kan worden.7 In de zomer zal ik uw Kamer informeren over de samenloop en praktische uitvoering
van deze instrumenten bij de overheid.

Het Rathenau Instituut heeft onderzocht hoe uitvoeringsorganisaties met AI, specifiek
pilots met algoritmische profilerende systemen, omgaan en wat hun werkwijze nodig
heeft om beter mensenrechten te beschermen. Dit is van nut voor het Platform Gemeenten
en Mensenrechten, waarin lokale praktijken worden uitgewisseld op het snijvlak van
mensenrechten en lokaal beleid en uitvoering. Tevens werkt het bureau Hooghiemstra
en Partners in opdracht van BZK aan een werkmethode om de kwaliteit van het gebruik
van algoritmen bij de overheid beter te beoordelen waardoor de interne controle en
toezicht versterkt worden. De resultaten daarvan zal ik voor het zomerreces naar de
Kamer sturen.

Met ontwikkelingen als »Calculemus-FLINT en Wendbaar wetgeven wordt door verschillende
ministeries samengewerkt aan werkmethoden en instrumenten die bijdragen aan zorgvuldige
vertaling van wetten naar algoritmen en mogelijkheden voor uitlegbaarheid van geautomatiseerd
genomen besluiten. Daarnaast is recent een start gemaakt met een centrale vindplaats
voor open regels,8 zodat burgers dit vertaalproces beter kunnen controleren.

Voor toezicht, verantwoording en rechtsmiddelen verwijs ik u naar de reactie op aanbeveling
6, 7 en 9.

2. Geen black box-systemen in de publieke sector

regeringen moeten afzien van het gebruik van black box-systemen in risicovolle situaties,
zoals bij de opsporing van fraude in de sociale zekerheid.

Onder Black box-systemen verstaan we AI-systemen die zo complex zijn dat niet of niet
volledig te reconstrueren is, hoe een uitkomst of resultaat tot stand is gekomen.
Om die reden moet de overheid terughoudend zijn met het gebruik van black box systemen,
zeker in genoemde risicovolle situaties.

Overheidsbesluiten moeten zorgvuldig tot stand komen en adequaat worden gemotiveerd.
Wanneer algoritmen worden ingezet, is dat niet anders. Er is ook overheidsoptreden
dat niet (direct) tot een besluit leidt of anderszins rechtsgevolgen heeft. Het gaat
dan veelal om feitelijk handelen en onderzoek. Ook dit handelen is genormeerd. Naast
op de mensenrechten en de algemene beginselen van behoorlijk bestuur kan in het bijzonder
ook worden gewezen op de AVG, die de verwerking van persoonsgegevens normeert.

Het kabinet heeft al langer als uitgangspunt dat overheidsorganisaties in beginsel
geen algoritmen hanteren die te complex zijn om redelijkerwijs te kunnen worden uitgelegd,
in elk geval niet indien het gebruik van algoritmen rechtsgevolgen of een aanmerkelijke
impact heeft op burgers, bedrijven of (groepen in) de samenleving. Dit uitgangspunt
is neergelegd in de richtlijnen voor het gebruik van algoritmen door overheden.9

Verder verwijs ik naar aanbeveling 1 en het daarin beschreven gebruik van instrumenten
ter ondersteuning en de recent voorgestelde AI-verordening die aan hoog-risico systemen
diverse eisen stelt om schendingen van mensenrechten te voorkomen.

3. Regulering van zelflerende algoritmen voor impactvolle besluitvorming

regeringen moeten de inzet verbieden van zelflerende algoritmen tijdens de gebruiksfase
van algoritmische besluitvormingssystemen in de publieke sector als het gaat om a)
besluitvorming met rechtsgevolgen, b) besluitvorming en handelingen die de rechten
en vrijheden van individuen aantasten, en c) besluitvorming en handelingen die een
grote impact hebben op de samenleving.

Zoals hiervoor (onder aanbeveling 1) uiteengezet bieden de huidige juridisch kaders
al de nodige waarborgen voor een verantwoorde inzet van algoritmen bij overheidsbesluitvorming
en zet ik in op hulpmiddelen en nieuwe regels die moeten borgen dat algoritmische
systemen bij hoge risico’s voor de rechten en vrijheden, voordat ze in gebruik worden
genomen, zorgvuldig worden getoetst.

Het is goed om te kijken naar het onderscheid tussen de gebruiksfase en ontwikkelfase.
Algoritmen die machinaal leren zonder menselijk toezicht of automatisch herijkt worden
op basis van hun eigen uitvoer (feedback loop) hebben extra aandacht en menselijke controle nodig. Daarom is het goed dat de AI-verordening
eisen stelt aan de ontwikkeling van AI-systemen met een hoog risico, en dat deze systemen
vervolgens blijvend gecontroleerd worden als er aanpassingen plaatsvinden in de werking
van het systeem. Daarnaast moet het functioneren bijgehouden worden en is menselijke
controle nodig. Ook kan het gebruik van impact assessments hierin helpen.

In bepaalde gevallen kan een verbod aan de orde zijn. De voorgenomen AI-Act kent bijvoorbeeld
een verbod op social scoring: Systemen die namens de overheid op grote schaal de betrouwbaarheid van burgers op
basis van hun gedrag evalueren.

4. Openbaar register voor algoritmische besluitvormingssystemen

regeringen dienen een zo groot mogelijke transparantie te bieden met betrekking tot
het gebruik van algoritmische besluitvormingssystemen in de publieke sector, door
een openbaar register in te stellen dat gedetailleerde en uitgebreide informatie bevat
over het gebruik van algoritmische besluitvormingssystemen in de publieke sector.

Het kabinet vindt transparantie over het gebruik van algoritmische besluitvormingssystemen
in de publieke sector van groot belang omdat dit het publiek en het parlement beter
in staat stelt om te controleren hoe de overheid werkt. Daarbij kan publieksvoorlichting
een rol spelen,10 en het gebruik van algoritmeregisters.

De Tweede Kamer heeft moties aangenomen voor het invoeren van een algoritmeregister
door overheden,11 en om deze ook verplicht te stellen.12 Om aan deze wens tegemoet te komen wil ik nationaal al aan de slag met een algoritmeregister.
Ik maak daarbij dankbaar gebruik van ervaringen met recent opgezette bestaande algoritmeregisters
(zoals die van Amsterdam, Utrecht en Rotterdam). Met de CIO’s van de Rijksdienst heb
ik afgesproken dat zij beginnen met het in het kaart brengen van hun algoritmen en
maak ik met medeoverheden en uitvoeringsorganisaties afspraken over eenduidige registratie
van algoritmen. Op de juridische en beleidsmatige keuzes die hierbij spelen wil ik
in de zomer terugkomen.

Een verplicht register voor algoritmische systemen moet namelijk bij wet geregeld worden, en die
verplichting moet bezien worden in relatie tot de Europese AI-verordening, in het
bijzonder de voorgestelde rechtstreeks werkende verplichting om informatie over AI-systemen
op te nemen in een EU-database. Deze verplichting is van toepassing op de leveranciers
van de hoog-risico systemen genoemd in Bijlage III van de verordening. Algoritmische
besluitvormingssystemen die worden ingezet op overheidsterreinen, zoals rechtshandhaving
en (ter bepaling van toegang tot) publieke diensten, vallen hieronder voor zover zij
beantwoorden aan de in de verordening opgenomen definitie van AI. Deze verplichting
geldt alleen voor de aanbieders van deze systemen. Hoewel overheden zelf ook hoog
risico AI-systemen ontwikkelen (en dan dus ook als aanbieder worden aangemerkt), zal
het dus niet altijd de overheid zijn die registreert. In EU-verband zet Nederland
zich er dan ook voor in dat ook gebruikers registreren dat zij gebruik maken van een
hoog-risico systeem en dat aan burgers melden, Zo is niet alleen duidelijk welke hoog-risico
systemen ontwikkeld zijn, maar ook waar ze worden gebruikt.

Mijn inzet is dat het voor burgers kenbaar moet zijn hoe de overheid algoritmische
besluitvormingssystemen gebruikt, zeker als ze met die besluiten geconfronteerd worden.
Registers kunnen daar een belangrijke rol in spelen.

5. Transparantie bij (semi-)geautomatiseerde besluitvormingssystemen

regeringen dienen volledig transparant te zijn over algoritmische besluitvormingssystemen
en de betrokken mensen zinvolle informatie te verstrekken over de onderliggende logica,
het belang en de verwachte gevolgen van beslissingen, zelfs indien de besluitvorming
niet volledig geautomatiseerd is, en ongeacht de mate van menselijke betrokkenheid
bij het besluitvormingsproces.

Zoals aangegeven in een eerdere brief over transparantie van algoritme gebruik door
de overheid bestaan er verschillende transparantieverplichtingen, die voortvloeien
uit het bestuursrecht, de privacywetgeving, en uit de regels rond de open overheid.13 Daarbovenop geldt beleid over publieksvoorlichting over data-analyses.14

Bestuursorganen moeten besluiten steeds deugdelijk motiveren. Dit is niet anders indien
die besluiten geheel of gedeeltelijk geautomatiseerd zijn genomen. Het is van belang
dat bij geautomatiseerd genomen besluiten inzicht kan worden gegeven in de algoritmen
(beslis- en rekenregels) die aan het besluit ten grondslag liggen. Ontwikkelingen
als Calculemus-FLINT en Wendbaar wetgeven, die hiervoor onder «versterking van de
naleving» genoemd zijn, kunnen hieraan bijdragen.

Als ook persoonsgegevens worden verwerkt moet de overheid aan de transparantie eisen
uit de AVG voldoen, en als deze verwerking het karakter van geautomatiseerde besluitvorming
heeft, moet zij de betrokkene daarover informeren, en nuttige informatie verschaffen
over de onderliggende logica.

Op grond van de Wet open overheid kan het geboden zijn om algoritmen die de overheid
gebruikt, openbaar te maken, maar openbaarmaking kan achterwege blijven als sprake
is van een of meer in die wet genoemde weigeringsgronden, zoals nationale veiligheid.

Er kunnen redenen zijn om het gebruikte algoritme zelf, of informatie over de werking
hiervan, niet (geheel) of slechts beperkt openbaar te maken. Te denken valt aan situaties
waarin de geboden transparantie kan leiden tot calculerend gedrag (gaming the system), bijvoorbeeld het frauduleus opzoeken van drempelwaardes. De mate van te bieden
transparantie moet in die gevallen afgewogen worden tegen het risico op misbruik van
deze informatie. Deze afweging moet leiden tot een beargumenteerde keuze om de te
verstrekken informatie in te perken, door deze bijvoorbeeld op een hoger abstractie-
of aggregatieniveau te publiceren. Ook in die gevallen is de overheid uiteraard gebonden
aan de mensenrechten en aan wetgeving zoals de AVG en moet in voorkomende gevallen
wel inzage gegeven worden aan de rechter wanneer die een besluit toetst. Ook aan de
(sectorale) toezichthouder dient openheid van zaken gegeven te worden.

De in aanbeveling 1 aangehaalde AI-verordening verplicht aanbieders van hoog-risico
AI-systemen die systemen voldoende volgbaar te maken. Dit zou uiteindelijk andere
vormen van transparantie ten goede moeten komen. In de Raad van Europa is speciale
aandacht voor de transparantie van algoritmische besluitvormingssystemen bij de overheid.

6. Beoordeling van het effect op de mensenrechten

regeringen moeten een verplichte en bindende mensenrechtentoets invoeren bij het gebruik
van algoritmische besluitvormingssystemen in de publieke sector, ook wanneer deze
systemen worden gebruikt door wetshandhavingsinstanties. De mensenrechtentoets moet
worden uitgevoerd tijdens de ontwerp-, ontwikkelings-, gebruiks- en evaluatiefase
van algoritmische besluitvormingssystemen.

Het effect op alle relevante mensenrechten, met inbegrip van sociale en economische
rechten, moet vakkundig worden beoordeeld. Bij het proces moeten relevante belanghebbenden
worden betrokken, waaronder onafhankelijke mensenrechtendeskundigen, toezichthouders,
mensen uit potentieel getroffen, gemarginaliseerde en/of achtergestelde gemeenschappen,
en technische deskundigen.

Er vinden verschillende toetsen van het effect op mensenrechten plaats bij het gebruik
van algoritmen in de publieke sector.

In de eerste plaats is er de wetgevende toets: overheidsoptreden vindt immers plaats
op basis van wettelijke bevoegdheden die getoetst worden aan mensenrechten. Het Integraal
afwegingskader voor beleid en regelgeving (IAK) biedt beleidsmakers en wetgevingsjuristen
de kwaliteitseisen waaraan voorgenomen beleid en regelgeving moeten voldoen. In het
bijzonder moeten hier worden genoemd de «Model DPIA Rijksdienst» en de onlangs geactualiseerde
Handreiking constitutionele toetsing vastgesteld door de Minister van Binnenlandse
Zaken en Koninkrijksrelaties die aan uw Kamer is toegestuurd.15

Voor de ontwikkeling en het gebruik van algoritmische systemen bestaan inmiddels diverse
verplichte en vrijwillige toetsingskaders, zoals de verplichte DPIA/GEB op grond van
de AVG (indien bij algoritmische systemen persoonsgegevens worden verwerkt) en de
risicoanalyse uit de voorgestelde AI-verordening. In de Raad van Europa wordt gesproken
over een verdrag met als mogelijk element een mensenrechten impact assessment. Hoewel
de DPIA verplicht is, zijn nog niet al deze instrumenten af of onvoldoende in gebruik,
en we moeten ervoor zorgen dat er duidelijkheid bestaat in welke gevallen welk instrument
wordt ingezet en dat zij een vaste plek krijgen in onze werkprocessen. Algoritmische
besluitvormingssystemen moeten worden getoetst op hun effect op mensenrechten.

In de reactie op aanbeveling 1 is daarop ingegaan en heb ik aangegeven in de zomer
terug te komen op de samenloop van deze instrumenten en of stroomlijning en aanvulling
nodig is.16

7. Alomvattend toezicht op de mensenrechten

regeringen dienen alomvattende en onafhankelijke mechanismen op te zetten voor mensenrechtentoezicht
op het gebruik van algoritmische besluitvormingssystemen, waarbij toezicht wordt gehouden
op de naleving van zowel burger- en politieke rechten als sociale en economische rechten,
zodat de verantwoordingsmechanismen worden versterkt en de mensenrechten beter beschermd.
Het toezichtsorgaan dient het mandaat, de bevoegdheden en de capaciteit te krijgen
om toe te zien op de bescherming van de mensenrechten bij het gebruik van algoritmische
besluitvormingssystemen in de publieke sector. Zij dient richtsnoeren uit te kunnen
vaardigen, en ontwerpers, ontwikkelaars en gebruikers ter verantwoording te kunnen
roepen in bindende besluiten.

Om toezicht op algoritmen te verbeteren wordt het bestaande nationale toezichtlandschap
op het gebied van algoritmen geëvalueerd, werkt dit kabinet aan een aparte algoritmetoezichthouder,
en wordt in EU-verband gewerkt aan verbeterd toezicht in de AI-verordening.

Als bij algoritmen gebruik wordt gemaakt van persoonsgegevens houdt de Autoriteit
Persoonsgegevens daar toezicht op, en op het effect van die verwerking op de vrijheden
en mensenrechten. Het College voor de Rechten van de Mens beschermt, belicht en bevordert
de mensenrechten in Nederland, onder andere door onderzoek, advies en voorlichting.
Zo heeft het College bijvoorbeeld onderzoek gedaan naar (semi-)geautomatiseerde besluitvorming
bij gemeenten en mensenrechten en een toetsingskader opgesteld voor het gebruik van
bijvoorbeeld nationaliteit in risicoprofielen.17

Het kabinet heeft in het coalitieakkoord aangegeven dat er een algoritmetoezichthouder
wordt opgericht. Op dit moment wordt gewerkt aan de oprichting daarvan, waarbij onder
meer wordt gekeken naar de taken en inrichting. Deze toezichthouder wordt ondergebracht
bij de Autoriteit Persoonsgegevens. Daarnaast laat ik een onderzoek uitvoeren naar
een werkmethode waarmee uitvoeringsorganisaties die algoritmen gebruiken in hun processen,
zelf kwaliteitsmechanismen kunnen inbouwen in het proces van ontwikkeling en gebruik
van die algoritmen, en aan de hand daarvan inzicht kunnen bieden in (de werking van)
die algoritmen. Meer informatie over de toezichthouder en over het onderzoek zal ik
in de zomer naar uw Kamer sturen. Eind 2022 is bovendien een vervolg evaluatie gepland
voor het onderzoek «Toezicht op het gebruik van algoritmen door de overheid,» waarin
we kijken of de versterkingsacties die op basis van het oorspronkelijke onderzoek
zijn aangekondigd, voldoende effect hebben.

Ook in de voorgestelde AI-verordening wordt een voorstel gedaan voor toezicht op AI-systemen.
Zo houden sectorale toezichthouders toezicht op de conformiteit van de hoog-risico
systemen binnen hun sector met de eisen uit de AI-verordening die de veiligheid en
de mensenrechten ten goede moeten komen. Daarnaast komt er één coördinerende toezichthouder
die de naleving van de verordening moet bevorderen.

8. Geen profilering op basis van ras of etnische afkomst

regeringen moeten een duidelijk, ondubbelzinnig en juridisch bindend verbod instellen
op het gebruik van gegevens betreffende nationaliteit en etniciteit, of proxy’s daarvan,
in risicoprofilering voor wetshandhavingsdoeleinden bij het opsporen van potentiële
wetsovertreders of mogelijke verdachten van strafbare feiten of fraude.

Discriminatie is onacceptabel en verboden. Het non-discriminatiebeginsel uit het artikel
1 van onze Grondwet is daar heel helder over. Niet ieder onderscheid is discriminerend.
Als het maken van onderscheid een gerechtvaardigd doel heeft, een passende en geschikte
maatregel is en voldoet aan de eisen van subsidiariteit en proportionaliteit, dan
is sprake van een gerechtvaardigd onderscheid. Deze eisen zijn cumulatief: aan al
deze eisen moet worden voldaan, anders is er wel sprake van discriminatie. Overheidsorganisaties
die gebruik maken van risicoprofielen moeten zich ervan bewust zijn dat dit onderscheid
het risico van discriminatie met zich mee brengt en dat de inzet van dergelijke risicoprofielen
daarom moet voldoen aan de voornoemde eisen.

Dit volgt niet alleen uit artikel 1 van de Grondwet, maar ook uit de AVG en de Wet
politiegegevens en Wet justitiële en strafvorderlijke gegevens. Het College voor de
Rechten van de Mens heeft een mensenrechtelijk toetsingskader voor etnisch profileren
opgesteld. In dit kader staan de juridische maatstaven om te bepalen wanneer risicoprofielen
leiden tot discriminatie op grond van ras (waaronder etniciteit valt) of nationaliteit.
De basis voor dit kader zijn de non-discriminatiebepalingen uit het Europees Verdrag
tot bescherming van de Rechten van de Mens en de fundamentele vrijheden (EVRM) en
de jurisprudentie hierover.

Uw Kamer heb ik toegezegd dat ik het kader zal verspreiden en de toepassing ervan
zal stimuleren. Daartoe is een werkgroep ingericht die de komende maanden zal werken
aan de implementatie.18

9. Verantwoordingsplicht, doeltreffende rechtsmiddelen en verhaalsmogelijkheden

Regeringen moeten zorgen voor een zinvolle verantwoordingsplicht, daadwerkelijke rechtsmiddelen
en verhaalsmogelijkheden voor slachtoffers van mensenrechtenschendingen die verband
houden met het gebruik van algoritmische besluitvormingssystemen. Dit kan bijvoorbeeld
inhouden dat duidelijke, onafhankelijke en toegankelijke verhaalsprocedures worden
ingesteld en dat in de publieke sector functies worden aangewezen die verantwoordelijk
zijn voor het tijdig verhelpen van mensenrechtenschade, onderworpen aan toegankelijke
en doeltreffende beroepsmogelijkheden en rechterlijke toetsing.

Toegang tot een effectief rechtsmiddel is een mensenrecht.

Om rechtsbescherming mogelijk te maken, is het in de eerste plaats nodig dat de transparantie
omtrent algoritmen verder wordt bevorderd om zicht te krijgen op impactvolle algoritmische
besluitvormingssystemen. Zie daarvoor de aanbevelingen inzake algoritmeregisters en
transparantie (aanbeveling 4 en 5 in deze brief). Daarnaast moet beter gemonitord
worden op de kwaliteit van algoritmische besluitvormingssystemen (zie aanbeveling
1).

De democratische rechtstaat eist dat overheidsoptreden genormeerd is en dat daartegen
rechtsbescherming openstaat, of nu algoritmen worden gebruikt of niet. Hoe dat gebeurt
hangt af van of de overheid bestuursrechtelijk of strafrechtelijk optreedt en of sprake
is van een besluit met rechtsgevolgen of van feitelijk optreden.

De civiele rechter kan bij schending van een recht schadevergoeding toekennen (actie
uit onrechtmatige daad). De SyRi-uitspraak laat zien dat de civiele rechter het gebruik
van een systeem kan verbieden bij een onevenredig grote inbreuk op het privéleven
van burgers door de onderliggende wet onverbindend te verklaren.

Het kabinet heeft in november 2020 in reactie op het WODC-onderzoek naar de «modernisering
van het procesrecht in het licht van big data» geconcludeerd dat het onderzoek geen
lacunes in het huidig procesrechtelijk kader constateert. Met name door de ruime mogelijkheden
die het civiele recht biedt, is een gang naar de rechter mogelijk bij de onrechtmatige
inzet van data-analyses en algoritmische besluitvormingssystemen.

Naar aanleiding van genoemd onderzoek constateert het kabinet dat de financiering
van met name collectieve processen soms lastig van de grond komt. Teneinde de financiering
in de toekomst te vergemakkelijken wordt momenteel onderzoek verricht naar de mogelijkheden
om een processenfonds in te richten. Rechtsbescherming heeft de volle aandacht van
het kabinet en zal in samenloop met de bovenstaande trajecten worden bezien.

De voorgestelde AI-verordening stelt primair eisen aan de systemen zelf en minder
aan het gebruik ervan. Toch kan het nuttig zijn ook burgers en belangenorganisaties
een ingang te bieden die naleving stimuleert. Ik zoek daarom op dit moment uit of
en hoe in Europees verband vanuit Nederland een voorstel voor introductie van een
klachtenrecht gedaan kan worden in de AI-verordening. Ook hierover ga ik graag met
uw Kamer en het veld in gesprek.

AAN DE NEDERLANDSE REGERING:

1. Bied voldoende schadeloosstelling aan de slachtoffers van discriminatie vanwege
het gebruik van het risicoclassificatiemodel

Naast de compensatieregeling die reeds is ingesteld voor slachtoffers van andere schade
die is toegebracht tijdens het toeslagenschandaal, moet de Nederlandse regering een
tegemoetkoming bieden aan de ouders en verzorgers die door het risicoclassificatiemodel
mede op grond van hun niet-Nederlandse nationaliteit zijn geselecteerd, vanwege de
discriminatie op grond van nationaliteit, etniciteit, maatschappelijke afkomst en
etnische profilering. De regering moet in snelle en doeltreffende procedures voorzien
en een passende compensatie bieden.

Bij brieven van 26 november 202119 en 8 december 202120 is uw Kamer geïnformeerd over de werking van het Risicoclassificatiemodel Toeslagen
(hierna: model). Sinds juli 2020 is het model definitief niet meer in gebruik.21 Op 21 april jl.22 is uw Kamer ook geïnformeerd over de analyse op de uitkomsten van het model.

Het doel van het model was om toeslagaanvragers te behoeden voor fouten en oneigenlijk
gebruik te voorkomen. Het model bepaalde het risico op onjuistheden in de ontvangen
beschikkingen aan de hand van vooraf gedefinieerde indicatoren. Het gebruik van het
model kon als gevolg hebben dat onder andere Nederlanders met lage inkomens en alleenstaanden
en mensen met een andere nationaliteit, een grotere kans hadden om geselecteerd te
worden voor een handmatige beoordeling. Zonder dat hier een deugdelijke grondslag
voor was.

De vraag of een eventuele tegemoetkoming zou moeten worden geboden als gevolg van
het gebruik van het model wordt nog nader onderzocht. Bij brief van 21 april 2022
is uw Kamer geïnformeerd over het breder gebruik van de risicoscore van het risicoclassificatiemodel
dan enkel voor het selecteren van aanvragen die voor een handmatige behandeling in
aanmerking kwamen door Toeslagen. Het is belangrijk om met zekerheid te kunnen vaststellen
dat alle hierover relevante informatie bekend wordt. Daarom zal een extern onderzoek
worden uitgevoerd. Onder andere om te proberen te achterhalen hoe breed het gebruik
van de risicoscores van het risicoclassificatiemodel Toeslagen heeft plaatsgevonden,
met wie het is gedeeld en welke gevolgen dit voor burgers heeft gehad.

2. Verdrag 108+ ratificeren

De Nederlandse regering moet Verdrag 108+ van de Raad van Europa ratificeren en implementeren.

Het kabinet werkt aan de ratificatie van het C108+ verdrag.23 Naar verwachting zal het voorstel van wet tot goedkeuring in het voorjaar aan de
Raad van State worden aangeboden.

Conclusie

Ik wil nogmaals mijn dank uitspreken voor het belangrijke werk van Amnesty International.
De gebeurtenissen van de afgelopen jaren hebben onder meer laten zien dat de overheid
meer moet doen om mensenrechten te beschermen bij het gebruik van algoritmische besluitvormingssystemen.
De komende jaren werk ik hier met het kabinet aan. Hierbij zullen we kijken naar passende
waarborgen, ondersteunende initiatieven, de menselijke maat en hoe de inzet van algoritmen
hierbij kan helpen.

De Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties,
A.C. van Huffelen