Brief regering : Reactie op het onderzoek 'Algoritmes afwegen. Verkenning naar maatregelen ter bescherming van mensenrechten bij profilering in de uitvoering' van het Rathenau Instituut

33 826 Mensenrechten in Nederland

Nr. 922 BRIEF VAN DE STAATSSECRETARIS VAN BINNENLANDSE ZAKEN EN KONINKRIJKSRELATIES

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 7 oktober 2022

Bij deze bied ik uw Kamer een reactie aan op het onderzoek Algoritmes afwegen. Verkenning naar maatregelen ter bescherming van mensenrechten
bij profilering in de uitvoering van het Rathenau Instituut, dat op mijn verzoek is uitgevoerd. Graag wil ik mijn
waardering uitspreken voor dit rapport. Het onderzoek brengt in kaart welke maatregelen
uitvoeringsorganisaties nemen om bij de ontwikkeling en het gebruik van profilerende
systemen mensenrechten te borgen en hoe zij deze borging kunnen versterken. Ik kan
mij vinden in de aanbevelingen en ga daarmee aan de slag. Dit onderzoek is bruikbaar
voor alle overheidsorganisaties en is een goede eerste stap om te komen tot een compleet
pakket van maatregelen en inzicht te krijgen in de mate waarin overheden gereed zijn
om mensenrechten te borgen bij de inzet van algoritmen.

Het Rathenau Instituut heeft in dit onderzoek gekeken naar drie pilots bij uitvoeringsinstanties:

(1) een pilot gericht op het innen van openstaande boetes en het voorkomen van schuldenoploop
van het Centraal Justitieel Incassobureau (CJIB);

(2) een pilot gericht op het opsporen van bewust of onbewust misbruik van AOW-uitkeringen
voor alleenstaanden van de Sociale Verzekeringsbank (SVB) en;

(3) een pilot gericht op het detecteren van specifieke regelovertredingen en het bieden
van hulp bij het vinden van werk van het Uitvoeringsinstituut Werknemersverzekeringen
(UWV).

Het onderzoek laat zien dat de inzet van algoritmen nuttig kan zijn in de uitvoering
van overheidstaken en kansen biedt om maatschappelijke opgaven aan te pakken. Maar
ik zie ook1 dat algoritmen vooral worden ingezet om misbruik aan te pakken: bij opsporing, inspectie
en handhaving. Ik wil dat algoritmen meer worden ingezet om burgers te helpen, bijvoorbeeld
bij het gebruik van regelingen zoals bij UWV en SVB. En dat algoritmen alleen worden
gebruikt wanneer het echt nodig is om de overheid goed te laten werken. Daarbij moeten
we ons als overheid baseren op heldere juridische eisen en ethische beginselen, en
die overal eenduidig toepassen in organisaties. Deze juridische eisen en beginselen
blijven we binnen de overheid vaststellen en verplichten, in één implementatiekader
voor de inzet van algoritmen, en in Europa in de AI-verordening voor ontwikkelaars.
Ik voel ook een verantwoordelijkheid om het gesprek daarover binnen de overheid en
tussen overheden op gang te brengen, en kennis te delen voor een goede implementatie.
Dit met als doel dat algoritmen vooraf worden getoetst en gedurende het gebruik steeds
weer worden onderzocht op datakwaliteit, proportionaliteit en mogelijke bias. Op deze
algoritmen moet helder toezicht worden ingericht, vooraf, tijdens en na het gebruik.
En de werking en inzet moeten transparant zijn, waarbij het duidelijk is waar burgers
en bedrijven hun recht kunnen halen wanneer ze menen dat het algoritme onrechtmatig
wordt ingezet.

Het onderzoek laat ook zien dat uitvoeringsorganisaties voor een complex vraagstuk
staan: hoe zorg je ervoor dat je je wettelijke taak op effectieve wijze uitvoert,
waarbij je tegelijkertijd alle mogelijke waarborgen treft om mensenrechten bij de
taakuitoefening te beschermen? Ik heb waardering voor de initiatieven die uitvoeringsorganisaties
nemen om wettelijke vereisten te vertalen naar een hanteerbare praktijk en om ethische
expertise in de organisaties te versterken. De kennis uit de praktijk is onmisbaar
bij het naleven van bestaande richtlijnen en kaders.

Op basis van het onderzoek en de ervaringen uit de praktijk zal ik de komende jaren
tot een compleet pakket van maatregelen komen om de mensenrechten bij de inzet van
algoritmen bij overheidsorganisaties te borgen. We doen dat samen met andere landen
via Europese regelgevingstrajecten en zetten nu al stappen waar dat kan.

Een van deze maatregelen is het inrichten en wettelijk verplichten van het gebruik
van een algoritmeregister voor in ieder geval hoog-risico algoritmen door overheidsorganisaties.
Uitgangspunt is dat overheden zelf verantwoordelijk zijn voor het opstellen en beheer
van een algoritmeregister. Het kabinet gaat in overleg met overheden om te komen tot
een eenduidige registratie van algoritmen. Om het algoritmeregister zo in te richten
dat het beheer daarvan haalbaar is voor de uitvoering, zal een uitvoeringstoets worden
uitgevoerd. Ik heb de betrokken organisaties gevraagd om de algoritmen die de afgelopen
tijd zijn doorgelicht zoveel mogelijk voor het eind van het jaar in het register te
publiceren. Daarnaast zal mijn inzet zijn om het komend jaar de verschillende bestaande
instrumenten samen te voegen en te stroomlijnen in één implementatiekader voor algoritmen
op basis waarvan overheidsorganisaties aan de slag kunnen. Om ervoor te zorgen dat
het implementatiekader zo uitvoerbaar mogelijk is, zal ten aanzien van het kader een
uitvoeringstoets plaatsvinden.

Hoewel de huidige juridische kaders al de nodige waarborgen bieden voor een verantwoorde
inzet van algoritmen2, zal bij het implementatiekader aandacht zijn voor non-discriminatie, menselijke
tussenkomst, proportionaliteit3 en al bestaande verplichtingen rondom IT-beheer en gegevensverwerkingsbeheer. Ook
is er geld beschikbaar gesteld voor een onafhankelijke algoritmetoezichthouder. Ik
wil dit implementatiekader samen met overheden en experts gaan uitwerken. Ik neem
dit onderwerp mee in de werkagenda Digitalisering, die uw Kamer in oktober ontvangt.

In het vervolg van deze brief ga ik in op de concrete aanbevelingen uit het onderzoek
en geef ik aan hoe wij daar opvolging aan (gaan) geven.

Het onderzoek doet een zevental aanbevelingen:

1. Zorg dat juridische vereisten en ethische beginselen beter hanteerbaar worden

2. Stimuleer ethische expertise in de gehele organisatie

3. Blijf investeren in privacy-toetsing

4. Versterk de manier waarop biastoetsing plaatsvindt

5. Investeer in actieve informatievoorziening

6. Versterk de waarborgen voor procedurele rechten; en

7. Voorkom verkokering bij de ontwikkeling en beoordeling van algoritmische toepassingen
en verbeter dienstverlening.

Op deze aanbevelingen ga ik hieronder gebundeld in.

Aanbeveling 1, 6 en 7: Hanteerbaarheid richtlijnen, procedurele waarborgen en voorkomen
van verkokering

Het Rathenau Instituut concludeert dat uitvoeringsorganisaties mensenrechtelijke risico’s
bij de inzet van profilering onderkennen, met name als het gaat om risico’s op het
gebied van privacy, gebrekkige transparantie, beperkte uitlegbaarheid en ontbrekende
menselijke tussenkomst. Maar het komt ook tot de conclusie dat uitvoeringsorganisaties
zoekende zijn hoe zij concreet invulling moeten geven aan juridische eisen. Daarom
adviseert het Rathenau Instituut dat bestaande juridische vereisten en ethische beginselen
beter hanteerbaar worden, dat waarborgen voor procedurele rechten versterkt worden
en dat verkokering bij de ontwikkeling en beoordeling van algoritmische toepassingen
wordt voorkomen.

Bestaande juridische eisen zijn – om goede redenen – vaak in algemene termen omschreven.
Dat vraagt in de praktijk om een vertaalslag, bijvoorbeeld in de vorm van impact assessments,
de ontwikkelde normenkaders of handreikingen die juridische eisen verhelderen. Het
Ministerie van BZK heeft om die reden onder meer het Impact Assessment Mensenrechten
Algoritmen (IAMA), Code Goed Digitaal Openbaar Bestuur (CODIO) en de handreiking non-discriminatie
by design laten ontwikkelen. Het College van de Rechten van de Mens ontwikkelde het
toetsingskader voor risicoprofielen. Het Rathenau Instituut geeft aan dat de totstandkoming
van dit soort instrumenten een goede ontwikkeling is en uitvoeringsorganisaties kan
helpen om beter aan de juridische eisen te voldoen, maar dat er ook onduidelijkheid
is over de vraag hoe deze hulpmiddelen zich tot elkaar verhouden en welk instrument
leidend moet zijn. Verschillende uitvoeringsorganisaties zijn nu zelf bezig om een
normenkader op te stellen dat aangeeft hoe mensenrechtelijke aspecten belegd kunnen
worden.

Ik neem deze kennis en inzichten mee om te komen tot het zojuist genoemde implementatiekader
«inzet van algoritmen» voor het Rijk en andere overheden die ervoor moet zorgen dat
er duidelijkheid bestaat in welke gevallen welk instrument wordt ingezet en welke
vaste (verplichte) plek dit krijgt in de werkprocessen. Deze is uitdrukkelijk bedoeld
om de bestaande instrumenten en hulpmiddelen meer in samenhang te brengen, en zaken
als biastoetsing, menselijke controle, bezwaarmogelijkheden, uitlegbaarheid en proportionaliteit
hierin een plek te geven. Ik ga dit implementatiekader samen met overheden uitwerken.

Daarnaast zal ik voor het inschatten van mensenrechtelijke risico’s een verzoek aan
circa 20 overheden (Rijk, provincies en gemeenten) doen om een IAMA toe te passen
om vast te stellen of alle aandachtspunten rondom de inzet van algoritmen voldoende
meegenomen zijn. Op basis van de toepassing van het IAMA voor een bepaald algoritme
zal het IAMA geëvalueerd en doorontwikkeld worden. Vanaf dit najaar zal ik een experttafel
organiseren waar overheden en uitvoeringsorganisaties kennis kunnen delen en van elkaar
kunnen leren, zodat we de komende jaren tot een compleet overzicht kunnen komen van
hoe overheden mensenrechten borgen bij de inzet van algoritmen bij overheidsorganisaties.
Op basis van de motie van Kamerleden Bouchallikh (GroenLinks) en Dekker-Abdulaziz
(D66), om het gebruik van het IAMA te verplichten, zal het IAMA of een soortgelijk
instrument op den duur een meer verplichtend karakter krijgen (Kamerstuk 26 643, nr. 835). Dit bezie ik wel in samenhang met bestaande verplichtingen, zoals een DPIA, en
de nieuwe verplichtingen die uit de Europese AI-verordening4 volgen voor ontwikkelaars.

Aanbeveling 2, 3: Stimuleren van ethische expertise en blijven investeren in privacytoetsing

Het Rathenau Instituut adviseert ook om ethische expertise in de gehele organisatie
te stimuleren. Ik stel vast dat uitvoeringsorganisaties hier goede stappen in zetten
en zal de komende jaren naar een compleet overzicht toewerken hoe organisaties hiermee
omgaan. Ethiek is wat mij betreft vooral ook onderdeel van goed gedrag waarbij zowel
het navolgen van wet- en regelgeving als ruimte voor reflectie onontbeerlijk zijn.
In het toetsingskader van de Algemene Rekenkamer is ethiek één van de vijf perspectieven.
De Algemene Rekenkamer heeft ethiek verder geoperationaliseerd in verschillende principes.
Ethiek als toetsingscriterium gebruiken, stimuleert organisaties om in het ontwerp
en het gebruik meer ethische overwegingen te maken en te expliciteren. Naast ethiek
als onderdeel van toetsing is het belangrijk om te investeren in kennis. In de opleiding
van I-trainees, de nieuwe informatieprofessionals van de overheid, wordt specifiek
bij de ethische aspecten van digitalisering stil gestaan. De Rijksacademie voor Digitalisering
en Informatisering Overheid (RADIO) biedt ook trainingen aan op het snijvlak van ICT
en ethiek, zoals over digitale grondrechten en data gedreven organisaties en ethiek.

Tevens worden op basis van de Interbestuurlijke Data Strategie regels ontwikkeld voor
data-ethiek in de publieke sector. We gaan bij datagebruik vroegtijdig integrale afwegingen
maken tussen wat ethisch wenselijk is, juridisch is toegestaan en technisch kan. Dit
betekent niet dat we stoppen met data verzamelen en delen. Data kunnen enorm behulpzaam
zijn voor overheden om burgers beter te ondersteunen en om maatschappelijke problemen
aan te pakken, zoals de energietransitie, armoedebestrijding en het stikstofdossier.5Daarom is er een adviesfunctie «verantwoord datagebruik» gestart: een loket om afwegingen
rondom concrete casussen te kunnen maken en hierover het gesprek te voeren met mensen
vanuit verschillende disciplines. Vaak speelt privacy en de bescherming van persoonsgegevens
daarin een belangrijke rol. Met de AVG is er al een kader voor de bescherming van
persoonsgegevens, ook bij algoritmische toepassingen bij de overheid. Het kabinet
heeft daarbovenop recent een onderzoek laten starten naar de naleving door de overheid
van de AVG. Het onderzoek wordt door het Wetenschappelijk Onderzoek- en Documentatiecentrum
(WODC) uitgevoerd. Ook het budget van de Autoriteit Persoonsgegevens wordt in het
coalitieakkoord (bijlage bij Kamerstuk 35 788, nr. 77) structureel verhoogd. In 2023 en 2024 is er respectievelijk 4 en 6 miljoen euro
extra en vanaf 2025 komt er structureel 8 miljoen euro bij.

Aanbeveling 4: Versterken van de manier waarop biastoetsing plaatsvindt

Het Rathenau Instituut adviseert ook om de manier waarop biastoetsing plaatsvindt
te versterken. Bij de inzet van algoritmen bestaat het risico dat op basis van trainingsdata
er een bias ontstaat die kan leiden tot onrechtmatige en ongelijke behandeling. Non-discriminatie
en gelijke behandeling moeten daarom basisbeginselen zijn bij het ontwerp, de ontwikkeling
en de toepassing (en «training») van digitale systemen.

Ik stel vast dat de uitvoeringsorganisaties die onderzocht zijn investeren in een
breed scala aan maatregelen om bias te toetsen, maar dat de biastoetsing effectiever
kan worden vormgegeven en dat expertise over biastoetsing beter gedeeld kan worden.
Daarom zal ik vanaf dit najaar een experttafel organiseren waar kennis over algoritmegebruik
bij de overheid gedeeld kan worden en organisaties van elkaar kunnen leren.

De toetsing van bias kan al met behulp van de hierboven genoemde handreiking non-discriminatie
by design die vorig jaar door het Ministerie van BZK is ontwikkeld. Omdat momenteel
nog onvoldoende duidelijk is hoe deze handreiking in de praktijk gebruikt wordt en
de impact daardoor lastig vast te stellen is, heb ik de Auditdienst Rijk gevraagd
om een advies uit te brengen hoe de bekendheid van deze handreiking vergroot kan worden.
Deze resultaten neem ik mee in het genoemde implementatiekader. Het is van belang
om in beeld te hebben waar bias of verkeerd datagebruik binnen de overheid leidt tot
discriminatie. Daarom breng ik n.a.v. de motie van het lid Marijnissen6 het gebruik van afkomstgerelateerde gegevens in rijksoverheidssystemen in kaart en
zet ik deze stop op het moment dat het gebruik onrechtmatig of oneigenlijk is.

Aanbeveling 5: Investeren in een actieve informatievoorziening

Het Rathenau Instituut concludeert dat onderzochte uitvoeringsorganisaties zoeken
naar de balans tussen actieve en passieve informatievoorziening, en het adviseert
om te investeren in een actieve informatievoorziening. Gelet op de gevoeligheid van
het onderwerp zoeken de organisaties naar de beste manier om over profilerende algoritmen
te communiceren. Er gelden diverse transparantieverplichtingen die al eerder in een
brief met uw Kamer zijn gedeeld.7

Maar het Rathenau Instituut komt ook tot de conclusie dat een algoritmeregister kan
helpen bij het vergroten van transparantie omtrent algoritme-inzet door de overheid.
Zoals ik in de inleiding al meldde, gaat het kabinet een algoritmeregister8 verplicht stellen voor overheidsorganisaties. Het algoritmeregister bevat in ieder
geval hoog-risico algoritmen. Uitgangspunt is dat overheden zelf verantwoordelijk
zijn voor het opstellen en beheer van een algoritmeregister. Het kabinet werkt aan
het op een centrale plek toegankelijk maken van algoritmen, gevoed door informatie
over algoritmen die overheidsorganisaties publiceren op hun eigen pagina. Het streven
is om algoritmen die de afgelopen tijd zijn doorgelicht zoveel mogelijk voor het eind
van het jaar in het register te publiceren. Het kabinet wil verder in overleg met
overheden komen tot een eenduidige registratie van algoritmen. De voorlopige uitgangspunten
van het algoritmeregister zijn geformuleerd. Dan gaat het onder andere om het doel
van het algoritme, de (verwachte) consequenties en de proportionaliteit van de inzet
van het algoritme.9 Om het algoritmeregister zo in te richten dat het beheer daarvan haalbaar is voor
de uitvoering, zal een uitvoeringstoets worden uitgevoerd.

Aanbeveling 7: Verbeteren van de dienstverlening

Als laatste adviseert het Rathenau Instituut om samen met uitvoeringsorganisaties
profilerende toepassingen te verkennen die de burger meer ondersteuning bieden. Het
kabinet heeft in de hoofdlijnenbrief Digitalisering (Kamerstuk 26 643, nr. 842) aangegeven te werken aan het realiseren van concrete verbeteringen in het leven
van mensen. Aan de hand van de werkagenda Werk aan Uitvoering10 worden data gebruikt om burgers te ondersteunen in het aanvragen van toeslagen of
om te voorkomen dat burgers in de schuldsanering terechtkomen. BZK investeert in een
persoonlijke regelingen assistent (PRA), een digitale innovatie die burgers proactief
attendeert op voorzieningen waar zij mogelijk recht op hebben, maar ook attendeert
op mogelijke risico’s.11 In 2022 werkt het project aan 4 use cases, onder andere met de Belastingdienst en
de Kamer van Koophandel. Deze use cases zorgen voor een duidelijk beeld van het proces
waar een burger mee te maken krijgt bij het aanvragen van een regeling. Het geeft
inzicht in wat de te ontwikkelen applicaties moeten kunnen en waar de PRA rekening
mee moet houden. Ook gaan we (niet-algoritmische) beslisregels opnemen in een openbaar
register, zodat overheden decentraal nieuwe dienstverlenende applicaties kunnen ontwikkelen
om burgers te ondersteunen.

In deze brief ben ik ingegaan op de onderzoeksresultaten en de 7 aanbevelingen. Ik
ga aan de slag met alle aanbevelingen en zal deze meenemen bij het opstellen van de
werkagenda die een uitwerking is van de hoofdlijnenbrief Digitalisering.

De Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties, A.C. van Huffelen