Lijst van vragen en antwoorden : Lijst van vragen en antwoorden over het rapport 'Algoritmes getoetst; De inzet van 9 algoritmes bij de rijksoverheid' (Kamerstuk 26643-854)

Nr. 923 LIJST VAN VRAGEN EN ANTWOORDEN

Vastgesteld 10 oktober 2022

De vaste commissie voor Digitale Zaken heeft een aantal vragen voorgelegd aan de Staatssecretaris
van Binnenlandse Zaken en Koninkrijksrelaties over de brief van 18 mei 2022 inzake
het rapport «Algoritmes getoetst; De inzet van 9 algoritmes bij de rijksoverheid»
(Kamerstuk 26 643, nr. 854).

De Staatssecretaris heeft deze vragen beantwoord bij brief van 7 oktober 2022. Vragen
en antwoorden zijn hierna afgedrukt.

De voorzitter van de commissie, Kamminga

De adjunct-griffier van de commissie, Van Tilburg

Vraag 1

Kan de gemaakte nulmeting door de Auditdienst Rijk (ADR) over het Rijksbrede IT-beheer
met de Kamer worden gedeeld?

Antwoord

De kwaliteit van IT-beheer heeft impact op een goede ontwikkeling en gebruik van algoritmes.
Er is geen door de Auditdienst Rijk gemaakte nulmeting van rijksbreed IT-beheer. Wel
wordt bij departementale onderzoeken door de Auditdienst Rijk jaarlijks naar IT-beheer
gekeken, gebruik makend van het General IT Controls (GITC) kader. Alle rapporten van
de Auditdienst Rijk worden in principe gepubliceerd en zijn voor uw Kamer beschikbaar.

Vraag 2

Kan het Rijksbrede kader voor algoritme- en IT-beheer met de Kamer worden gedeeld?

Antwoord

Voor het IT-beheer gelden diverse kaders waarbij de Algemene Rekenkamer een focus
aanbrengt op de volgende vier beheerdomeinen: autorisatiebeheer, wijzigingsbeheer,
beveiliging van componenten en continuïteit. Het General IT Controls (GITC) kader
is verplicht; dit is gebaseerd op de internationale norm ISO/IEC 27002 en de Baseline
Informatiebeveiliging Overheid (BIO). De kaders zijn gepubliceerd via de Enterprise
Architectuur Rijk1 (EAR) en de website van de Algemene Rekenkamer2. Afgelopen periode is er gewerkt aan een rijksbreed strategisch cloudbeleid, informatiebeveiligingsbeelden,
investeringen in digitaal vakmanschap en het kaderboek Organisatie en Bedrijfsvoering
Rijk. Momenteel wordt de Enterprise Architectuur Rijk (EAR) geactualiseerd.

Voor algoritmes werk ik aan een implementatiekader »Inzet van algoritmen» waarbij
beschikbare kaders samengebracht worden en standaarden en werkwijzen ingebed worden.
Het implementatiekader wordt o.a. gebaseerd op de bouwstenen waarmee de Algemene Rekenkamer
en de Auditdienst Rijk tot hun toetsingskaders zijn gekomen. Om ervoor te zorgen dat
het implementatiekader zo uitvoerbaar mogelijk is, zal ten aanzien van het kader een
uitvoeringstoets plaatsvinden. Daarnaast wordt gebruik gemaakt van de resultaten van
diverse onderzoeken (verwoord bij antwoord 18) en wordt er voortgebouwd op de handreiking
Governance voor een verantwoorde toepassing van algoritmes3 waar ook EU-regelgeving in meegenomen is.

Vraag 3

Welke algoritmes bij overheidsdiensten zijn gekoppeld aan grote geldstromen?

Antwoord

Bij het uitvoeren van wet- en regelgeving – inclusief toezicht – op het gebied van
belastingen, toeslagen, uitkeringen, subsidies wordt gebruik gemaakt van algoritmes,
zeker daar waar het gaat om grote populaties gerechtigden. Vooruitlopend op de implementatie
van de AI-verordening van de EU wordt gewerkt aan een register. Hieronder slechts
enkele voorbeelden van «algoritmes gekoppeld aan grote geldstromen».

Voor de bepaling van het recht op en de hoogte van de verschillende toeslagen (naast
huurtoeslag ook zorgtoeslag, kindgebonden budget en kinderopvangtoeslag) wordt door
Toeslagen gebruik gemaakt van op de wetgeving gebaseerde geautomatiseerde regels (algoritmes)
die in het Toeslagenverstrekkingssysteem (TVS) zijn ondergebracht. Deze regels zijn
voor de huurtoeslag met het toetsingskader van en door de Algemene Rekenkamer geaudit.
Hiermee wordt jaarlijks voor 15,8 miljard euro aan toeslagen berekend en aan 5,7 miljoen
huishoudens verstrekt.

De Algemene Rekenkamer omschrijft een algoritme als een set van regels en instructies
die een computer geautomatiseerd volgt bij het maken van berekeningen om een probleem
op te lossen of een vraag te beantwoorden. SVB en UWV gebruiken algoritmes om processen
te verwerken waarmee grote geldstromen gepaard gaan, zoals de verstrekking van uitkeringen,
toeslagen en budgetten. De rechten van burgers worden daarbij vastgesteld met behulp
van technisch eenvoudige regels en instructies, gebaseerd op wet- en regelgeving.
Er wordt geen gebruik gemaakt van modellen die gebaseerd zijn op machine learning.

RVO gebruikt voor het uitvoeren van de TVL een algoritme. Dit algoritme wordt in hoofdstuk
3 van het Algemene Rekenkamer rapport, «Algoritme in context», besproken. Op de RVO
website is meer informatie te vinden over de financiële afwikkeling van de TVL4.

De Belastingdienst en Toeslagen maken in veel processen gebruik van algoritmen en
beslismodellen. Voor de beantwoording van deze vraag wordt verder verwezen naar het
antwoord bij vraag 9.

Vraag 4

Hoe vaak is er in 2021 gebruik gemaakt van het Criminaliteits Anticipatie Systeem
(CAS)? Op welke manieren?

Antwoord

Het CAS is een voorbeeld van een hotspot benadering waarbij op basis van bestaande
data wordt bepaald waar het waarschijnlijk is dat bepaalde vormen van openbare ordeverstoring
of criminaliteit voorkomen. CAS geeft een verwachting voor een bepaald gebied en geeft
geen output die tot personen te herleiden is. De verwachtingen die CAS levert, kunnen
worden besproken met de operatie en zo wordt een aanpak van de problematiek voor de
betreffende week vastgesteld.

Het CAS wordt gebruikt ter voorkoming van diefstal/inbraak woning, straatroof, diefstal
van personenauto’s of uit personenauto’s, zakkenrollerij, diefstal van snor/brom/fiets,
diefstal uit bedrijf of kantoor, overlast jeugd, vernieling, openbare schennis der
eerbaarheid en verdovende middelen/drugshandel. De aanwezigheid van de politie op
plekken waar een verhoogde kans is op deze en andere soorten delicten kan bijdragen
aan de voorkoming ervan. Daarnaast kan de politie op basis van output van het CAS
bijvoorbeeld preventieve gesprekken voeren met woningbouwverenigingen (bijv. over
vernieuwen van sloten als die verouderd zijn) als blijkt dat er veel woninginbraken
plaatsvinden.

Het CAS is landelijk binnen de politie uitgerold. Dit houdt in dat alle basisteams
de beschikking over CAS-resultaten voor het betreffende gebied met voor het gebied
relevantie thema’s hebben.

Vraag 5

Wat is er afgelopen jaar gedaan om te komen tot Rijksbrede kaders en toezicht daarop
voor: 1. autorisatiebeheer; 2. wijzigingenbeheer; 3. beveiliging van IT-componenten;
4. Back-up en recovery?

Antwoord

Aansluitend op het antwoord bij vraag 2 versta ik onder toezicht het volgende.

Ik valideer op basis van informatiebeveiligingsbeelden of standaarden goed geïmplementeerd
zijn (zoals GITC of BIO). Deze validatie leidt tot concrete auditopdrachten aan bijvoorbeeld
de ADR of andere vormen van toezicht. Het delen van goede voorbeelden en ook via gesprekken
elkaar attenderen op de risico’s van IT-beheer is onderdeel van de werkmethode. Ik
verkrijg een structureel inzicht in de kwaliteit van IT-beheer voor belangrijke IT-systemen
van de rijksoverheid door bestaande kwaliteitsrapportages op rijksbreed niveau bijeen
te brengen. Op basis hiervan definieer ik een set kwaliteitsindicatoren waarover gerapporteerd
gaat worden. Hierbij benut ik instrumenten als ISO-standaarden en het informatiestatuut.

Vraag 6

Op welke manier worden er signalen doorgegeven aan gemeenten die volgen uit het gebruik
van het algoritme dat signalen afgeeft over de rechtmatigheid van bijstandsuitkeringen?
Zijn er gegevens over hoe vaak gemeenten deze signalen oppakken en deze correct blijken
te zijn? Zo ja, kunt u deze cijfers delen?

Antwoord

Signalen worden via het Diginetwerk ter beschikking gesteld aan gemeenten. Diginetwerk
is een afsprakenstelsel voor het koppelen van besloten netwerken van de overheid.
Via deze gekoppelde netwerken kunnen alle organisaties met een publieke taak onderling
gegevens uitwisselen. Er zijn geen cijfers over hoe vaak gemeenten welke signalen
oppakken, of ze correct zijn en wat het resultaat is. Onder meer naar aanleiding van
het verantwoordingsonderzoek van de Algemene Rekenkamer heeft SZW aan het Inlichtingenbureau
(IB) gevraagd of zij meer inzicht kunnen geven in het gebruik van samenloopsignalen
door gemeenten. Omdat de opvolging uiteindelijk bij de gemeenten zelf ligt, zijn SZW,
IB en VNG met elkaar in gesprek hoe meer inzicht gekregen kan worden in het gebruik
van de signalen.

Bij antwoord op vraag 12 volgt een uitgebreidere toelichting op het algoritme.

Vraag 7

Hoe wordt nu per departement getoetst dat in gebruik zijnde algoritmes voldoen aan
het toetsingskader van de Algemene Rekenkamer?

Antwoord

In de antwoorden op vragen 2 en 5 licht ik toe aan welke kaders in gebruik zijnde
algoritmes dienen te voldoen en hoe dit getoetst wordt. Gewerkt wordt aan een implementatiekader
»inzet van algoritmen» waarbij beschikbare handreikingen, richtlijnen en kaders worden
samengebracht en standaarden en werkwijzen worden ingebed. Daar zal ik uw Kamer blijvend
over informeren.

Vraag 8

Wat vindt u van de afhoudende reactie van de politie en de Immigratie- en Naturalisatiedienst
(IND)?

Antwoord

De Minister van Justitie en Veiligheid geeft aan niet het beeld dat de politie ten
aanzien van het rapport van de Algemene Rekenkamer een afhoudende reactie aanneemt
te herkennen. De politie heeft in haar reactie immers aangegeven dat het rapport van
de Rekenkamer inzichten en handvatten geeft om de toepassing van algoritmes verder
te verbeteren. De Minister van Justitie en Veiligheid ziet dat ook terug in de gesprekken
met de politie. Naar aanleiding van het rapport van de Rekenkamer is de politie bovendien
op alle punten van de beoordeling door de Rekenkamer aan de slag gegaan met een inventarisatie
welke maatregelen de politie verder kan nemen om de door de Rekenkamer vastgestelde
restrisico’s op die onderdelen afdoende te mitigeren. In de beantwoording van de vragen
van de leden Mutluer en Van Baarle5 wordt hier nader op ingegaan.

Tot slot wordt er waarde aan gehecht om hier te benadrukken dat bij de bevindingen
van de Rekenkamer ook enkele nuances te maken zijn. Uit de beoordeling door de Rekenkamer
van het CAS, zoals vervat in het toetsingskader dat aan de politie is afgegeven, komt
naar voren dat 23 maal de door de politie genomen risico-mitigerende maatregelen als
(geheel) effectief zijn beoordeeld. Waar de beoordeling deels effectief of niet effectief
luidt, gaat het in het merendeel om maatregelen die de politie als zodanig wel heeft
getroffen, bijvoorbeeld op het gebied van periodieke toetsing, maar waarvan de Rekenkamer
aangeeft dat de politie dit onvoldoende heeft vastgelegd. Door de opzet van het rapport
(welke gericht was op algoritmes bij de overheid in het algemeen, en niet op elk individueel
algoritme) komt het voorgaande minder helder naar voren.

In algemene zin onderschrijft de Staatssecretaris van Justitie de conclusies en aanbevelingen
van de Rekenkamer die zijn opgenomen in het rapport Algoritmes getoetst. Er zijn echter
wel vragen gesteld bij de conclusies die in het rapport zijn getrokken omtrent het
door het directoraat-generaal Migratie (niet IND) gebruikte algoritme. Het is niet
duidelijk waarom dit eenvoudige zoekalgoritme naar het oordeel van de Rekenkamer wordt
geclassificeerd als hoog risico en/of grote impact voor burgers of bedrijven, noch
waarom er bij het gebruik van het algoritme sprake zou kunnen zijn van bias.

Met betrekking tot het uitbesteden van de dienstverlening is er de realisatie dat
dit hem niet ontslaat van de verantwoordelijkheid voor de risicobeheersing rondom
het gebruik van de software en de veilige werking van het algoritme. Daarom zal op
basis van de AVG en het toetsingskader een impactanalyse worden uitgevoerd op het
gebruikte algoritme en waar nodig passende maatregelen worden genomen om risico’s
te mitigeren.

Vraag 9

Kunt u een lijst geven van alle algoritmes die bij de Belastingdienst gebruikt worden?

Antwoord

In vrijwel alle geautomatiseerde, gedigitaliseerde processen spelen algoritmes een
rol. Dat geldt ook voor deze processen bij de Belastingdienst en Toeslagen. Daarbij
worden door de Belastingdienst en Toeslagen de risico's en randvoorwaarden voor het
gebruik van verschillende soorten algoritmes uitdrukkelijk in acht genomen, zeker
bij het toepassen van risicomodellen. Het door de Algemene Rekenkamer ontwikkelde
Toetsingskader Algoritmes en het Impact Assessment voor Mensenrechten bij de inzet
van Algoritmes (IAMA) zijn daarbij belangrijke handvatten. Het ontbreekt momenteel
nog aan een gestandaardiseerd overzicht per Ministerie van welke algoritmen worden
gebruikt bij de uitvoering van het werk. Het opzetten van een dergelijk algoritmeregister,
in lijn met de moties van het lid Klaver c.s. (Kamerstuk 35 510, nr. 16) en van het lid Dassen c.s. (Kamerstuk 35 925 VII, nr. 26) wordt door de Belastingdienst en Toeslagen onderzocht aan de hand van een pilot.
Daartoe worden ook de gebruikte algoritmen in kaart gebracht. Ook is er een onafhankelijke
commissie opgericht die voor het hele Ministerie van Financiën, waaronder de Belastingdienst,
gevraagd en ongevraagd advies geeft over actuele vraagstukken rondom het gebruik van
algoritmen en data-analyse, ook wel analytics genoemd. Het bestuurlijke besluitvormingstraject
is afgerond. Op dit moment wordt gewerkt aan de invulling van deze commissie. Het
streven is dat de adviescommissie na de zomer kan starten met haar werkzaamheden.

Vraag 10

Kunt u een lijst geven van alle algoritmes die bij het Inlichtingenbureau (IB) gebruikt
worden?

Antwoord

Om inzicht te krijgen in de werkzaamheden van het Inlichtingenbureau (IB) kunt u kennisnemen
van de Dienstencatalogus en het Gegevensregister van het IB, beide te vinden op www.inlichtingenbureau.nl. Deze documenten geven inzicht in alle informatiediensten van het IB. De informatiediensten
zijn gebaseerd op technisch eenvoudige algoritmen die bestaan uit regels en instructies.
Ze hebben de vorm «als A en als B, dan C». Deze algoritmen nemen geen besluiten, maar
maken bestandsvergelijkingen op basis waarvan gemeenten bijvoorbeeld de rechtmatige
verstrekking van bijstandsuitkeringen controleren. In het antwoord op vraag 12 treft
u een aantal voorbeelden hiervan aan.

Vraag 11

Op de site van het Inlichtingenbureau staat:

«Maakt het IB bij de verwerking van info gebruik van algoritmes?

Het IB koppelt bestanden, maar kent hierbij zelf geen scores toe op basis waarvan
wel of juist géén informatie verzameld en beschikbaar wordt gesteld. Het Inlichtingenbureau
gebruikt ook geen andere programma’s of algoritmes die voorspellende, classificerende
of associërende elementen hebben. Omdat het IB slechts zorgt voor de bestandskoppeling
van bestanden uit verschillende gegevensbronnen, beschikt het Inlichtingenbureau zelf
niet direct over de gegevensbestanden. (Persoons)gegevens van bijvoorbeeld de Rijksdienst
Wegverkeer (RDW) of UWV zijn voor het IB beschikbaar om informatie op te halen. Met
deze informatie kunnen die gemeenten vervolgens de rechtmatigheid van een uitkering
vaststellen of juist kwijtschelding van lokale belastingen toekennen.»

Hoe rijmt u dat met het algoritme dat hier besproken wordt?

Antwoord

Zoals aangegeven in het antwoord op vraag 10, gebruikt het Informatiebureau (IB) technisch
eenvoudige algoritmes die bestaan uit regels en instructies. Dat geldt ook voor het
onderzochte algoritme. Zoals de Algemene Rekenkamer ook zelf stelt, is het «een data-uitwisselingssysteem dat ondersteuning biedt in processen.» Het gaat hier dus niet om een algoritme
dat scores toekent.

In het antwoord op vraag 12 wordt dit uitgebreider toegelicht.

Vraag 12

Kunt u, voor ieder van de negen, door de Algemene Rekenkamer, getoetste algoritmes,
per algoritme nagaan, wat de werking is van het algoritme, welke informatie in ieder
van deze algoritmes is gestopt, welke besluiten worden door die algoritmes genomen
en hoe de data ervan gebruikt wordt?

Antwoord

Hieronder treft u per algoritme een reactie aan op uw vraag:

BZK, voor RvIG: Het algoritme ondersteunt de ambtenaar die de aanvraag van een reisdocument afhandelt.
De pasfoto op een reisdocument moet aan dusdanig veel eisen voldoen, dat technische
ondersteuning bij de menselijke beoordeling van deze foto nuttig is. Het algoritme
biedt technische ondersteuning bij deze menselijke beoordeling, en is daarmee een
hulpmiddel in het verhogen van de efficiëntie van het aanvraag- en verificatieproces.

De ambtenaar doet een visuele inspectie van de pasfoto. De technologie geeft vervolgens
een advies over de mate waarin wordt voldaan aan de kwaliteitseisen van de foto. Hierna
maakt de ambtenaar het besluit of de foto geaccepteerd kan worden voor verwerking
in het aangevraagde document. Het algoritme neemt dus geen besluit, maar geeft een
advies.

De foto wordt aangeleverd door de persoon die een reisdocument aanvraagt. Op basis
van een visuele inspectie voert het algoritme een controle uit op de maatvoering en
positionering van het hoofd in het geheel van de pasfoto. Dit doet het algoritme op
basis van een visuele inspectie, mede op basis van contrasten van pixels in de foto,
met als doel de kwaliteitscriteria maatvoering en positionering te beoordelen zoals
vastgelegd in de fotomatrix6. Dit heeft niet als doel de persoon te identificeren, maar alleen om de kwaliteit
van de pasfoto op zich te beoordelen. Het gaat om persoonsonafhankelijke kenmerken.
Specifieke controles doet het algoritme op:

• acceptatiecriteria maatvoering

– is het hoofd niet te klein of te groot weergegeven?

– Het gaat niet om de grootte van iemands hoofd, maar of de grootte van het beschikbare
fotoveld voldoende wordt benut;

• acceptatiecriteria positionering

– staan de ogen op de foto op een horizontale lijn?

– staat het hoofd gecentreerd?

Het gebruik van het algoritme voor de kwaliteitsbepaling van een foto wordt gearchiveerd
met een versie voor in het aanvraagstation, zodat te achterhalen is welke ambtenaar
op basis van welke versie het besluit heeft genomen.

Het aanvraagstation heeft een bewaartermijn van maximaal 10 dagen voor biometrische
gegevens in geval van een afgeronde aanvraag (persoonsgegevens (NAW) zijn niet aanwezig
in het aanvraagstation). In de gekoppelde systemen wordt de foto, inclusief de reden
van het besluit door de ambtenaar om de foto te accepteren als het algoritme aangeeft
dat niet te doen (overrulen), 16 jaar bewaard.

EZK, voor TVL: Het algoritme wordt gebruikt als risicomodel ter ondersteuning bij de beoordeling
van aanvragen binnen de COVID-19 subsidieregeling Tegemoetkoming Vaste Lasten (TVL).
De data die in het model gebruikt worden, zijn opgegeven door de ondernemer (zoals
de verwachte omzetderving), afkomstig uit het Handelsregister (zoals de naam van het
bedrijf) en blijkt uit de btw-aangifte van de onderneming bij de Belastingdienst (zoals
de kwartaalomzet).

Door het risicomodel worden aanvragen met grote afwijkingen ten opzichte van reeds
bekende gegevens (bijvoorbeeld met een grote afwijking tussen de bij de aanvraag opgegeven
omzet versus bij de Belastingdienst bekende gegevens) of waarbij sprake is van grote
complexiteit (zoals wanneer een bedrijf is overgenomen) als «hoog» risico aangemerkt.
Deze aanvragen worden vervolgens door een medewerker aanvullend gecontroleerd, zodat
ondernemers krijgen waar ze recht op hebben. Bij afwijzing volgt er altijd een menselijke
controle. Aanvragen die met een «laag» risico worden aangemerkt, worden geautomatiseerd
besloten. De Minister van Economische Zaken en Klimaat heeft uw Kamer bij de inrichting
van de TVL en gedurende de uitvoering regelmatig hierover geïnformeerd7.

Financiën, voor Toeslagen: de werking van het algoritme huurtoeslag is gebaseerd op het toepassen van beslisregels
die een directe vertaling zijn van de geldende wet- en regelgeving. De geautomatiseerde
besluiten die worden genomen op basis van de aanvraag van een toeslag door de burger,
zijn de bepaling van het recht op en de hoogte voor het toekennen van de huurtoeslag
op basis van de genoemde beslisregels die in het Toeslagenverstrekkingssysteem (TVS)
zijn ondergebracht. Op basis van de aanvraag van een toeslag waarbij aangeleverde
informatie door de burger wordt verstrekt en de informatie van betreffende instelling/bedrijf
wordt m.b.v. de beslisregels een besluit genomen. De burger wordt middels een brief
op dit besluit van de toeslag op de hoogte gebracht.

IenW voor CBR: Het algoritme wordt gebruikt om de lichamelijke en geestelijke geschiktheid van een
bestuurder van motorvoertuigen te beoordelen op basis van de Regeling eisen geschiktheid
2000 (REG2000). Deze regeling volgt de derde Europese rijbewijsrichtlijn. De regeling
bevat de lichamelijke en geestelijke eisen waar een bestuurder van een motorvoertuig
aan moet voldoen.

Deze eisen zijn vertaald in het algoritme «Bepalen verwijzen en besluiten». Daarbij
wordt gebruik gemaakt van objectieve meetbare medische gegevens die via keuringen
door artsen en specialisten aan het CBR worden doorgegeven. Het CBR beoordeelt op
basis van deze gegevens, samen met de geschiktheidsverklaring van de bestuurder, via
het algoritme of er redenen zijn voor aanvullend onderzoek (verwijzen) of dat er een
geschiktheidsbesluit genomen kan worden.

Het algoritme kan zelf besluiten nemen of verwijzingen maken of een voorstel doen
richting de inhoudelijke beoordelaar van het dossier. In gevallen waarbij het geschiktheidsbesluit
leidt tot een ontzegging van de rijbevoegdheid zal altijd een handmatige beoordeling
volgen.

Er worden periodiek deelwaarnemingen gedaan op de besluiten van het algoritme, deze
laten geen onvolkomenheden zien.

JenV voor Politie: In de beantwoording van vraag 4 is reeds in algemene zin ingegaan op de werking van
het CAS. Door (en met) het CAS worden geen besluiten genomen. Daarnaast wijs ik u
graag op het volgende. Op 6 april 2021 heeft de Korpschef in een besluit op een Wob-verzoek
besloten om de pseudocode en de variabelen van het CAS openbaar te maken. Voor een
volledig beeld van de variabelen verwijs ik u graag naar deze documenten8. Kort samengevat gaat het om locatiespecifieke kenmerken en om criminaliteitshistorie.
Deze criminaliteitshistorie is hoofdzakelijk gebaseerd op aangiftes van burgers, oftewel
informatie die naar de politie toe komt en niet door haar eigen optreden bepaald wordt.
Hiermee wordt een versterking van eventuele eigen vooringenomenheid door het algoritme
beperkt.

Ook is van belang om op te merken dat het CAS ontwikkeld is in 2014 en sindsdien doorlopend
wordt geëvalueerd en verbeterd. De Rekenkamer is niet de enige of eerste instantie
die het CAS heeft bekeken. Zo heeft ook de Inspectie Justitie en Veiligheid in 2021
de code van het CAS ingezien, als onderdeel van een oriëntatie. De inspectie concludeerde
toen als volgt: «De code onder de motorkap van CAS is helder. Aan de code is te zien
dat de meeste best practices op het gebied van programmeren zijn toegepast. Er is
geprogrammeerd in de taal «Python», wat een toegankelijke taal is. De werking van
het systeem is daarmee goed navolgbaar. […] De documentatie van het systeem samen
met de code en de data geven een goed beeld van hoe het systeem werkt. Dit is nodig
voor de Inspectie om een goed beeld te kunnen schetsen van de precieze impact die
een dergelijk systeem heeft op de taakuitvoering van (in dit geval) de politie.» Daarbij
moet worden opgemerkt dat de inspectie aan de hand van haar oriëntatie een openbaar
toezichtkader opstelt. Dat kader wordt dit najaar gepubliceerd door de Inspectie.
De Inspectie heeft hierbij geen oordeel gegeven ten aanzien van de aandachtspunten
van de Algemene Rekenkamer.

Tot slot zijn de afgelopen vier jaar door studenten en promovendi vanuit verschillende
universiteiten meer dan tien studies gedaan naar het CAS. In elk van die gevallen
heeft de politie kennisgenomen van de eindverslagen en waar aangewezen het systeem
verbeterd. Dit zal de politie ook doen met de aanbevelingen van de Rekenkamer.

JenV voor DG-Migratie: De functionaliteit is het intelligent zoeken door de partners in de migratieketen
(Politie, KMar, IND, BZ, COA en DT&V) naar vreemdelingen die zijn geregistreerd in
de Basisvoorziening (BVV). Het algoritme wordt gebruikt als hulpmiddel om na te gaan
of te registreren of te behandelen vreemdelingen mogelijkerwijs al bekend zijn in
de BVV. Het algoritme kent geen directe gebruikers. De ketenpartners in de migratieketen
gebruiken de eigen primaire systemen. Deze systemen staan uitsluitend via berichtenverkeer
in contact met de BVV, en alleen als de ketenpartner een zoekbericht stuurt waarin
om een intelligente zoekactie wordt gevraagd, wordt het algoritme aangesproken.

Het algoritme trekt geen conclusies maar geeft een matchingspercentage terug dat een
indicatie is van de mate waarin de te registreren persoonsgegevens overeenkomen met
de gegevens van eerder geregistreerde vreemdelingen. De beoordeling van de matchingsresultaten
is een verantwoordelijkheid van de betrokken ketenpartners. Zij blijven altijd verantwoordelijk
voor het oordeel over de identiteit van vreemdelingen en gebruiken het algoritme alleen
als ondersteuning. Het is aan de identificerende ketenpartner om te bepalen of er
daadwerkelijk sprake is van dezelfde persoon. Het algoritme kent geen gegevens die
kunnen leiden tot bias en kan niet worden gebruikt om te discrimineren. Ook heeft
het geen zelflerend vermogen.

JenV voor CJIB: Het onderzochte algoritme bij het CJIB is een technisch eenvoudig algoritme dat als
data-uitwisselingssysteem ondersteuning biedt in een proces. Voor aangeleverde zaken
die zijn geconstateerd op kenteken wordt een bevraging bij de Rijksdienst voor het
wegverkeer (RDW) gedaan van het kentekenregister. Deze bevraging gaat uitsluitend
op kenteken. De RDW koppelt de volledige NAW-set van de kentekenhouder van dit voertuig
terug. Na deze verrijking met de gegevens van de kentekenhouder stroomt de zaak door
naar het productiesysteem welke de beschikking verstuurt op basis van de aangeleverde
NAW-gegevens.

SZW voor IB: Het algoritme neemt geen besluiten, maar is een data-uitwisselingsysteem. Met behulp
van de bestandsvergelijkingen kunnen gemeenten de rechtmatigheid vaststellen van bijstandsuitkeringen.

Het onderzoek van de rekenkamer keek naar studiefinanciering, bankrekeningnummers,
uitkering andere gemeente, voertuigbezit, voortvluchtig veroordeelden. Hierbij wordt
een korte algemene toelichting geboden op doel en werking van de signalen van het
IB die zijn beoordeeld door de Rekenkamer en het daarbij gehanteerde algoritme.

1. Voortvluchtig veroordeelden hebben geen recht op een bijstandsuitkering: Het IB ontvangt
van DJI/CJIB periodiek een overzicht met voortvluchtig veroordeelden. Indien via het
burgerservicenummer (BSN) van een voortvluchtig veroordeelde blijkt dat deze ook een
lopende bijstandsuitkering heeft, dan leidt dat tot een signaal aan de betreffende
gemeente.

2. Uitkering andere gemeente: een bijstandsuitkering kan (mag) maar door één gemeente
tegelijk worden verstrekt. Als meerdere gemeenten een lopende bijstandsuitkering melden
bij het IB (met meer dan 30 dagen overlap in verband met verhuizingen), dan worden
de gemeenten geïnformeerd over de uitkering in de andere gemeente.

3. Studiefinanciering: (Recht op) studiefinanciering wordt gezien als voorliggende voorziening
op een bijstandsuitkering. Bij DUO wordt uitgevraagd of een bijstandsontvanger ook
recht heeft op studiefinanciering. Als een bijstandsontvanger volgens registratie
bij DUO recht heeft op studiefinanciering dan ontvangt de gemeente hiervan een signaal.

4. Voertuiginformatie: een uitkerings-aanvrager/ontvanger moet in het kader van de inlichtingenplicht
zijn voertuigbezit melden in verband met onder andere de vermogenstoets in de bijstand.
Indien een persoon bijstand ontvangt, dan wordt bij de RDW informatie over diens voertuigbezit
opgevraagd en aan de gemeente ter beschikking gesteld.

5. Bankrekeningnummers: een uitkeringsaanvrager/ontvanger moet in het kader van zijn
inlichtingenplicht onder andere informatie verstrekken over op zijn naam staande bankrekeningen
zodat de gemeente onderzoek kan doen naar de inkomens- en vermogenssituatie. Als een
persoon bijstand ontvangt dan wordt bij de Belastingdienst informatie over op diens
naam staande bankrekeningen opgevraagd. De (eventuele) inhoudelijke resultaten worden
aan de gemeente ter beschikking gesteld.

SZW voor SVB: Het onderzochte algoritme betreft technisch eenvoudige regels en instructies waarmee
de SVB de hoogte vaststelt van een AOW-uitkering op basis van het aantal jaar dat
iemand in Nederland heeft gewoond of gewerkt. Door het algoritme toe te passen besluit
de SVB geheel automatisch, wanneer de aanvraag aan alle voorwaarden van toekenning
voldoet. Als dit niet het geval is, dan volgt een handmatige controle door een ambtenaar.

Vraag 13

Worden er ook zelflerende algoritmes gebruikt door de overheid? Zo ja, hoeveel? En
bij welke departementen? Zijn er ook zelflerende algoritmes die ook automatische besluitvorming
hebben?

Antwoord

Of en hoeveel zelflerende algoritmes de overheid gebruikt is niet bekend. In het rapport
«Aandacht voor algoritmes» (januari 2021) (Bijlage bij Kamerstuk 26 643, nr. 737) geeft de Algemene Rekenkamer wel aan geen volledig zelflerende algoritmes aangetroffen
te hebben binnen de rijksoverheid. Ik werk zoals aangegeven bij de antwoorden op vragen 3
en 9 aan een register om het inzicht in gebruikte algoritmes te realiseren.

Vraag 14

Bestaat er een kader binnen het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties
aan de hand waarvan besloten wordt wanneer een algoritme met geautomatiseerde besluitvorming
gebruikt wordt? Kan deze met de Kamer gedeeld worden?

Antwoord

De Algemene verordening gegevensbescherming (AVG) en de bijbehorende Uitvoeringswet
AVG (UAVG) bieden het kader voor keuzes over de inzet van geautomatiseerde besluitvorming
waarbij (bijzondere) persoonsgegevens worden verwerkt. Op grond van artikel 22 AVG
is uitsluitend geautomatiseerde besluitvorming, dus besluitvorming zonder enige vorm
van (betekenisvolle) menselijke tussenkomst, verboden als het besluit rechtsgevolgen
heeft voor de betrokkene of het de betrokkene anderszins in aanmerkelijke mate treft.
Op dit verbod bestaat een aantal uitzonderingen. Het is bijvoorbeeld wel toegestaan
als dat in een wet is bepaald en die wet ook voorziet in passende maatregelen ter
bescherming van de rechten en vrijheden van de betrokkene. Artikel 40 UAVG bepaalt
dat geautomatiseerde individuele besluitvorming wel is toegestaan als dit niet gebeurt
op basis van profilering en dit noodzakelijk is vanwege een wettelijke verplichting
die op de verwerkingsverantwoordelijke rust of dit noodzakelijk is voor de vervulling
van een taak van algemeen belang. Deze bepaling is bedoeld om geautomatiseerde afhandeling
van massale, simpele gebonden beschikkingen toe te staan, waarbij menselijke tussenkomst
van weinig meerwaarde zou zijn. Dat is het geval bij de uitoefening van gebonden bevoegdheden,
waarbij er zeer geringe beoordelingsruimte is, zoals het opleggen van een boete bij
snelheidsovertredingen (flitspaal). Een betrokkene heeft op grond van artikel 13 AVG
in geval van geautomatiseerde besluitvorming recht op nuttige informatie over de onderliggende
logica, het belang en de verwachte gevolgen. Tot slot kunnen hier de Richtsnoeren
van de European Data Protection Board over geautomatiseerde individuele besluitvorming
en profilering voor de toepassing van de AVG worden genoemd.

Voor geheel of gedeeltelijke geautomatiseerde besluitvorming zijn ook de Algemene
wet bestuursrecht (Awb) en de algemene beginselen van behoorlijk bestuur van belang.
Hier kan het motiveringsbeginsel (artikel 3:46 Awb) worden genoemd. Dat dwingt bestuursorganen
om uit te leggen waarom de feiten en omstandigheden hebben geleid tot een bepaald
besluit. Het bestuursorgaan kan daarbij niet zomaar verwijzen naar het algoritme en
het daarbij laten. Als deze uitleg niet mogelijk is, dan is de inzet van volledig
geautomatiseerde besluitvorming niet gepast.

Denk hierbij aan de term «computer says no»: de afwijzing door een systeem mag niet
de motivatie op zichzelf zijn, maar er moet een goede uitleg bij die in begrijpelijke
taal uitlegt waarom de afwijzing plaatsvindt.

Een ander in dit kader relevant beginsel is het evenredigheidsbeginsel (artikel 3:4,
tweede lid, Awb). Dat dwingt bestuursorganen om geen besluiten te nemen die onevenredige
gevolgen hebben voor de betrokkenen. Als het bestuursorgaan hiervoor niet kan instaan,
dan moet worden afgewogen of menselijke betrokkenheid gepast is.

Een voorbeeld van de toepassing van het evenredigheidsbeginsel is het geval vanuit
de geautomatiseerde systemen van de provincie of gemeente dat een weg aan onderhoud
toe is waarbij het systeem aangeeft dat er veiligheidsrisico’s zijn. Op basis van
die meldingen wordt besloten de weg af te sluiten om het onderhoud te kunnen doen.
Dit is voor burgers wellicht te zien, maar voor ondernemers wiens leveranciers door
de afsluiting hun lading niet meer kunnen lossen, kan dit vervelende consequenties
met zich meebrengen. Een volledige afsluiting van de weg kan daarom in strijd zijn
met het evenredigheidsbeginsel. In zo’n situatie is «handmatig ingrijpen» gewenst
om een tijdelijke of gedeeltelijke afsluiting te overwegen. Dit is ingewikkelder voor
de overheid, maar wel in het belang van alle betrokkenen.

Zoals bij het antwoord op vraag 2 wordt toegelicht, wordt gewerkt aan een implementatiekader
»inzet van algoritmen» waarover ik uw Kamer zal informeren. Hierbij zal ik expliciet
verwijzen naar het overzicht van de hierboven genoemde kaders voor geautomatiseerde
besluitvorming.

Vraag 15

Op welke manier wordt getoetst of de uitkomsten van de algoritmes, die niet aangemerkt
worden als risicovol, daadwerkelijk correct zijn?

Antwoord

In elke fase van de levenscyclus van algoritmische systemen (ontwerpen, bouwen, testen,
gebruiken en monitoren) is er aandacht voor de correcte werking van het algoritme.
Algoritmes ondersteunen besluitvorming. Daar waar een besluit mogelijk negatieve gevolgen
heeft voor de aanvrager, wordt het besluit door een ambtenaar genomen. De ambtenaar
voert zodoende een toetsing uit op de door het algoritme aangeboden informatie.

De handreiking (BZK 2022) besteedt verder specifiek aandacht aan noodzakelijke checks
tijdens de levenscyclus van een algoritmetoepassing vanwege het mogelijke emergente
karakter van algoritmetoepassingen.

Vraag 16

Is er een inschatting te maken hoeveel werk uit handen wordt genomen van ambtenaren
door het gebruik van algoritmes bij de overheid? Zo ja, hoeveel?

Antwoord

De inzet van algoritmes draagt bij aan de objectiviteit en kwaliteit van processen,
daarnaast bespaart het tijd en capaciteit. Een concrete inschatting van de hoeveelheid
hiervan is nu zeer lastig te maken in de breedte van alle dienstverlening van de overheid.
Bij vraag 22 wordt voor een enkel algoritme een inschatting geboden. Wat ik wel kan
zeggen is dat grote uitvoeringsorganisaties niet meer zullen functioneren zonder het
gebruik van algoritmes om grootschalige processen te ondersteunen.

Vraag 17

Welke specifieke verbeteringen zijn er mogelijk ten aanzien van de inzet van (extra)
IT-beheersmaatregelen om data en algoritmes te beschermen?

Antwoord

Generiek werken we vanuit BZK aan het per beheerdomein opstellen van een meerjarig
plan voor, waar nodig, het aanvullen van bestaande kaders. Hiernaast vraag ik de Auditdienst
Rijk dit jaar een onderzoek te doen naar de kwaliteit van rijksbreed IT-beheer; hiermee
kunnen verdere specifieke verbeteringen in kaart gebracht worden.

In lijn met het antwoord op vraag 2 worden de daar benoemde instrumenten ingezet en
wordt het beleid voor het beschermen van data en algoritmes doorontwikkeld.

Vraag 18

In hoeverre geeft het onderzoek van de Algemene Rekenkamer aanleiding tot het opstellen
van een algemeen kader voor het gebruik van algoritmes door overheidsinstellingen?

Antwoord

Het onderzoek van de Algemene Rekenkamer sluit aan in een serie van recente rapporten
op het gebied van algoritmes. Naast de bij antwoord op vraag 2 genoemde handreiking,
zijn dat rapporten van de Auditdienst Rijk9, het Rathenau Instituut10, de Raad van State11 en de Wetenschappelijke Raad voor Regeringsbeleid12. Het geheel van deze onderzoeken biedt materiaal voor de huidige beleidsontwikkeling
voor het gebruik van algoritmes door de rijksoverheid. Hiernaast werk ik aan de inrichting
van een toezichthouder, de verplichting van een algoritmeregister voor overheden en
aan de voorbereiding van de implementatie van de AI-verordening van de Europese Unie
en de Raad van Europa.

Vraag 19

Is het mogelijk dit toetsingskader te gebruiken voor alle algoritmes binnen de overheid
die grote impact hebben op mensen (als die algoritmes toevallig gebruikt worden of
effect hebben door meer dan 1 miljoen mensen)?

Antwoord

Ja, de Algemene Rekenkamer heeft de mogelijkheid om hun toetsingskader te gebruiken
op verschillende soorten algoritmes binnen de rijksoverheid. De rijksbrede kaders,
het verplichte karakter en de aanstaande ontwikkeling worden bij het antwoord op vraag
2 toegelicht.

Vraag 20

Op pagina 10 onderaan schrijft de Algemene Rekenkamer: «De Minister heeft hierdoor
bij deze organisaties een toezichthoudende taak en moet over het functioneren en presteren
van de organisatie informatie kunnen verstrekken aan de Tweede Kamer.» Bent u bereid
de bovengenoemde informatie over het presteren van algoritmes bij overheidsorganisaties
aan de Kamer te verstrekken?

Antwoord

Over het functioneren en presteren van algoritmes bij de betreffende organisaties
kan en zal elke bewindspersoon zelf afzonderlijk informatie inwinnen en verstrekken.
Dit is zoals de Algemene Rekenkamer benoemt ook geen bevoegdheid van de Staatssecretaris
van Binnenlandse Zaken en Koninkrijksrelaties, maar van de bewindspersoon verantwoordelijk
voor die specifieke uitvoeringsorganisatie. Wel zal de Staatssecretaris een rol spelen
in het inzichtelijk maken van de hoog risico algoritmes die in gebruik zijn bij de
departementen. Ook komt er een aparte toezichthouder.

Vraag 21

Hoeveel andere algoritmes (grote algoritmes die effect hebben op meer dan 1 miljoen
mensen bijvoorbeeld) zijn er die automatische besluitvorming hebben, naast de vier
algoritmes die in de tabel staan?

Antwoord

Het aantal algoritmes met automatische besluitvorming is onbekend. Het uitvoeren van
wetgeving, inclusief toezicht, op het gebied van belastingen, toeslagen, uitkeringen,
subsidies maakt gebruik van algoritmes, zeker daar waar het gaat om grote populaties
gerechtigden. Net als bij het antwoord op vragen 3 en 9, werken we in Europees verband
aan de AI-verordening die ook een registratieplicht kent voor hoog risico-systemen.
Het kabinet is ook bezig met het opzetten van een algoritmeregister en wettelijk te
verplichten. De vele algoritmes die de afgelopen tijd zijn doorgelicht zullen voor
het eind van het jaar in dat register worden opgenomen, en vanaf volgend jaar worden
aangevuld.

Vraag 22

Is er een indicatie te geven hoeveel tijd het heeft bespaard om tot uitkering van
de Tegemoetkoming Vaste Lasten (TVL) te komen door het gebruik van algoritmes in vergelijking
met het niet gebruiken van algoritmes?

Antwoord

Ja. In de TVL wordt het risicomodel (het algoritme) gebruikt om alle aanvragen geautomatiseerd
te controleren, voorafgaand aan de uitbetaling van het voorschot en voor de definitieve
vaststelling van de subsidie. Daarmee wordt het nemen van een besluit versneld, zodat
ondernemers op tijd liquiditeitssteun hebben kunnen krijgen.

Door de inzet van het risicomodel is RVO in staat geweest om over de grote hoeveelheid
subsidieaanvragen in een zeer korte tijd te beslissen, zodat ondernemers die tijdens
de corona lockdowns snel vaste lasten steun nodig hadden, dat ook gekregen hebben.
Van de 722.000 aanvragen in de TVL (460.000 voorschotaanvragen en 262.000 vaststellingsverzoeken)
is 49% binnen 1 week na ontvangst beslist, 71% binnen 3 weken en 96% binnen 8 weken.
Op deze manier is meer dan 8 miljard euro aan steun uitgekeerd. In de drukste weken
ontving RVO circa 40.000 aanvragen per week.

Als de RVO een vergelijkbaar resultaat zonder de inzet van het risicomodel had willen
behalen had RVO gedurende de hoogste pieken (ongeveer 25% van de openingsweken) meer
dan 400 fte gespecialiseerd personeel per week extra moeten opschalen, om ondernemers
tijdig te kunnen helpen. Bij benadering gaat dit om circa 252.000 uur extra. De Minister
van EZK is ervan overtuigd dat zonder de inzet van het risicomodel de TVL niet uitvoerbaar
was geweest.

Daarnaast heeft RVO door de inzet van het risicomodel aanzienlijk meer tijd kunnen
stoppen in maatwerk. RVO heeft daardoor tienduizenden ondernemers extra kunnen helpen,
zoals hulp bieden aan niet-digivaardigen met het indienen van een aanvraag, het corrigeren
van tikfouten of het proactief bellen van ondernemers voor een betalingsregeling op
maat.

Vraag 23

In de tabel/figuur is te zien dat het algoritme van de politie aan geen enkel van
de eisen van de toetsingskader voldoet, kunt u dit specifieke algoritme uitgebreid
toelichten? Wat doet het algoritme, door wie worden de besluiten genomen en hoe worden
mensenrechten als privacy door dit algoritme geschonden?

Antwoord

Het CAS wordt gebruikt ter voorkoming van diefstal/inbraak woning, straatroof, diefstal
van personenauto’s of uit personenauto’s, zakkenrollerij, diefstal van snor/brom/fiets,
diefstal uit bedrijf of kantoor, overlast jeugd, vernieling, openbare schennis der
eerbaarheid en verdovende middelen / drugshandel. Het CAS geeft een verwachting voor
een bepaald gebied en geeft geen output die tot personen te herleiden is. Dit wordt
uitgebreider toegelicht bij de antwoorden op vraag 4 en op vraag 12. Voor meer informatie
over het CAS verwijs ik u graag naar het Halfjaarbericht Politie,13 en naar de stukken die openbaar gemaakt zijn door de korpschef over het CAS (waaronder
de pseudocode en de variabelen op basis waarvan het CAS werkt) naar aanleiding van
een Wob-verzoek.

Vraag 24

Meerdere algoritmes kwamen niet door het toetsingskader heen. Is ook overwogen het
toetsingskader op basis daarvan te herzien? Is het überhaupt mogelijk om technisch
ingewikkelde algoritmes binnen het toetsingskader op te stellen?

Antwoord

De Algemene Rekenkamer is een onafhankelijke toezichthouder die zelfstandig bepaalt
welke kaders zij hanteert. Het is ook aan de Algemene Rekenkamer om te bepalen of
zij het toetsingskader wil herzien.

Het ontwikkelen en gebruiken van een technisch ingewikkeld algoritme is een primair
gevolg van ontwikkelde wet- en regelgeving. In hoeverre die wet- en regelgeving in
lijn ligt met het toetsingskader van de Algemene Rekenkamer is secundair. De verwachting
is dat ook technisch ingewikkelde algoritmes binnen het kader mogelijk zijn; ik ga
hierover met de Algemene Rekenkamer in gesprek.

Vraag 25

Heeft u indicaties dat er binnen de rijksoverheid en de uitvoeringsorganisaties incidenten
zijn geweest met de inzet van algoritmes als gevolg van gebrekkig IT-beheer? Zo ja,
kunt u deze incidenten omschrijven?

Antwoord

Nee, ook bij navraag is aangegeven dat er geen signalen zijn ontvangen van incidenten
als gevolg van gebrekkig IT-beheer bij de inzet van algoritmes.

Vraag 26

Wat gaat u doen om het IT-beheer bij algoritmes te verbeteren?

Antwoord

Voor de aanpak van verbetering van IT-beheer bij algoritmes kies ik voor een generieke
aanpak. Algoritmes kunnen niet los gezien worden van andere ICT-systemen. Per beheerdomein
zoals door de Algemene Rekenkamer is geformuleerd stel ik een meerjarig plan op voor,
waar nodig, het aanvullen van bestaande kaders.

Vraag 27

Heeft u er zicht op of er naast de DG Migratie van het Ministerie van Justitie en
Veiligheid, andere overheidsinstanties zijn die de ontwikkeling van hun algoritme
hebben uitbesteed en daarom geen, of onvoldoende inzicht, hebben of de risico's met
betrekking tot de algoritmes worden beheerst, bijvoorbeeld welke variabelen bij de
inzet van algoritmes worden gebruikt? Zo nee, hoe waarschijnlijk acht u dit?

Antwoord

Het uitbesteden van de ontwikkeling van algoritmes gebeurt bij meerdere departementen
en uitvoeringsorganisaties van de rijksoverheid. Voor verbeterd inzicht en beheersing
zijn instrumenten beschikbaar die in toenemende mate worden ingezet en tot vernieuwde
afspraken leiden met de leveranciers.

Vraag 28

Neemt u naast maatregelen om bias in algoritmes tegen te gaan, ook maatregelen om
bias in data in de toekomst tegen te gaan? Zo ja, welke maatregelen zijn dat, los
van het opschonen van vervuilde data bij de rijksoverheid?

Antwoord

Een nieuw in te richten implementatiekader »inzet van algoritmen» wordt mede gebaseerd
op de toetsingsmodellen van de Algemene Rekenkamer en Auditdienst Rijk waar datakwaliteit
een belangrijke rol speelt. Ook het Impact Assessment Mensenrechten en Algoritmen
(IAMA) en de handreiking non-discriminatie by design worden hierin opgenomen. Parallel
wordt er gewerkt aan het vergroten van de impact van deze instrumenten. Zie verder
ook de antwoorden op de vragen 2, 5, 14 en 15.

Vraag 29

Wordt verwacht dat, met de vier aanbevelingen die gedaan worden, de problemen omtrent
algoritmes volledig worden ingeperkt en voldoen aan alle eisen in het toetsingskader?

Antwoord

Het rapport van de Algemene Rekenkamer signaleert restrisico’s, geen problemen rondom
algoritmes. De betrokken organisaties hebben tijdens het onderzoek al maatregelen
genomen om de restrisico’s te verminderen. Waar nodig zal ik aanvullende maatregelen
nemen. Zoals onder andere bij het antwoord op vraag 2 is verwoord, wordt het beleid
op dit terrein doorontwikkeld en zal ik uw Kamer hier blijvend over informeren.

Vraag 30

In hoeverre bent u voornemens, nu de Algemene Rekenkamer de inzet van negen algoritmes
bij de overheid heeft getoetst, zelf andere algoritmes te (laten) onderzoeken?

Antwoord

Dit initiatief is bij de start van het onderzoek van de Algemene Rekenkamer ook genomen
en heeft geleid tot een (vrijwillig) interdepartementaal onderzoek naar algoritmes
door de Auditdienst Rijk, zoals aangegeven bij het antwoord op vraag 18. Daarnaast
is het van belang om een bredere inventarisatie in samenhang te bezien met het algoritmeregister.
Daar wordt nu gewerkt aan een opzet waarbij goed gekeken wordt naar definities, scope,
reikwijdte en wat we van een algoritme willen weten. Ook wordt een werkwijze voorgesteld
die het voor de overheden relatief eenvoudig maakt om de relevante algoritmes te identificeren,
op te nemen en bij te houden.

Vraag 31

Worden naast deze negen algoritmes nog meer algoritmes getoetst aan het toetsingskader?

Antwoord

Het toetsingskader is door de Algemene Rekenkamer opgesteld. De Algemene Rekenkamer
is een onafhankelijke toezichthouder die zelfstandig bepaalt welk onderzoek zij uitvoert.

Vraag 32

Hoe verhoudt het toetsingskader van de Algemene Rekenkamer zich tot andere toetsingskaders
zoals het IAMA, Datasheets for datasets en Model cards for models? Wordt binnen de
rijksoverheid inmiddels gebruik gemaakt van één gestandaardiseerd toetsingskader?

Antwoord

Er is nog geen sprake van een geharmoniseerd toetsingskader van het Rijk. Het toetsingskader
van de Algemene Rekenkamer is een belangrijke bouwsteen van het op te stellen implementatiekader
»inzet van algoritmen».

Daarnaast zijn er, in lijn met antwoord 18, nog vele andere instrumenten en hulpmiddelen
die zijn ontwikkeld zoals het IAMA, de handreiking non-discriminatie by design en
in ontwikkeling zijnde Europese regelgeving. De inzet van het kabinet is om binnen
deze instrumenten prioritering aan te brengen en deze te stroomlijnen, zodat in alle
fasen van de levenscyclus van algoritmische toepassingen praktische handvatten worden
geboden.