Brief regering : Reactie op de motie van het lid Koekkoek over maatregelen ter toetsing van algoritmen en IT-systemen op discriminerende effecten voorafgaand aan ingebruikneming daarvan

30 950
Rassendiscriminatie

Nr. 856
BRIEF VAN DE STAATSSECRETARIS VAN BINNENLANDSE ZAKEN EN KONINKRIJKSRELATIES

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 24 mei 2022

Het lid van uw Kamer mevrouw Koekkoek (VOLT) diende tijdens het debat over discriminatie
op 19 mei jl. (Handelingen II 2021/22, nr. 82, debat over de aanpak van discriminatie en racisme) een motie in die de regering
verzoekt om met een voorstel te komen voor de inzet van technische en organisatorische
maatregelen die ervoor zorgen dat voorafgaand aan het in gebruik nemen van algoritmen
en andere IT-systemen door de rijksoverheid en haar uitvoeringsorganisaties wordt
getoetst op mogelijke discriminerende effecten in de toepassing ervan (Kamerstuk 30 950, nr. 306). Tevens verzoekt lid Koekkoek de regering om te onderzoeken welke mogelijkheden
er zijn om de implementatie en het gebruik van algoritmen stop te zetten waarin niet
kan worden vastgesteld dat deze geen discriminerende werking hebben.

Ik heb aangekondigd dat we technische en organisatorische maatregelen nemen om schending
van mensenrechten te voorkomen. Zo is er een motie aangenomen om het Impact Assessment
Mensenrechten en Algoritmen (IAMA) te verplichten1 en is er een motie aangenomen om de bekendheid en de impact van de handreiking non-discriminatie
by design te vergroten2. Daarnaast is het kabinet bezig met de uitvoering van de motie3 die verzoekt om vervuilde data in risicomodellen op te ruimen. Verder heeft de Algemene
Rekenkamer op basis van risicoselectie 9 algoritmen van 9 uitvoeringsorganisaties
getoetst en voor 6 algoritmen gebreken vastgesteld en adviezen uitgebracht.4 Op basis hiervan, maar ook de EU-regelgeving met betrekking tot AI, gaan we aanvullende
regels stellen aan het gebruik ervan.

Het voorstel van lid Koekkoek (VOLT) kan op mijn sympathie rekenen. Lid Koekoek stelt
een nieuwe maatregel voor in het licht van het Rekenkameronderzoek, om niet alleen
achteraf, maar ook preventief beter te onderzoeken en te toetsen of er sprake is of
kan zijn van discriminerende patronen en effecten in IT of algoritmische systemen.
Het laten uitvoeren van het IAMA op de ontwikkeling van IT of algoritmische systemen
van de rijksoverheid waarbij sprake is of kan zijn van een hoog risico op schending
van mensenrechten, zou hiervoor een middel kunnen zijn. Dit IAMA is juist ontwikkeld
om voorafgaand aan de ontwikkeling van een systeem mogelijke risico´s van het systeem
voor mensenrechten in kaart te brengen en het systeem zo te ontwerpen dat mensenrechten
geborgd zijn. Tevens zal ik onderzoeken welke mogelijkheden er zijn om het gebruik
van een algoritme stop te zetten in de situatie waarin niet kan worden vastgesteld
dat die geen discriminerende werking heeft.

Deze overwegingen meegevende, laat ik de motie oordeel Kamer.

De Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties,
A.C. van Huffelen