Brief regering : Reactie op het verzoek van het lid Klaver, gedaan tijdens het plenaire debat over institutioneel racisme, om nadere toelichting op onderzoeken naar algoritmenhoe risicoprofielen bijdragen aan etnisch profileren

26 643
Informatie- en communicatietechnologie (ICT)

Nr. 213
BRIEF VAN DE MINISTER VAN BINNENLANDSE ZAKEN EN KONINKRIJKSRELATIES

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 9 juli 2020

Tijdens het plenaire debat over institutioneel racisme op 1 juli 2020 (Handelingen
II 2019/20, nr. 90) is door de leden Klaver (GroenLinks), Jetten (D66), Asscher (PvdA),
Azarkan (Denk) en Ouwehand (PvdD) een motie ingediend die de regering verzoekt te
onderzoeken hoe het gebruik van risicoprofielen bij de overheid en in de private sector
bijdraagt aan etnisch profileren en met voorstellen te komen om dit aan te pakken
in aanloop naar de volgende kabinetsformatie.1 Deze motie is aangenomen.

Tijdens het plenaire debat heeft de heer Klaver toegelicht dat de motie met name ziet
op algoritmen die risicoprofielen opstellen. Tevens heeft hij mij tijdens dit debat
gevraagd of dergelijke algoritmen en hun werking mogelijk al onderdeel uitmaken van
lopend onderzoek en beleid. Ik kan bevestigen dat dit het geval is en dat beleidsmaatregelen
worden getroffen om de risico’s van profileringstechnieken weg te nemen. Hieronder
zal ik verschillende onderzoeken en beleidstrajecten toelichten.

Ik heb in 2018 onderzoek laten uitvoeren door de Universiteit Utrecht naar de implicaties
van algoritmen voor grondrechten. Hierbij kwamen onder meer de risico’s van profileringstechnieken
voor het verbod van discriminatie aan de orde. Ik heb in maart 2019 een kabinetsreactie
op dit onderzoek aan uw Kamer gestuurd.2

Daarnaast stuurde ik, mede namens de Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties,
Minister van Justitie en Veiligheid (JenV), de Minister voor Rechtsbescherming en
de Staatssecretaris van Economische Zaken en Klimaat (EZK) in oktober 2019 de brief
«AI, publieke waarden en mensenrechten» aan uw Kamer.3 Deze brief gaat in op de kansen en risico’s van artificiële intelligentie (AI) voor
mensenrechten, waaronder risico’s voor het verbod van discriminatie. In de brief geeft
het kabinet aan dat risico’s voor het verbod van discriminatie bij de inzet van AI
mede kunnen worden veroorzaakt door de inzet van profileringstechnieken (bijvoorbeeld
door onjuiste classificatie). Ook zet het kabinet in deze brief het beleid uiteen
om risico’s van AI met behulp van beleid te adresseren. Belangrijke onderdelen van
dat beleid zijn de ontwikkeling van een mensenrechten impact assessment en de ontwikkeling
van systeemprincipes om discriminatie te voorkomen.

Het mensenrechten impact assessment heeft tot doel om ontwikkelaars van digitale systemen
te helpen om in vroeg stadium van de ontwikkeling van het systeem de risico’s voor
mensenrechten (waaronder het verbod van discriminatie) in kaart te brengen en te mitigeren.
Ook risico’s die voortvloeien uit het gebruik van profileringstechnieken komen hierbij
aan bod. De verwachting is dat het impact assessment begin volgend jaar gereed is.
De ontwikkeling van systeemprincipes voor non-discriminatie hebben tot doel om ontwikkelaars
van digitale systemen te helpen om mogelijke discriminatoire effecten in het ontwerp
van een systeem te adresseren. BZK heeft de Universiteit van Tilburg opdracht gegeven
tot het ontwikkelen van deze systeemprincipes. Deze zijn naar verwachting einde van
dit jaar gereed.

Overigens wijs ik er nog op dat er in bredere zin onderzoek wordt gedaan naar en beleid
wordt gemaakt over (de risico’s van) algoritmen voor non-discriminatie.

Zo verwijs ik graag naar het onderzoek van het Ministerie van EZK naar zelflerende
algoritmen van private partijen, naar aanleiding van de motie van de leden Van den
Berg en Wörsdörfer.4 Het doel van dit onderzoek is het verschaffen van inzicht in de onvoorziene effecten
van de inzet van (zelflerende) algoritmen door private partijen. Het onderzoek richt
zich in het bijzonder op de effecten van de inzet van algoritmen waarvan niet duidelijk
is hoe zij beslissingen nemen. Deze onvoorziene effecten kunnen ongewenst zijn. Bij
ongewenste effecten kan onder meer worden gedacht aan stigmatisering van personen.

Op 26 juni 2020 is het onderzoek gepubliceerd van de Universiteit Utrecht, in opdracht
van het WODC, naar de toekomstbestendigheid van de juridische kaders rondom algoritmen
die besluiten nemen.5 Gekeken is naar risico’s voor non-discriminatie, gegevensbescherming en rechtsbescherming.
Het onderzoek gaat in op algoritmen die besluiten nemen, zelfstandig of als onderdeel
van een proces waarin ook menselijke tussenkomst/besluitvorming aan de orde is. Hoewel
het maken van profielen en de risico´s daarvan in het onderzoek aan de orde komen,
ook in het licht van het recht op non-discriminatie, gaat het niet specifiek in op
de inzet van risicoprofielen door de overheid en de private sector. In het najaar
zal een kabinetsreactie op het rapport volgen.

Voorts wijs ik u graag op de brief van 8 oktober 2019 van de Minister voor Rechtsbescherming
waarin hij het kabinetsbeleid uiteenzet om waarborgen te creëren tegen risico’s van data-analyses door de overheid.6 In die brief besteedt hij ook uitgebreid aandacht aan de risico’s van profilering
en het beleid om deze te beperken. In een bijlage bij de brief zijn richtlijnen opgenomen
die het Ministerie van JenV aan het ontwikkelen is voor het uitvoeren van data-analyses
door de overheid en die ook regels bevatten om de risico’s van discriminatie te beperken.
Deze richtlijnen zijn ook relevant voor het uitvoeren van geautomatiseerde gegevensanalyses
door bijvoorbeeld de belastingdienst en de politie. Bij de doorontwikkeling van deze
richtlijnen wordt rekening gehouden met zowel de impact van data-analyse op de burger,
als met de rol die een algoritme speelt in de totstandkoming van een (menselijk) besluit.
De eerder genoemde AI-systeemprincipes zullen binnen de context van deze richtlijnen
een aanvulling daarop vormen. Naar verwachting zullen de richtlijnen begin 2021 gereed
zijn. Vervolgens wordt bezien in hoeverre deze moeten worden omgezet in wettelijke
waarborgen.

Ten slotte wil ik u ook graag wijzen op het onderzoek naar de modernisering van het
Nederlands procesrecht in het licht van Big Data, waarop Uw Kamer in het najaar van
2020 een kabinetsreactie zal ontvangen. Hierin komt de vraag aan de orde in hoeverre
het procesrecht is toegerust om burgers en rechtspersonen mogelijkheid te geven zich
bij de rechter te verzetten tegen onrechtmatige data-analyses.

Met de informatie in deze brief meen ik dan ook aan de motie te hebben voldaan.

De Minister van Binnenlandse Zaken en Koninkrijksrelaties,
K.H. Ollongren