Antwoord schriftelijke vragen : Antwoord op vragen van de leden Mutluer en Van Baarle over de mogelijke vooringenomenheid bij algoritmes gebruikt door de Politie

Antwoord van Minister Yeşilgöz-Zegerius (Justitie en Veiligheid) (ontvangen 29 juni
2022). Zie ook Aanhangsel Handelingen, vergaderjaar 2021–2022, nr. 3139.

Vraag 1

Bent u bekend met artikel «Rekenkamer waarschuwt voor mogelijke «vooringenomenheid»
bij politie-algoritmes»1 en het desbetreffende rapport van de Algemene Rekenkamer2?

Antwoord 1

Ja.

Vraag 2

Deelt u de mening dat het Criminaliteit Anticipatie Systeem (CAS) niet afdoende is
gecontroleerd waardoor nu niet kan worden geconcludeerd dat geen sprake is geweest
van discriminatoire gronden in de selectiecriteria? Zo ja, waarom wordt dit systeem
dan nog steeds gebruikt? Hoe gaat u ervoor zorgen dat dergelijke controles in de toekomst
wel worden gedaan?

Antwoord 2

Het CAS is een voorbeeld van een hotspot-benadering waarbij op basis van bestaande
data wordt bepaald waar het waarschijnlijk is dat bepaalde vormen van verstoring van
de openbare orde of criminaliteit voorkomen. Gebruik van het CAS levert een verwachting
voor een bepaald gebied op en geeft geen output die tot personen te herleiden is.
De verwachtingen die CAS levert, kunnen worden besproken met mensen in de operatie
en zo wordt een aanpak van de problematiek voor de betreffende week vastgesteld. De
data die wordt gebruikt betreft o.a. criminaliteitshistorie (zie hierover meer in
antwoord op vraag 4). Deze criminaliteitshistorie is hoofdzakelijk gebaseerd op aangiftes
van burgers, oftewel informatie die naar de politie toe komt en niet door haar eigen
optreden bepaald wordt. Hiermee wordt een versterking van eventuele eigen vooringenomenheid
door het algoritme beperkt.

Het CAS wordt gebruikt ter voorkoming van verschillende veelvoorkomende delicten zoals
woninginbraak, vernieling en drugshandel. De aanwezigheid van de politie op plekken
waar een verhoogde kans is op deze en andere soorten delicten kan bijdragen aan de
voorkoming ervan.

De Algemene Rekenkamer geeft in haar rapport aan dat er onvoldoende (doorlopende)
controle is of er sprake is van vooringenomenheid in het model. Op basis daarvan geeft
de Rekenkamer aan dat zij – zonder zelf dieper in het algoritme te gaan kijken – niet
kan concluderen of er sprake is geweest van discriminatiegronden in de selectiecriteria.
Ik heb de politie daarom gevraagd om in het reguliere proces de procedures voor het
vastleggen van deze controles aan te scherpen.

Een werkgroep van de politie richt zich op de opvolging van deze en de andere aanbevelingen
van de Rekenkamer, die voortkomen uit het rapport Algoritmes getoetst. Deze maatregelen
zijn aanvullend op de stappen die de politie voor, tijdens en na het onderzoek van
de Rekenkamer heeft gezet, zo ook met het oog op dataminimalisatie en het voorkomen
van vooringenomenheid. Zo is er een samenwerkingsverband opgestart met de Vrije Universiteit
Amsterdam om een breed toepasbare methodiek te ontwikkelen voor de detectie van vooringenomenheid
in algoritmes. Naar aanleiding van de gesprekken met de Rekenkamer heeft de politie
enige tijd geleden ook besloten om de ontvangst van bepaalde gegevens al aan de poort
te blokkeren, in plaats van deze gegevens later in het proces pas te excluderen. Tot
slot wordt ook gewerkt aan gebruik van zo spaarzaam mogelijke datasets (dataminimalisatie)
en het verbeteren van de documentatie in het algemeen.

Vraag 3

Hoe komt het dat bij de start van het huidige systeem geen basisvereiste van zorgvuldigheid
in acht is genomen?

Antwoord 3

Ik herken het beeld dat geen basisvereiste van zorgvuldigheid in acht zou zijn genomen
bij de start van het gebruik van CAS niet. Het rapport van de Rekenkamer geeft de
politie handvaten om het gebruik van het CAS verder te verbeteren, dat waarderen zowel
de korpschef als ikzelf. Zoals aangegeven in het antwoord op vraag 2 neemt de politie
de aanbevelingen van de Rekenkamer serieus en is zij daar mee aan de slag gegaan.

Ik hecht er daarnaast aan te benadrukken dat bij de bevindingen van de Rekenkamer
ook enkele nuances te maken zijn. In het door de Rekenkamer gebruikte toetsingskader
staan de maatregelen die een organisatie heeft getroffen om een risico afdoende te
mitigeren, opdat het beheersbaar is, centraal. De Rekenkamer onderscheidt per risico-onderdeel
of de genomen maatregel of samenstel daarvan effectief, deels effectief of niet effectief
is. Uit de individuele beoordeling door de Rekenkamer van het CAS, zoals vervat in
het toetsingskader dat aan de politie is afgegeven, komt naar voren dat 23 maal de
door de politie genomen risico-mitigerende maatregelen als (geheel) effectief zijn
beoordeeld. Waar de beoordeling deels effectief of niet effectief luidt, gaat het
in het merendeel om maatregelen die de politie als zodanig wel heeft getroffen, bijvoorbeeld
op het gebied van periodieke toetsing, maar waarvan de Rekenkamer aangeeft dat de
politie dit onvoldoende heeft vastgelegd. Deze administratieve onvolkomenheden zien
zowel op IT-gerelateerde checks als op waarborgen omtrent dataminimalisatie. Door
de opzet van het rapport (dat gericht was op algoritmes bij de overheid in het algemeen,
en niet op elk individueel algoritme) komt het voorgaande minder helder naar voren.

Ook is het van belang op te merken dat het CAS ontwikkeld is in 2014 en sindsdien
doorlopend wordt geëvalueerd en verbeterd. De Rekenkamer is niet de enige of eerste
instantie die het CAS heeft bekeken. Zo heeft ook de Inspectie Justitie en Veiligheid
in 2021 de code van het CAS ingezien, als onderdeel van een oriëntatie. De Inspectie
concludeerde toen als volgt: «De code onder de motorkap van CAS is helder. Aan de
code is te zien dat de meeste best practices op het gebied van programmeren zijn toegepast.
Er is geprogrammeerd in de taal «Python», wat een toegankelijke taal is. De werking
van het systeem is daarmee goed navolgbaar. [...] De documentatie van het systeem
samen met de code en de data geven een goed beeld van hoe het systeem werkt. Dit is
nodig voor de Inspectie om een goed beeld te kunnen schetsen van de precieze impact
die een dergelijk systeem heeft op de taakuitvoering van (in dit geval) de politie.»
Daarbij moet worden opgemerkt dat de Inspectie aan de hand van haar oriëntatie een
openbaar toezichtkader opstelt. Dat kader wordt dit najaar gepubliceerd door de Inspectie.
De Inspectie heeft hierbij geen oordeel gegeven ten aanzien van de aandachtspunten
van de Algemene Rekenkamer.

Tot slot zijn de afgelopen vier jaar door studenten en promovendi vanuit verschillende
universiteiten meer dan tien studies gedaan naar het CAS. In elk van die gevallen
heeft de politie kennisgenomen van de eindverslagen en waar nodig het systeem verbeterd.
Dit zal de politie ook doen met de aanbevelingen van de Rekenkamer.

Vraag 4

Wat zijn de criteria op grond waarvan het lerende algoritme CAS voorspelt waar de
kans groot is dat misdaden zullen worden gepleegd?

Antwoord 4

Op 6 april 2021 heeft de korpschef in een besluit op een Wob-verzoek besloten om de
pseudocode en de variabelen van het CAS openbaar te maken. Voor een volledig beeld
van de variabelen verwijs ik u graag naar deze documenten.3 Kort samengevat gaat het om locatie-specifieke kenmerken en om criminaliteitshistorie.
Deze criminaliteitshistorie is hoofdzakelijk gebaseerd op aangiftes van burgers, oftewel
informatie die naar de politie toe komt en niet door haar eigen optreden bepaald wordt.

Vraag 5

Kunt u uitsluiten dat dit systeem afkomst of de samenstelling van een wijk met veel
inwoners met een migratie-achtergrond als criteria gebruikt? Zo ja, waarom? Zo nee,
waarom niet en welke gevolgen verbindt u hieraan?

Antwoord 5

Zoals te zien in de variabelen die openbaar gemaakt zijn in het besluit op het bovengenoemde
Wob-verzoek wordt geen gebruik gemaakt van het criterium afkomst of nationaliteit.
Ook de Rekenkamer stelt in haar rapport (op p. 31) dat de politie geen variabelen
gebruikt die discriminatie in de hand werken. Dat betekent echter niet dat uitgesloten
kan worden dat er indirect onderscheid wordt gemaakt. Zoals aangegeven in het antwoord
op vraag 2 heb ik de politie gevraagd om (nogmaals) een controle te doen op vooringenomenheid
in het model en in de data.

Vraag 6

Bent u het eens met de politie dat het niet nodig is het algoritme in haar huidige
vorm buiten werking te stellen? Zo ja, waarom? Zo nee, wat is uw zienswijze over hoe
nu verder met het systeem?

Antwoord 6

Uit de meer uitgebreide tabel die de politie van de Rekenkamer heeft gekregen met
betrekking tot het CAS blijkt dat de zorgen met name in de governance en aantoonbare
verantwoording rondom het CAS zitten. De politie heeft aangegeven hier op korte termijn
mitigerende maatregelen op te zullen treffen. Daarmee acht ik het op dit moment niet
noodzakelijk om het algoritme buiten werking te stellen.

Vraag 7

Hoe ziet de menselijk toets eruit die naast het CAS plaatsvindt? Welke criteria worden
door de mens getoetst? Vindt die toets altijd plaats? Is de menselijke toets daarbij
altijd doorslaggevend?

Antwoord 7

De modellen met het CAS worden ééns per week gemaakt. De voorspellingen worden gebruikt
om de breder samengestelde intelligence-beelden te voeden die vervolgens gebruikt
worden om interventie-strategieën te bepalen en instructies te geven bij briefings
binnen de basisteams. Er vindt in het werkproces zoals gezegd dus nog een beoordeling
(op relevantie en op juistheid) plaats.

Vraag 8 en 9

Welke stappen bent u van plan te zetten om risico’s op vooringenomenheid in het algoritmesysteem
van de politie weg te nemen?

Bent u bereid het huidige algoritme wat wordt gebruikt door het CAS door te lichten
om mogelijke vooringenomenheid te detecteren? Zo ja, op welke termijn wilt u dit onderzoek
voltrekken? Zo nee, waarom niet?4

Antwoord 8 en 9

Zoals reeds aangegeven heb ik de politie gevraagd om (nogmaals) een controle te doen
op vooringenomenheid in het model en in de data. Voor de beantwoording van deze vraag
verwijs ik u verder graag naar het antwoord op vraag 2.