Antwoord schriftelijke vragen : Antwoord op vragen van de leden Van Beukering-Huijbregts en Verhoeven over het gebruik van discriminerende algoritmes en massasurveillance door de politie

Antwoord van Minister Grapperhaus (Justitie en Veiligheid) (ontvangen 11 december
2020). Zie ook Aanhangsel Handelingen, vergaderjaar 2020–2021, nr. 402.

Vraag 1

Bent u bekend met het bericht «Nederland: maak een einde aan gevaarlijke politie-experimenten
met massasurveillance»?1

Antwoord 1

Ja

Vraag 2

Hoeveel projecten zijn er op dit moment waarbij de politie gebruik maakt van «predictive
policing»? Op welke locaties lopen deze projecten? Welke systemen worden in elk van
deze projecten gebruikt?

Antwoord 2

Predictive policing is het voorspellen van gedrag door middel van monitoring en analyse
van historische informatie. De Operationele Proeftuin Roermond (OPTR) maakt geen gebruik
van «predictive policing». In de OPTR wordt gewerkt met risicotaxatie op basis van
profielen. Dat is een vorm van technologisch versterkt waarnemen.

In mijn antwoord op Kamervragen over artificiële intelligentie bij de politie2 gaf ik aan dat de politie gebruikt maakt van (klassieke) risicotaxatiemodellen om
inschattingen te kunnen maken ten aanzien van het potentieel gebruik maken van geweld
of het optreden van recidive bij personen met antecedenten zoals vastgelegd in de
politiesystemen. Het taxatiemodel geeft alleen een inschatting of er een verhoogd
risico is op het gebruik van geweld of het optreden van recidive bij een geselecteerde
groep personen.

Een voorbeeld van wat wél onder predictive policing kan vallen, is het Criminaliteits
Anticipatie Systeem (CAS) dat in 2014 in Amsterdam is ontwikkeld. In vier politie-eenheden
heeft hiermee een pilot plaatsgevonden. Het systeem is vervolgens landelijk uitgerold.
Op basis van gegevens uit politiesystemen en historische data van het Centraal Bureau
voor de Statistiek, kan CAS voorspellen op welke plaatsen en op welk moment de kans
het grootst is dat misdrijven plaatsvinden. Dit wordt weergegeven op een rasterkaart
van Nederland in vakken van 125 bij 125 meter. Een informatiemedewerker beoordeelt
vervolgens de door CAS gegenereerde voorspelling alvorens hij een advies voor het
basisteam formuleert. Dat kan een advies zijn om extra te surveilleren of om samen
met woningcorporaties afspraken te maken over het verbeteren van hang- en sluitwerk.
Helder is dat de voorspelling ziet op omgeving en nooit op personen. Met ingang van
juli 2018 beschikken alle basisteams van de politie over de mogelijkheid om het systeem
te gebruiken.

Vraag 3

Hoe toetst de politie projecten waarbij surveillance data verzameld wordt aan eisen
op het gebied van privacy?

Antwoord 3

De eisen op het gebied van privacy die hier van toepassing zijn staan in de Politiewet
2012 (Pw) en de Wet Politiegegevens (Wpg). In projecten wordt altijd eerst beoordeeld
binnen welke wettelijke kaders de data verzameld kan worden. Ook wordt er een Gegevensbeschermings
Effects Beoordeling (GEB of DPIA) opgesteld. Eerder in 2020 is ook het kwaliteitskader
Big Data vastgesteld, waaraan nieuwe projecten getoetst dienen te worden.

Bij aanvang van de OPTR is er een Nota van Rechtmatigheid3 en een GEB opgesteld. De Nota van Rechtmatigheid beschrijft het juridisch kader waarbinnen
de OPTR wordt uitgevoerd. Bij elke voorgenomen wijziging van werkwijze of inzet van
sensoren wordt het juridisch kader opnieuw afgewogen en vastgesteld met het bevoegd
gezag. In de GEB wordt rekening gehouden met de stand van de techniek, uitvoeringskosten,
alsook met de aard, omvang, de context, verwerkingsdoeleinden en risico’s voor de
rechten en vrijheden van personen. De functionaris voor gegevensbescherming van de
politie is vanaf december 2018 betrokken bij deze proeftuin.

Vraag 4

Hoe wordt voorkomen dat bestaande vooroordelen doorwerken in «predictive policing»
systemen en op die manier leiden tot discriminatie?

Antwoord 4

Er moet nogmaals benadrukt worden dat de OPTR geen gebruik maakt van «predictive policing».

Voorafgaand aan de start van deze proeftuin heeft er een cijfermatige analyse en een
literatuurverkenning plaatsgevonden en zijn er respondenten bevraagd. Dit vooronderzoek4 heeft inzicht gegeven in de aantallen en achtergrondkenmerken van mobiel banditisme
delicten en dader(groepen). Deze informatie vormt de basis voor de daderprofielen
die de politie binnen de OPTR gebruikt.

De werkwijze omvat een zogenaamde leerlus. Het profiel omvat een aantal kenmerken
van mobiel banditisme. Wanneer in de praktijk blijkt dat bepaalde kenmerken niet worden
aangetroffen of wanneer bepaalde kenmerken wel worden aangetroffen, maar na opvolging
blijkt dat voertuigen die worden stil gehouden niet bij de dadergroep passen, vindt
er analyse en aanpassing van het profiel plaats.

Niet aangetroffen kenmerken of kenmerken die niet onderscheidend blijken te zijn voor
de dadergroep, worden verwijderd uit het profiel. Een voorbeeld hiervan is een bepaald
model voertuig, waarvan werd gedacht dat dit vaak wordt gebruikt door de dadersgroep,
maar waarvan in de praktijk blijkt dat dat niet het geval is.

Vraag 5, 6

Hoe duidt u het oordeel van Amnesty International dat projecten als het Sensing-project
in Roermond de rechten op privacy, databescherming en non-discriminatie schenden?

Hoe duidt u de analyse van Amnesty International die uiteenzet hoe het Sensing-project
door het ontwerp («discrimination by design») automatisch leidt tot etnisch profileren?
Kunt u daarbij bijvoorbeeld in gaan op het gegeven dat de politie in de definitie
van «mobiel banditisme» alleen bepaalde nationaliteiten meeneemt?

Antwoord 5, 6

Het oordeel van Amnesty dat in Roermond de rechten op privacy, databescherming en
non-discriminatie worden geschonden is vooral gebaseerd op hun conclusie dat er sprake
is van ongerichte massasurveillance en dat er met name wordt geselecteerd op mensen
uit Oost-Europa.

In de OPTR is echter geen sprake van ongerichte massasurveillance. Er wordt gericht
gezocht naar mobiel banditisme op basis van een daderprofiel.

De politie hanteert een definitie van mobiel banditisme zoals die in 2010 door de
Raad van de Europese Unie is geformuleerd: «Een mobiele (rondtrekkende) dadergroep
is een vereniging van daders die zich stelselmatig verrijken door middel van vermogenscriminaliteit
of fraude (met name winkel- en ladingdiefstal, inbraak in woningen en bedrijven, oplichting,
skimming en zakkenrollerij), binnen een breed gebied waarin ze activiteiten uitvoeren
en die internationaal actief zijn».

De OPTR richt zich enkel op mobiel banditisme. Dat is overigens maar een deel van
de veroorzakers van bepaalde vormen van criminaliteit in Roermond, zoals bijvoorbeeld
winkeldiefstal en zakkenrollen. Ook die criminaliteit wordt bestreden en daarbij wordt
evident ook gebruik gemaakt van wat de politie weet over de betreffende dadergroepen.
Alleen gaat dit zonder de sensortoepassingen van deze pilot.

Uit cijfermatige analyse4 door de politie en het OM blijkt dat de groep die zich schuldig maakt aan mobiel
banditisme in Roermond in hoofdzaak afkomstig is uit een drietal landen. Het kenteken
(land van herkomst van het voertuig) is daarom één van de kenmerken in het profiel.
Een bijzonder persoonsgegeven als etniciteit maakt geen onderdeel uit van het profiel.
De weging of dit geheel passend is, is aan de verantwoordelijke Officier van Justitie.
Deze heeft in dit geval de opname van het land van herkomst van het voertuig in de
profielregel in combinatie met de andere selectiecriteria als passend en noodzakelijk
beoordeeld voor de aanpak van deze criminaliteitsvorm. Het staat elke betrokken burger
uiteraard vrij om hierop de rechter een oordeel te vragen.

Een voertuig zal echter nooit stil worden gehouden op basis van één kenmerk, zoals
het kenteken. Er moet sprake zijn van een combinatie van kenmerken voordat er sprake
is van een «hit». Zodra de politie opvolging geeft aan een hit en het voertuig wordt
aangetroffen, dan bepaalt een politieagent zelf of het voertuig zal worden gecontroleerd.
Kortom het is en blijft uiteindelijk een beslissing van een mens, niet van het systeem.

Vraag 7

Hoe verhoudt het staande houden van voertuigen op basis van een algoritmisch model
zich tot het handelingskader proactief controleren, dat stelt dat proactieve controles
plaats dienen te vinden op basis van een redelijk vermoeden van schuld?

Antwoord 7

Proactieve controles zijn alle controles die politieagenten op eigen initiatief doen,
zonder dat bijvoorbeeld de meldkamer een opdracht heeft gegeven. De politie heeft
eind 2017 een handelingskader
5 gepresenteerd, dat als een richtsnoer dient voor alle agenten en helpt om het vakmanschap
bij proactieve controles te vergroten.

In het kader van de OPTR worden er geen controles op eigen initiatief uitgevoerd.
Indien een passerend voertuig voldoet aan de profielkenmerken van de OPTR, dan is
er sprake van een «hit». Deze hit wordt gemeld aan de meldkamer. Tegelijkertijd ontvangen
de dienstdoende agenten een melding op hun mobiele telefoon en kan er opvolging plaatsvinden.
Voor de stappen die hierna volgen wordt er naar de principes van het handelingskader
proactief controleren gehandeld. Dat wil zeggen dat er wordt uitgelegd waarom je controleert,
de bejegening correct is en er opbouwend wordt gereflecteerd.

Als het bewuste voertuig wordt aangetroffen besluit de betrokken agent op grond van
waarneming, gedrag, feiten en omstandigheden of er een stopteken wordt gegeven of
dat het voertuig wordt doorgelaten. Indien het voertuig is stilgehouden wordt de reden
van de controle uitgelegd en vindt controle van de identiteit plaats6.

Vraag 8

Heeft de politie een kader aan de hand waarvan de bewezen positieve effecten van nieuwe
technologieën worden afgewogen tegen de mogelijke negatieve maatschappelijke effecten,
bijvoorbeeld op het gebied van privacy en discriminatie? Zo ja, tot welke afweging
heeft dit geleid bij de inzet van «predictive policing»? Zo nee, op basis waarvan
wordt dan een afweging gemaakt om nieuwe technologieën te implementeren?

Antwoord 8

Er bestaat voor de politie nog geen algemeen afwegingskaderkader op de bruikbaarheid
van technologie en maatschappelijke effecten. Wel hanteert de politie een aantal instrumenten
op basis waarvan binnen deze proeftuin wordt afgewogen om een nieuwe technologie in
te zetten.

In de aanpak van de operationele proeftuin toetst de politie met het bevoegd gezag
of de inzet van technologie toegevoegde waarde kan hebben, of dit wettelijk mag en
of het past binnen de waarden van de rechtstaat. Er wordt gewerkt met bewezen technologie.
De eerdergenoemde Nota van Rechtmatigheid wordt bij elke aanpassing actueel gemaakt.
Bij de afweging of er nieuwe technologie of een nieuwe profielregel moet worden toegevoegd
gewerkt met de methode van begeleidingsethiek. De begeleidingsethiek is een methode
om de ethische dialoog over technologie te voeren en weloverwogen keuzes te maken7. Er wordt getoetst wat de risico’s zijn van inbreuk op de waarden van de rechtstaat
en welk handelingsperspectief daarbij open staat. Door aandacht te besteden aan ethische
aspecten wordt in proeftuinen ook inzicht opgedaan hoe de techniek binnen aanvaardbare
morele kaders toegepast kan worden door de politie.

Op verzoek van de politie heeft het Rathenau instituut in 2019 onderzoek gedaan naar
de beleving van burgers bij het gebruik van sensoren8. Daaruit zijn 8 spelregels geformuleerd, die houvast bieden bij de beoordeling van
de inzet van sensortechnologie door de politie.

Dit jaar heeft de politie het kwaliteitskader Big Data9 vastgesteld, waarlangs projecten waarin wordt gewerkt met grote hoeveelheden data
worden getoetst. De OPTR wordt momenteel getoetst aan dit kwaliteitskader.

Tenslotte wil ik opmerken dat ik het belangrijk vind dat de politie ervaring opdoet
met het gebruik van nieuwe technologie in haar werkzaamheden. Hierbij lettend op het
raakvlak tussen het gebruik van die technologie en de ethische aspecten daarvan. Juist
door hiermee te kunnen experimenteren, kan de politie ervan leren. In de kamerbrief
uit 2015 over de visie op sensing heb ik al gewezen op het belang van experimenteren
10.

Vraag 9

Bent u bereid de aanbeveling van Amnesty International over te nemen om het Sensing-project
stop te zetten en de verzamelde data te vernietigen? Zo nee, waarom niet?

Antwoord 9

Nee, ik ben het niet eens met het oordeel van Amnesty dat in Roermond de rechten op
privacy, databescherming en non-discriminatie worden geschonden. In de antwoorden
op uw vragen en op die van het lid Buitenweg geef ik daar een onderbouwing voor.

Vanwege een grote daling van incidenten in 2020, en een andere keuze voor prioriteiten
in 2020 ligt het project nu feitelijk stil. De stuurgroep maakt daarom de afweging
of het project op dit moment operationeel moet blijven.

Vraag 10

Welke andere projecten worden uitgevoerd door de overheid waarbij geëxperimenteerd
wordt met kunstmatige intelligentie? Bij welk van die projecten wordt gehandeld op
basis van voorspellingen die gedaan worden door een algoritme? Welke wettelijke kaders
dienen daarbij als basis en wie ziet toe op de naleving daarvan?

Antwoord 10

Uw vraag suggereert dat in OPTR wordt geëxperimenteerd wordt met kunstmatige intelligentie.
Zoals gemeld in de beantwoording van de schriftelijke vragen over artificiële intelligentie
(AI) bij de politie van 18 februari 202011, beschikt de politie momenteel over slechts een beperkt aantal toepassingen van AI
in de zin dat systemen intelligent gedrag vertonen en in meer of mindere mate zelfstandig
kunnen leren en acties kunnen ondernemen. De OPTR valt daar niet onder.

Er zijn toepassingen die het werk van politiemedewerkers vergemakkelijken, maar die
geen aanmerkelijke gevolgen voor burgers hebben. Daarbij kan worden gedacht aan het
doorzoeken van een inbeslaggenomen gegevensdrager op afbeeldingen met beeldherkenning
om een bepaald object te vinden. Dit versnelt het werk van rechercheurs en maakt het
werk effectiever en efficiënter. De uitkomst van de analyse heeft dezelfde gevolgen
voor burgers als wanneer deze analyse handmatig was uitgevoerd, en is bovendien slechts
een van de vele aanwijzingen in het totale onderzoek. Een ander voorbeeld is de in
mijn brief van 3 december 201912 reeds genoemde keuzehulp die wordt ingezet bij meldingen van internetoplichting.

Zoals gemeld in mijn brief van 3 december 2019 is AI nadrukkelijk bedoeld als ondersteunend
middel voor de politiemedewerkers. Dat betekent dat de toepassing van AI binnen de
politiecontext ook binnen de gebruikelijke wettelijke kaders plaatsvindt. Afhankelijk
van de context van de inzet van de AI-toepassing kan dat bijvoorbeeld de Wpg (bij
uitvoering van de politietaak), of de AVG (bij inzet in bijvoorbeeld bedrijfsvoeringscontext)
zijn als er persoonsgegevens worden verwerkt. Als er geen sprake is van verwerking
van persoonsgegevens kan er bijvoorbeeld gedacht worden aan de Politiewet 2012 of
het Wetboek van Strafvordering.

De werking van het stelsel van toezicht op de toepassing van AI bij de politie heb
ik uitgelegd in mijn brief van 3 december 2019 over AI bij de politie.

Vraag 11

Hoe staat het met de uitwerking van de waarborgen tegen risico’s van data-analyses
door de overheid, zoals aangekondigd in uw brief van 8 oktober 2019? Hoe bent u van
plan toezicht te houden op lopende experimenten met voorspellende algoritmes totdat
de richtlijnen voor de gehele rijksoverheid zijn geïmplementeerd die privacy en non-discriminatie
waarborgen?13

Antwoord 11

Zoals toegezegd in de brief van de Minister voor Rechtsbescherming en de staatssecretarissen
van Binnenlandse Zaken en Koninkrijksrelaties en van Economische Zaken en Klimaat
van 20 april 202014, zullen de evaluatie en aangepaste versie van de Richtlijnen begin 2021 aan uw Kamer
worden aangeboden.

De toezichthouder op het gebied van gegevensbescherming en privacy is de Autoriteit
Persoonsgegevens (AP). Zij houdt toezicht binnen haar mandaat. De AP is onafhankelijk
toezichthouder op grond van de AVG. De AVG bepaalt de reikwijdte van het handelen
van de AP. Ik heb als Minister van JenV geen mogelijkheid om het handelen van de AP
te beïnvloeden.