Brief regering : Waarborgen tegen risico’s van data-analyses door de overheid

32 761 Verwerking en bescherming persoonsgegevens

Nr. 641 BRIEF VAN DE MINISTER VOOR RECHTSBESCHERMING

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 8 oktober 2019

1. Aanleiding

Data-analyses bieden veel kansen voor bedrijven en overheden om hun zaken efficiënter
en effectiever in te richten. Zo kan een bedrijf met behulp daarvan betere klantprofielen
maken. Overheidsorganisaties kunnen daarmee bijvoorbeeld risicotaxatiemodellen inrichten
waarmee zij beter toezicht kunnen houden op de naleving van wet- en regelgeving of
efficiënter fraude kunnen opsporen. Digitalisering zorgt er daarbij voor dat er ook
steeds meer en betere mogelijkheden ontstaan om data te vergaren en te analyseren.

Data-analyses geven ook risico’s. De transparantie rond data-analyses kan onvoldoende
zijn. Hierdoor weten burgers vaak niet dat zij onderwerp zijn van een data-analyse,
waarvoor die analyse wordt gemaakt en de precieze effecten daarvan. Door dit gebrek
aan transparantie weet men zich niet goed te weren tegen de uitkomsten van zo’n analyse.
De groeiende complexiteit van analysemethodes en daarbij gebruikte algoritmes maakt
ook dat de analyses en de uitkomsten daarvan steeds lastiger te doorgronden zijn en
daardoor ook moeilijker te controleren. Daarnaast bestaat het risico op onregelmatigheden
in de datasets of algoritmes. Zo kunnen datasets bias bevatten die in de data-analyse
gereproduceerd worden. Ook kunnen er discriminerende effecten optreden wanneer (onbedoeld)
vooroordelen van experts worden vertaald in het ontwerp van het algoritme, de keuze
van variabelen of de classificatie van gegevens. Bij data-analyses gebaseerd op profilering
kan men bijvoorbeeld ten onrechte een bepaalde eigenschap toegekend krijgen (false positive) of andersom ten onrechte een eigenschap niet toebedeeld krijgen (false negative).

Algoritmes zijn dus niet altijd neutraal, noch hebben ze altijd gelijk. Maar het alternatief
waarin afwegingen door de mens worden gemaakt, is evenmin neutraal of altijd juist.
Door te kijken naar patronen en verbanden in data zijn we juist in staat om bestaande
vooroordelen bloot te leggen en besluitvorming te objectiveren. Dat neemt niet weg
dat het zaak is om voornoemde risico’s te onderkennen en waar mogelijk te verminderen.

Tegen deze achtergrond heeft het vorige kabinet in zijn standpunt op het rapport «Big
Data in een vrije en veilige samenleving» van de Wetenschappelijke Raad voor het Regeringsbeleid
(WRR) aangekondigd te bezien of de waarborgen rond het uitvoeren en gebruiken van
data-analyses door de overheid kunnen worden versterkt.1 Vervolgens heb ik tijdens het Algemeen Overleg over Big Data en de bescherming van
persoonsgegevens op 30 mei 2018 toegezegd uw Kamer te informeren over mogelijke wettelijke
waarborgen om risico’s van data-analyses door de overheid tegen te gaan.2 Met deze brief geef ik mede namens de Staatssecretaris van Binnenlandse Zaken en
Koninkrijksrelaties (BZK) uitvoering aan deze toezegging.

Deze brief staat niet op zichzelf. Zij borduurt voort op mijn brief van 9 oktober
2018 over transparantie van algoritmes in gebruik bij de overheid3, de kabinetsreactie van 2 november 2018 op het advies van de Raad van State over
de effecten van digitalisering voor de rechtstatelijke verhoudingen4, mijn brief van 19 december 2018 over artificiële intelligentie en algoritmen in
de rechtspleging5, de brief van de Staatssecretaris van BZK van 21 december 2018 over het gebruik van
algoritmes door overheden6 en de kabinetsreactie van 28 maart 2019 op het onderzoeksrapport «Algoritmes en grondrechten»
van de Universiteit Utrecht (UU).7

Tegelijkertijd met deze brief zijn het Strategisch Actieplan voor Artificiële intelligentie
(AI) (SAPAI) (Kamerstukken 26 643 en 32 761, nr. 640) en de beleidsbrief AI, publieke waarden en mensenrechten aan uw Kamer aangeboden.
De drie brieven focussen op verschillende onderdelen van het brede vraagstuk ten aanzien
van het benutten van kansen en het adresseren van risico’s van AI. SAPAI bevat de
overkoepelende AI-aanpak van dit kabinet en bevat beleidsmaatregelen om de maatschappelijke
en economische kansen van AI te benutten en daarbij de publieke belangen te borgen.
SAPAI gaat in spoor 3 kort in op de effecten van AI op publieke waarden. Omdat de
effecten van AI op publieke waarden en mensenrechten complex zijn en in potentie ook
significant, heeft het kabinet ervoor gekozen om in de brief over AI, publieke waarden
en mensenrechten nader aandacht te besteden aan beleid op dit vlak. Ditzelfde geldt
voor de onderhavige brief die in het bijzonder ingaat op mogelijke waarborgen tegen
de risico’s van het gebruik van algoritmes en data-analyses door de overheid.

Op het terrein van AI en algoritmes vormen «transparantie, toetsbaarheid en rechtsbescherming»
belangrijke aspecten. Omdat verantwoordelijkheden voor deze aspecten bij verschillende
bewindslieden liggen, acht het kabinet het van belang om de respectievelijke verantwoordelijkheden
van de bewindspersonen goed te duiden.

Algemeen en systeemverantwoordelijk voor (normering rond) transparantie, toetsbaarheid
en rechtsbescherming in het kader van AI/algoritmes is de Minister voor Rechtsbescherming.
Binnen dit algemene systeem is specifiek verantwoordelijk voor (normering rond) transparantie,
toetsbaarheid en rechtsbescherming:

• de Minister voor Rechtsbescherming in relatie tot het algemeen bestuursrecht, het
gegevensbeschermingsrecht en het rechtsbestel,

• de Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties in relatie tot het
openbaar bestuur en

• de Staatssecretaris van Economische Zaken en Klimaat in relatie tot het bedrijfsleven
en consumentenbescherming.

Daarnaast is elke bewindspersoon uiteraard verantwoordelijk voor het beleid met betrekking
tot AI en algoritmes op het eigen beleidsterrein.

2. Belang, karakter en evaluatie waarborgen

Het staat voor het kabinet voorop dat bij de verdere ontwikkeling en toepassing van
data-analyses gebaseerd op algoritmes tegelijkertijd moet worden geïnvesteerd in de
ontwikkeling van waarborgen die de hierboven geschetste risico’s moeten beperken.
Dat draagt immers bij aan het noodzakelijke vertrouwen in deze toepassingen.8 Volgens het kabinet is de bestaande regelgeving, waaronder de Algemene verordening
gegevensbescherming (AVG), onvoldoende toegespitst op het specifieke karakter van
data-analyses gebaseerd op algoritmes om deze risico’s voldoende te beperken en is
het nodig om hiervoor aanvullende waarborgen te realiseren.9

Uit de eerder beschreven risico’s vloeit voort dat de waarborgen waarmee data-analyses
omgeven moeten worden, erop gericht moeten zijn de transparantie van de gebruikte
data, algoritmes en analysemethoden te vergroten en de kwaliteit en betrouwbaarheid
daarvan te verbeteren. Hiertoe heeft het kabinet waarborgen voor ogen die in eerste
instantie het karakter van richtlijnen hebben, maar het wil daarnaast op termijn ook
toewerken naar waarborgen die in wetgeving worden opgenomen.

In lijn met de reactie op het WRR-rapport concentreert het kabinet zich in dit stadium
op waarborgen voor data-analyses door overheidsorganen. Aangezien veel bedrijven grensoverschrijdend
opereren lijkt het niet effectief om ook voor hen waarborgen op nationaal niveau te
regelen. Het grensoverschrijdende karakter van vele bedrijfsactiviteiten en -verwerkingen
en het principe van vrij verkeer van persoonsgegevens, dat een van de doelstellingen
is van de AVG, brengen bovendien met zich dat eventuele wettelijke waarborgen voor
data-analyses door het bedrijfsleven beter op Europees niveau kunnen worden vastgesteld.10 Overigens zijn in Europees verband op dit vlak al initiatieven ontwikkeld.11

2.1. Richtlijnen

Het kabinet heeft in eerste instantie richtlijnen ontwikkeld voor het toepassen van
algoritmische data-analyses.12 De technologie met betrekking tot data-analyses is voortdurend in ontwikkeling en
zal dat ook nog wel blijven. Dit betekent dat sommige waarborgen het best het karakter
kunnen krijgen van richtlijnen, die flexibel kunnen worden aangepast aan de technologische
ontwikkelingen. Het kabinet heeft daartoe de als bijlage bij deze brief opgenomen
«Richtlijnen voor het toepassen van algoritmes door overheden» ontwikkeld.13 Deze richtlijnen zijn relevant voor data-analyses in brede zin en bevatten concrete
en op de stand van de technologie afgestemde aanwijzingen, bedoeld om het inzicht
in, de transparantie en de kwaliteit van algoritmes en data-analyses door overheidsinstanties
te vergroten. Deze richtlijnen zijn voorbereid in overleg met experts uit diverse
uitvoeringsorganisaties en mede gebaseerd op de bestaande praktijk van deze organisaties.
Het gaat hier om waarborgen met betrekking tot:

• Bewustzijn risico’s,

• Uitlegbaarheid,

• Gegevensherkenning,

• Auditeerbaarheid,

• Verantwoording,

• Validatie,

• Toetsbaarheid,

• Informatievoorziening aan het publiek.

Omdat het hier gaat om een materie die relatief nieuw is, voortdurend in ontwikkeling
is en gevolgen heeft voor de uitvoeringspraktijk van vele overheidsorganisaties, acht
het kabinet het aangewezen dat de richtlijnen in een vervolgtraject nader worden uitgewerkt
en getoetst op hun effectiviteit en uitvoerbaarheid. Hiertoe zal het kabinet het overleg
met relevante overheidsorganisaties zoals de politie, Inspectie SZW, UWV en de Belastingdienst,
alsook met de VNG en de gemeenten voortzetten. Ook zullen de richtlijnen aan de hand
van concrete casussen worden getest in het Transparantielab dat door BZK is ingericht.
Daarnaast zal onder auspiciën van de VNG een impactanalyse voor gemeenten worden uitgevoerd.
De uitkomsten van een en ander zullen worden betrokken bij een evaluatie van de richtlijnen
die kort na de zomer van 2020 zal worden afgerond. Op grond van de resultaten van
deze evaluatie zullen de richtlijnen zo nodig worden aangepast of aangescherpt.

2.2. Wettelijke waarborgen

Naast voornoemde richtlijnen wil het kabinet toewerken naar waarborgen die in wetgeving
kunnen worden opgenomen. Het voordeel van wettelijke waarborgen, boven (niet-dwingende)
richtlijnen, is dat het toezicht op en handhaving van deze waarborgen hiermee worden
versterkt.14 Daarbij kan worden gedacht aan waarborgen die afgeleid zijn uit de richtlijnen en
die op basis van de eerder genoemde evaluatie voldoende zijn uitgekristalliseerd om
in wetgeving op te nemen.

Daarnaast heeft het kabinet waarborgen voor ogen, waarvoor noodzakelijk is dat die
bij wet geregeld worden. Een voorbeeld betreft het voorstel om toe te staan dat bij
de ontwikkeling van algoritmische modellen bijzondere persoonsgegevens worden verwerkt,
voor zover nodig om discriminerende effecten tegen te gaan. Gelet op het verbod op
verwerking van bijzondere persoonsgegevens kan een dergelijke uitzondering alleen
in wetgeving worden geregeld.15

Als het gaat om wettelijke waarborgen acht het kabinet het voorts aangewezen om de
focus te leggen op data-analyses waarbij persoonsgegevens worden verwerkt. De risico’s van data-analyses lijken dan het grootst: data-verwerkingen
kunnen in dat geval bij uitstek inbreuk maken op de privacy en andere rechten van
individuen. Daarbij zoekt het kabinet aansluiting bij de AVG en de Richtlijn gegevensbescherming
opsporing en vervolging (Richtlijn).16 Beide regelingen gaan in op »profilering» waarbij juist de risico’s zich kunnen voordoen
zoals die hierboven zijn beschreven. Aansluiting bij het begrip «profilering» heeft
in dit opzicht de voorkeur boven gebruik van het begrip «Big Data», omdat daarvan
geen eenduidige definitie bestaat.17

Enkele risico’s van profilering zijn ook aanwezig bij sommige data-analyses waarbij
weliswaar sprake is van verwerking van persoonsgegevens, maar die niet in een evaluatie
van een of meer personen uitmonden en om die reden buiten de AVG/Richtlijn-definitie
van profilering vallen. Te denken valt aan risicoanalyses die zich niet richten op
een persoon, maar op geografische gebieden, zoals een wijk of straat (hierna: gebiedsgebonden
analyses). Zulke analyses kunnen bijvoorbeeld tot doel hebben het doen van een voorspelling
over de (verhoogde) kans dat een strafbaar feit wordt gepleegd in een bepaald gebied
in een bepaalde tijdsperiode.18

Samenvattend kiest het kabinet ervoor om wettelijke waarborgen te realiseren voor
twee typen data-analyses door de overheid, te weten:

• Profilering, in de betekenis die daaraan wordt gegeven in de AVG en Richtlijn;

• Gebiedsgebonden analyse waarbij ook sprake is van verwerking van persoonsgegevens
en van soortgelijke risico’s als die welke zich bij profilering voordoen.

Zie voor een toelichting op beide typen gegevensanalyses de desbetreffende bijlage
bij deze brief19.

3. Mogelijke waarborgen

De waarborgen die het kabinet voor ogen staan, zijn, zoals gezegd, erop gericht de
transparantie van de gebruikte data, algoritmes en analysemethoden te vergroten en de kwaliteit en betrouwbaarheid daarvan te verbeteren.20 Het betreft in de eerste plaats waarborgen die als richtlijnen zijn opgenomen in
een bijlage bij deze brief en daarin nader zijn uitgewerkt.21 Daarnaast gaat het om waarborgen waarvoor een wetswijziging nodig is.

Er zij overigens opgemerkt dat profilering en gebiedsgebonden analyses, als vormen
van gegevensverwerkingen, aan de voorwaarden uit de AVG en de Richtlijn dienen te
voldoen, waaronder het vereiste dat er voor de verwerking een rechtsgrond is.22 Deze voorwaarden gelden onverkort. Daar ziet deze brief niet op. De in deze brief
voorgestelde waarborgen zijn aanvullend op de AVG en Richtlijn.

3.1. Waarborgen met betrekking tot transparantie

Transparantie is een basisprincipe in de AVG (en tot op zekere hoogte ook in de Richtlijn)
en is in diverse bepalingen verankerd en nader uitgewerkt. Artikel 5, eerste lid,
onder a, bepaalt dat persoonsgegevens verwerkt moeten worden op een wijze die ten
aanzien van betrokkenen transparant is. De artikelen 12 tot en met 14 AVG bevatten
nadere voorschriften voor de informatievoorziening aan het betrokken individu. Als
het gebruik van profilering gepaard gaat met geautomatiseerde besluitvorming, schrijft
de AVG voor dat de desbetreffende overheidsdienst de betrokkene informeert dat deze
besluitvorming gebaseerd is op profilering en ook nuttige informatie verschaft over
de onderliggende logica, het belang en de verwachte gevolgen van die verwerking voor
de betrokkene.23

Deze informatieverplichting heeft twee beperkingen. Ten eerste is deze verplichting
uitsluitend bedoeld om de individuele betrokkenen te informeren, dat wil zeggen de
personen van wie persoonsgegevens worden verwerkt.24 Ten tweede gelden deze bepalingen uitsluitend voor profilering als onderdeel van
geautomatiseerde besluitvorming. Dus niet voor profilering als onderdeel van andere
vormen van geautomatiseerde gegevensverwerking, vormen die niet in geautomatiseerde
besluitvorming uitmonden.

Het kabinet hecht eraan dat geautomatiseerde data-analyses door de overheid zo transparant
mogelijk zijn. Transparantie kan immers in belangrijke mate bijdragen aan het vertrouwen
dat men in gegevensanalyses door de overheid moet kunnen hebben. Dit geldt temeer
nu het gebruik van geautomatiseerde data-analyses snel toeneemt en daarmee ook de
behoefte om te begrijpen hoe deze processen werken. Transparantie kan ook bijdragen
aan controleerbaarheid en daarmee aan de mogelijkheden van burgers om zich te verweren
tegen de uitkomst daarvan. Zij is aldus van groot belang voor een effectieve rechtsbescherming
van de burger.

i. Informatie aan het publiek

Het kabinet ziet dan ook reden om de bestaande informatieverplichtingen jegens individuele
betrokkenen aan te vullen met een bepaling die de informatievoorziening over profilering
door de overheid aan het publiek regelt, los van de vraag of men betrokkene is en
bovendien geldend voor alle vormen van profilering als bedoeld in de AVG en niet alleen
voor profilering als onderdeel van geautomatiseerde besluitvorming. Dezelfde verplichting
zou ook moeten gelden voor gebiedsgebonden analyses.

De informatievoorziening zou betrekking moeten hebben op de toepassing en het doel
van de verwerking en zou voorts inzicht moeten geven in de verwachte gevolgen van
die verwerking voor betrokkenen. Ook zou de informatie duidelijkheid moeten geven
over het type gegevens dat wordt gebruikt, en de toepassing van maatregelen ter borging
van de kwaliteit van het analyseproces (zie hierna, onder Kwaliteitswaarborgen). In het geval dat profilering onderdeel van geautomatiseerde besluitvorming uitmaakt,
zou de informatievoorziening bovendien moeten ingaan op de wijze waarop men van het
recht op menselijke tussenkomst gebruik kan maken (zie hierna, onder Kwaliteitswaarborgen,
sub v). Overheidsorganen zouden deze informatie kunnen opnemen in een privacyverklaring
op hun website.

ii. Uitlegbaarheid

Controleerbaarheid impliceert uitlegbaarheid. Daarbij gaat het erom dat de uitkomsten
van data-analyses en hoe deze tot stand zijn gekomen, in begrijpelijke taal moeten
kunnen worden verklaard aan betrokkenen. Gedacht kan worden aan maatregelen die duidelijkheid
geven over het toegepaste model of algoritme, het doel dat daarmee wordt nagestreefd,
de procedures die door het algoritme worden gevolgd, de gebruikte datasets inclusief
de kwaliteit en herkomst daarvan en de variabelen en/of beoordelingscriteria die doorslaggevend
zijn geweest voor de uitkomst. In het verlengde hiervan zou als uitgangspunt moeten
gelden dat overheidsorganisaties geen algoritmes mogen hanteren die te complex zijn
om redelijkerwijs te kunnen worden uitgelegd.25

Anders dan de informatie die aan het publiek wordt verschaft, zal deze informatie
in concrete gevallen worden gegeven, bijvoorbeeld op verzoek van betrokkene of van
de rechter. De informatievoorziening zal dan ook een verdergaande mate van detaillering
moeten behelzen.

iii. Uitzonderingen

Vermeden moet worden dat verschaffing van de hierboven bedoelde informatie (onder
sub i. en ii.) kan leiden tot een vorm van «gaming the system». Dit is het verschijnsel dat burgers misbruik maken van de gegeven informatie en
calculerend gedrag gaan vertonen, waardoor de effectiviteit van het overheidshandelen
nadelig wordt beïnvloed. Daarom zal de informatieverschaffing achterwege moeten blijven,
voor zover een algemeen belang als bedoeld in artikel 23, eerste lid, AVG zich daartegen
verzet.26 Het gaat daarbij om belangen als de nationale of openbare veiligheid, economische
en financiële belangen met inbegrip van fiscale aangelegenheden, volksgezondheid en
sociale zekerheid, de voorkoming, het onderzoek, de opsporing en de vervolging van
strafbare feiten en de taken op het gebied van toezicht en inspectie op genoemde terreinen.27 De overheid moet die uitzonderingen wel neerleggen in wetgeving en daarin die uitzondering
goed onderbouwen.

3.2 Kwaliteitswaarborgen

Het kabinet wil, zoals gezegd, ook het risico op fouten en onjuistheden in de gebruikte
datasets, algoritmes of methodes, en de mogelijke discriminerende effecten die daaruit
kunnen volgen, minimaliseren. Dit kan door kwaliteitswaarborgen te stellen aan het
gebruik van met name profilering en gebiedsgebonden analyses.

i. Vooraf/tussentijds te nemen maatregelen

Als uitgangspunt zou moeten gelden dat alleen gebruik wordt gemaakt van algoritmes
en analysemethodes die op wetenschappelijk verantwoorde wijze zijn ontwikkeld dan
wel wetenschappelijk zijn gevalideerd. Ook dient vooraf de keuze voor een analysemethode
gemotiveerd te worden gemaakt in functie van het doel van de analyse.

Daarnaast zouden er technische maatregelen moeten worden ontwikkeld en toegepast die
erop gericht zijn onregelmatigheden c.q. discriminerende bias die aanwezig zijn in
de datasets of modellen te voorkomen, corrigeren of compenseren.28 De maatregelen zouden voorts kunnen bestaan uit regelmatige beoordelingen (via testcases)
van de datasets of trainingsdata, inclusief de kwaliteit ervan

Bij gebruik van algoritmes van derde partijen wordt verder gedacht aan contractuele
maatregelen waarbij geregeld wordt dat het algoritme inzichtelijk wordt gemaakt dan
wel ter beschikking wordt gesteld zodat het getest kan worden op nauwkeurigheid en
functionele correctheid. Overheidsinstanties blijven immers altijd verantwoordelijk
voor de resultaten of beslissingen die door middel van door hen gebruikte algoritmes
worden gemaakt.

ii. Validatie en audits

Andere maatregelen bestaan uit validatie en controle door middel van audits van de
resultaten van data-analyses en de daarbij gebruikte algoritmes en modellen.29 Daarbij gaat het om het controleren of het model of algoritme de beoogde functionaliteit
correct uitvoert (validatie), respectievelijk het periodiek toetsen van de nauwkeurigheid
van de werking van het model of algoritme (audit).30 Ook kan het gaan om het controleren welke controlemechanismen de organisatie in het
proces heeft ingebouwd. Maatregelen inzake validatie en audits impliceren dat gehanteerde
modellen, algoritmes en datasets worden gedocumenteerd, zodat ze achteraf geverifieerd
kunnen worden.

iii. Doorlopende toepassing en correctie

De hier bedoelde maatregelen zouden op cyclische basis moeten worden uitgevoerd en
zolang de profilering of gebiedsgebonden analyse wordt toegepast. De uitkomst van
de testen die in eerdere bedoelde procedures en maatregelen liggen opgesloten, zou
moeten worden teruggekoppeld en vervolgens verwerkt in het model of algoritme.31

iv. Toetsbaarheid

Waar het bij «uitlegbaarheid» gaat om het in begrijpelijke taal beschrijven van de
uitkomsten van de analyse, ziet toetsbaarheid erop dat de uitkomsten daadwerkelijk
getoetst kunnen worden. Hiertoe dienen data-analyses als profilering en gebiedsgebonden
analyses zo te worden ingericht dat de gehanteerde methode, algoritmes en datasets
reproduceerbaar en toetsbaar zijn. Toetsbaarheid richt zich primair op toetsing door
de toezichthouder en/of rechter.

v. Menselijke tussenkomst

Profilering kan ook plaatsvinden als onderdeel van geautomatiseerde individuele besluitvorming.
In dat geval lijkt het volgens het kabinet aangewezen om betrokkene het recht op menselijke
tussenkomst te geven. In de memorie van toelichting bij de UAVG is vermeld dat voor
geautomatiseerde individuele besluitvorming anders dan op basis van profilering er
geen reden is om menselijke tussenkomst te vergen, omdat dit geen toegevoegde waarde
heeft.32 Ingeval van geautomatiseerde besluitvorming op basis van profilering is die toegevoegde
waarde er wel. In dat geval kunnen zich immers de eerdergenoemde risico’s voordoen
van fouten, onregelmatigheden en vooroordelen waarvan burgers nadeel kunnen ondervinden.
Menselijke tussenkomst kan die risico’s mitigeren.

Indien de geautomatiseerde besluitvorming noodzakelijk is voor de totstandkoming of
uitvoering van een overeenkomst of berust op de uitdrukkelijke toestemming van de
betrokkene, geldt op grond van de AVG al dat de verwerkingsverantwoordelijke het recht
op menselijke tussenkomst moet waarborgen.33 Voor het geval dat de geautomatiseerde besluitvorming berust op een specifieke wettelijke
grondslag, is niet uitdrukkelijk geregeld dat deze waarborg ook geldt. Wel dat de
wetgever in passende maatregelen moet voorzien ter bescherming van de rechten en vrijheden
en gerechtvaardigde belangen van de betrokkene. Als in dat geval profilering onderdeel
van de besluitvorming is, zou het recht op menselijke tussenkomst zo’n maatregel kunnen
zijn.34 Van belang is dat de menselijke tussenkomst betekenisvol dient te zijn. Zo dient
deze tussenkomst uitgevoerd te worden door iemand die bevoegd en bekwaam is om het
besluit te veranderen en dienen alle beschikbare gegevens daarbij te betrokken worden.35 Overigens zou voor zo’n geval van besluitvorming een specifieke wettelijke grondslag
moeten worden gecreëerd.36 Vooralsnog bestaat een dergelijke grondslag niet.37

Specifiek voor profilering als onderdeel van uitsluitend geautomatiseerde individuele
besluitvorming zou voorts als waarborg kunnen gelden dat overheidsorganisaties geen
algoritmes mogen hanteren die zichzelf automatisch, dit wil zeggen zonder menselijke
controle, aanpassen aan eerder behaalde resultaten.38

vi. Verwerking bijzondere persoonsgegevens

Bij profileringstechnieken waarbij gegevens op grote schaal met elkaar worden gecombineerd,
kunnen onbedoeld verbanden worden blootgelegd die een aanwijzing geven over iemands
gezondheid, geloofsovertuiging, seksuele geaardheid of een ander gevoelig persoonsgegeven.39 Een voorbeeld hiervan is een studie waarbij Facebook-«likes» gecombineerd werden
met gegevens van een beperkte enquête en vervolgens vastgesteld werd dat onderzoekers
in 88% van de gevallen de seksuele geaardheid van mannelijke gebruikers goed hadden
ingeschat, in 95% hun etnische afkomst en in 82% of een gebruiker christen of moslim
was.40

Daarnaast kan het zijn dat profileringsmodellen die uitsluitend gebruik maken van
ogenschijnlijk objectieve criteria (variabelen), indirect nadelige effecten hebben
voor bepaalde individuen of groepen waarvan het een gegeven is dat die stelselmatig
meer of minder dan gemiddeld scoren op een of meer van deze criteria. Dit zou indirect
discriminerende gevolgen kunnen hebben voor betrokkenen. Zo blijkt uit een recente
studie dat een profileringsmodel dat tot doel heeft om geslachtsneutraal voorspellingen
te doen inzake het salaris van professoren, nadelig kan uitpakken voor vrouwen, wanneer
het zich uitsluitend baseert op variabelen als functieniveau (i.e. assistant, associate of full), opleidingsniveau en anciënniteit. Dit omdat vrouwen in vergelijking met mannen
in de regel lager scoren op functieniveau. Met andere woorden, er bestaat een verkapte
correlatie tussen het functieniveau en het geslacht. Wanneer hiervoor geen correctie
plaatsvindt, kunnen de resultaten van het model indirect in het nadeel van vrouwen
uitpakken.41 Dit voorbeeld heeft weliswaar betrekking op het geslacht, maar is evengoed relevant
voor bijzondere persoonsgegevens als bedoeld in de AVG. Een ander voorbeeld betreft
de mogelijke correlatie tussen etniciteit en postcodes.42

Om deze onbedoelde en ongewenste effecten tegen te gaan kan het juist nodig zijn om
bij de ontwikkeling van modellen en methoden relevante bijzondere persoonsgegevens
te verwerken.43 Zo kunnen elementen in het profileringsproces die tot vooroordelen kunnen leiden,
worden geëlimineerd en kunnen verkapte tekortkomingen in datasets of modellen worden
gecorrigeerd. In een recent experimenteel onderzoek is een model ontwikkeld waarmee
aangetoond is dat door gebruik van relevante bijzondere persoonsgegevens als controle-variabele,
discriminerende effecten gecorrigeerd kunnen worden.44 Daarom valt te overwegen om bij de ontwikkeling van modellen en, zo nodig, de uitvoering
van maatregelen, zoals onder 3.2, i. en ii. bedoeld, toe te staan dat bijzondere categorieën
van persoonsgegevens worden verwerkt, voor zover dat noodzakelijk is om discriminerende
effecten tegen te gaan.

vii. Kwaliteitseisen aan gebruik van statistiek

In zowel profilering als gebiedsgebonden analyse kunnen behalve het oordeel van experts
of uit wet- en regelgeving afgeleide criteria, ook statistische verbanden (correlaties)
een grote rol spelen.45 Standaarden en uitgangspunten die voor statistisch onderzoek zijn ontwikkeld, worden
echter niet altijd gehanteerd voor analyses waarmee correlaties worden blootgelegd.
Hierdoor kunnen de risico’s op fouten, in het bijzonder die van false positives en false negatives bij profilering en van stigmatisering bij gebiedsgebonden analyses, toenemen.

Om deze risico’s te verminderen kunnen bepaalde statistische standaarden en uitgangspunten
worden geformuleerd.46 Daarbij zou aansluiting kunnen worden gezocht bij de standaarden die op Europees
en internationaal niveau zijn geformuleerd, zoals de Praktijkcode voor Europese Statistieken.47 In deze code wordt een aantal principes genoemd die daarin ook verder worden uitgewerkt.
De partijen die statistische analyses uitvoeren, moeten:

1. professioneel onafhankelijk en voldoende geëquipeerd zijn,

2. zorgen voor deugdelijke onderzoeksmethoden, beproefde en transparante standaardprocedures
en kwaliteitsbeleid,

3. bij hun handelen onpartijdig en objectief te werk gaan,

4. zorgen voor nauwkeurige en betrouwbare onderzoeksresultaten en

5. zorgen voor transparantie en goede controle op hun onderzoek.

4. Toezicht en verantwoording

Mede bepalend voor de effectiviteit van een wettelijke regeling inzake waarborgen
voor profilering en gebiedsgebonden analyses met behulp van algoritmes, is dat het
toezicht op de naleving daarvan duidelijk geborgd is en effectief is. Daarbij is relevant
dat het toezicht op gebruik van algoritmes specifieke kennis en kunde vergt.

Bij profilering en gebiedsgebonden analyses, zoals in deze brief aan de orde en waarbij
sprake is van gegevensverwerkingen, hoort het toezicht bij de Autoriteit Persoonsgegevens
(AP). Naast de AP kunnen ook andere toezichthouders worden geconfronteerd met het
gebruik van algoritmes, voor zover dat gebruik zaken betreft die onder hun toezicht
vallen. In dat verband laat het kabinet, naar aanleiding van een recente motie van
de leden Verhoeven en Van der Molen, onderzoek doen naar mogelijke tekortkomingen
in het huidige toezicht op algoritmes en zal daarbij ook onderzoeken of toezichthouders
voldoende zijn toegerust om toezicht op algoritmes te kunnen houden.48 Ook wil het kabinet de start die al is gemaakt om toezichthouders in een samenwerkingsverband
van elkaars expertise op algoritmes en AI te laten leren, verdergaand stimuleren.
Deze trajecten zullen ten goede komen aan een effectief toezicht op bestaande en mogelijke
nieuwe wettelijke waarborgen inzake profilering en gebiedsgebonden analyses.

Een ander aspect dat van belang is voor de naleving van wettelijke normen is dat er
duidelijkheid is over wie verantwoordelijk is voor het gebruik en de uitkomsten van
deze data-analyses. Zoals gezegd, zijn overheidsinstanties altijd verantwoordelijk
voor de uitkomsten of beslissingen die door middel van door hen gebruikte algoritmes
worden gemaakt en dienen zij hier ook verantwoording over af te leggen. Bij profilering
en gebiedsgebonden analyses waarbij sprake is van gegevensverwerkingen, zal deze verantwoordelijkheid
toekomen aan de zogenaamde «verwerkingsverantwoordelijke», zoals in de AVG en Richtlijn
gedefinieerd en geregeld.

5. Slot

In paragraaf 3 zijn voorstellen voor waarborgen beschreven die volgens het kabinet
mogelijk opgenomen kunnen worden in generieke wetgeving.

Daarnaast kunnen in sectorale wetten aanvullende, voor die sector specifieke, waarborgen
worden opgenomen.49

Zoals gezegd heeft het kabinet voor ogen om, in een vervolgtraject, het overleg met
relevante overheidsorganisaties voort te zetten om de waarborgen verder uit te werken
en te toetsen op hun effectiviteit en uitvoerbaarheid. De uitkomsten daarvan zullen
worden betrokken bij een evaluatie van de richtlijnen die kort na de zomer van 2020
zal worden afgerond. Op grond van de resultaten van deze evaluatie zullen de richtlijnen
zo nodig worden aangepast of aangescherpt. Met deze resultaten zal ook rekening worden
gehouden bij het voorbereiden van eventuele wetgeving met waarborgen die dan voldoende
zijn uitgekristalliseerd.

De Minister voor Rechtsbescherming,
S. Dekker