Brief regering : Onderzoek naar het gebruik van algoritmen binnen de overheid

Nr. 588
BRIEF VAN DE STAATSSECRETARIS VAN BINNENLANDSE ZAKEN EN KONINKRIJKSRELATIES

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 21 december 2018

In het 30-leden debat van 4 oktober 2017 over de Digitale Infrastructuur is gesproken
over de mogelijkheden van algoritmen en het gebruik ervan door de overheid1. De leden Jetten (D66) en Bruins-Slot (CDA) uitten daarbij hun zorgen over de inzet
van algoritmen. Toenmalig Minister Kamp (EZ) heeft toegezegd om een onderzoek te doen
naar het gebruik van algoritmen door de overheid en de dilemma’s die er spelen. Vanuit
mijn verantwoordelijkheid voor een open en transparante digitale overheid heb ik het
initiatief genomen om gevolg te geven aan het verzoek van de Kamer. In de bijlage
bij deze brief treft u het onderzoek aan2.

Algoritmen staan sterk in de belangstelling. Algoritmen als zodanig bestaan al lang
en worden ook al sinds lange tijd gebruikt. De discussie en soms ook zorgen over het
gebruik van algoritmen hangt vooral samen met nieuwe technologieën die de ontwikkeling
van nieuwe, «slimme» typen algoritmen mogelijk maken waarvan de werking niet altijd
direct duidelijk is.

In de brief «Transparantie van algoritmen in gebruik bij de overheid» (Kamerstuk 26 643, nr. 570) die de Minister voor Rechtsbescherming in oktober j.l. mede namens mij aan uw Kamer
heeft gestuurd, wordt toegelicht wat algoritmen zijn, welke typen er zijn, wat transparantie
van algoritmen inhoudt, welke formele grondslagen er voor transparantie bestaan, en
wordt tevens een aantal vervolgstappen aangekondigd om verder invulling te geven aan
het uitgangspunt dat algoritmen die de overheid gebruikt, zo transparant mogelijk
moeten zijn. Deze informatie is relevant voor de interpretatie en duiding van de hierna
gepresenteerde uitkomsten. Kortheidshalve verwijs ik voor meer achtergrondinformatie
over algoritmen naar deze brief.

Het onderzoek dat ik heb laten uitvoeren geeft invulling aan het verzoek van de Kamer
om meer inzicht te krijgen in het gebruik van algoritmen door de overheid en de dilemma’s
die er spelen. Het onderzoek is uitgezet bij departementen, uitvoeringsorganisaties,
gemeenten, provincies en waterschappen. Het CBS is gevraagd om de vragenlijsten die
uitgezet zijn, te analyseren.

Het onderzoek richt zich a) alleen op algoritmen die de basis vormen voor besluiten
over personen of anderszins impact hebben op een persoon of groepen personen en b)
op intelligente algoritmen omdat inzicht in de werking van deze typen algoritmen de
grootste uitdaging vormt. Het gaat om algoritmen die op basis van een aantal vaststaande
regels tot conclusies komen en daar vervolgens over doorredeneren en algoritmen die
op basis van een aantal casussen geleerd hebben voorspellingen te doen over nog niet
bekende gevallen.

Het onderzoek is een eerste verkenning, en gegeven de focus op intelligente algoritmen,
ook op een relatief nieuw onderwerp. Met de uitkomsten en inzichten ga ik in overleg
met de departementen en hun uitvoeringsorganisaties, provincies, waterschappen en
gemeenten, om te bezien welke stappen we verder kunnen zetten. Aan het slot van deze
brief zet ik u uiteen hoe ik het vervolg zie.

Onderzoeksvragen

In het onderzoek richt ik mij op drie hoofdvragen:

1. Welke overheidsorganisaties gebruiken welke typen algoritmen, met welk doel en met
welk resultaat?

2. Gegeven de complexiteit, en soms het «black-box» karakter van een aantal algoritmen,
is het mogelijk inzicht te geven in de werking van deze algoritmen en hierover te
communiceren?

3. Welke behoefte is er bij overheidsorganisaties aan beleid ten aanzien van algoritmen?

Beeld uit het onderzoek

Gebruik type algoritme en effecten

Van de overheidsorganen die reageren op de vragenlijst gebruikt 48% intelligente algoritmen.
Van organisaties die op dit moment geen gebruik maken van dit type algoritmen, is
10% van plan om dit in de nabije toekomst wel te gaan doen. Het doel waarmee algoritmen
worden ingezet is voornamelijk het signaleren van verhoogde risico’s. De behaalde
effecten hangen hiermee samen. Veel organisaties voorzien geen negatieve gevolgen
van de inzet van algoritmen. Of die gevolgen er dan ook daadwerkelijk niet zijn, is
niet altijd duidelijk. Als negatieve gevolgen wel genoemd worden, dan hangen die samen
met mogelijke fouten in algoritmen, of mogelijke weerstand tegen het gebruik van algoritmen
bij medewerkers. Naar voren komt verder dat aandacht geven aan groepen met een verhoogd
risico soms de schijn heeft van discriminatie. Tot slot geven veel organisaties aan
de uitkomsten van een algoritme te zien als een advies, niet als een eindoordeel.
Een advies is meestal aanleiding voor nader onderzoek. Tegelijk geven organisaties
aan het soms lastig te vinden om af te wijken van het oordeel van een algoritme.

Inzicht in werking algoritmen

De organisaties zeggen de keuze voor een algoritme te laten afhangen van de vraag
hoe goed het algoritme verklaard en uitgelegd kan worden en in welke mate het getoetst
kan worden op nauwkeurigheid en juistheid. Bij de keuze baseert men zich ook op de
vraag of algoritmen voldoen aan privacy wetgeving. Nagenoeg alle organisaties toetsen
of valideren hun algoritmen. Dat doen ze op verschillende manieren, intern, door audits
of toezichthouders. De overheidsorganen geven aan dat een algoritme het best uitgelegd
kan worden door woordelijk te omschrijven wat het algoritme doet.

Behoefte aan beleid

Als het gaat om behoeften aan beleid, wet- en regelgeving op het gebied van algoritmen,
komt een beeld naar voren dat bij een deel van de overheidsorganisaties niet zo zeer
behoefte is aan nieuw beleid, maar aan aanpassing en verscherping van bestaand beleid,
aan meer kaders en richtlijnen.

Mijn indrukken van het onderzoek

Zoals gezegd was dit onderzoek een eerste verkenning; de uitkomsten van het onderzoek
zijn mede vanwege de respons niet te veralgemeniseren. Desondanks ben ik van mening
dat het onderzoek interessante eerste beelden oplevert over het gebruik van algoritmen
en inzichten in de werking ervan binnen de overheid. Naast de voordelen van het gebruik
van algoritmen gaat het onderzoek ook in op een aantal zorgpunten die leven over algoritmen,
bijvoorbeeld het risico van algoritmische discriminatie en uitlegbaarheid van algoritmen.
Deze punten zijn eerder ook geadresseerd door o.a. de Raad van State (Kamerstuk 26 643, nr. 557) en vormden tevens aanleiding voor de Minister van Binnenlandse Zaken en Koninkrijksrelaties
om een onderzoek uit te laten voeren naar algoritmen en grondrechten. Het gelijknamige
onderzoeksrapport van de Universiteit Utrecht is u in augustus van dit jaar aangeboden.

Het onderzoek geeft aan dat toetsing en validatie op algoritmen plaatsvindt. De responderende
organisaties geven aan dat de werking van het algoritme geverifieerd kan worden op
basis van het algoritme zelf, de implementatie ervan en de gebruikte data door zowel
rechters als toezichthouders, maar niet door burgers. Zoals ik in de kabinetsreactie
op het advies van de Raad van State al verwoordde zullen we gezamenlijk bezien of
en hoe we de benodigde transparantie verder kunnen verbeteren.

Als het gaat om beleid ben ik van mening dat de huidige wet- en regelgeving veel aanknopingspunten
en mogelijkheden biedt. In de kabinetsreactie op het rapport «Opwaarderen – Borgen
van publieke waarden in de digitale samenleving» en «Mensenrechten in het Robottijdperk»
van het Rathenau Instituut geeft de Minister van BZK aan dat er allerlei beschermingsmechanismen
zijn ter borging van publieke waarden (zoals consumentenbescherming of beginselen
van behoorlijk bestuur die zijn vastgelegd in gewone wetten (o.a. Burgerlijk Wetboek,
Algemene Verordening Gegevensbescherming, ofwel AVG) en in de Algemene wet bestuursrecht)(Kamerstuk
26 643, nr. 529). Deze bescherming geldt ook meer specifiek voor transparantie en algoritmen, zie
daarvoor ook de eerder genoemde brief van de Minister van Rechtsbescherming over transparantie
van algoritmen. Of de juridische kaders afdoende zijn, is namens mijn ministerie onderzocht
door de Universiteit van Utrecht. Hierover krijgt u in het eerste kwartaal van 2019
een reactie van de Minister van BZK namens het kabinet.

Los van de wettelijke mogelijkheden ben ik wel van mening dat het verkrijgen van inzicht
in algoritmen en dan met name in hun werking geen eenvoudige zaak is, zeker niet,
zoals ook uit het onderhavige onderzoek blijkt, voor burgers.

In de eerder genoemde en mede namens mij aan uw Kamer gezonden brief over transparantie
van algoritmen wordt opgemerkt dat uitlegbaarheid van een algoritme, dat wil zeggen
de verklaring daarvan in begrijpelijke taal, de voorkeur kan hebben boven «technische»
transparantie waarbij de gebruikte broncode en analysemethoden en de gebruikte databestanden
volledig openbaar worden gemaakt. Ook bij de deelnemende organisaties aan het onderzoek
lijkt die behoefte te bestaan, evenals de behoefte aan meer heldere kaders en richtlijnen
rond het gebruik van algoritmen.

Bij transparantie van algoritmen dienen ook andere aspecten meegewogen te worden.
Naast -bijvoorbeeld- de behoefte aan inzicht in de eerlijkheid (het niet-discriminerende
effect) van een algoritme, kunnen er ook argumenten zijn om inzicht in algoritmen
te beperken om te voorkomen dat de uitkomsten van het algoritme ongewenst worden beïnvloed
of als de (nationale) veiligheid of de privacy van individuen geraakt kunnen worden.
Hoe de weging tussen de in de brief genoemde aspecten uitpakt, hangt sterk af van
de context waarbinnen deze moet plaatsvinden en dat zal daarom per geval verschillen.

Zoals in bovengenoemde brief vermeld zijn werkgroepen bezig met het opstellen van
richtlijnen voor het inzichtelijk maken van algoritmen die de overheid gebruikt voor
toezichthouders en voor de rechtspraak respectievelijk voor publieksvoorlichting over
Big Data analyses (en dus het gebruik van algoritmen) door de overheid. In eerstbedoelde
richtlijnen zal ook aandacht worden geschonken aan het uitvoeren van technische audits
met betrekking tot de kwaliteit van algoritmen. Verder is een werkgroep bezig met
een onderzoek naar mogelijke wettelijke kwaliteitswaarborgen rond het gebruik van
Big Data door de overheid.3 De Kamer zal in het eerste kwartaal van 2019 een brief ontvangen over de resultaten
van deze werkgroepen.

Naast wettelijke verplichtingen, richtlijnen en kaders, kunnen projecten waar overheden
ervaringen opdoen met transparantie en algoritmen ertoe leiden dat overheden meer
«in control» raken als het gaat om het verantwoord gebruik van algoritmen. Hier zijn
raakvlakken met het nieuwe Actieplan Open Overheid waar een apart actiepunt is opgenomen
over open algoritmen en met de beleidsvisie open source software waarover ik de Kamer
in het eerste kwartaal van volgend jaar informeer. Ook zal de komende jaren het kabinet
inzetten op het stimuleren van dialogen. Zo organiseert het Ministerie van JenV minisymposia
voor een dialoog over Big Data met wetenschappers, organisaties die privacybelangen
vertegenwoordigen, toezichthouders en overheidsorganisaties. Onderwerpen die tijdens
deze symposia aan de orde komen, zijn: transparantie, experimenten, datakwaliteit
en menselijke tussenkomst. De uitkomsten van deze symposia worden verwerkt in praktische
tools voor een zorgvuldige omgang met Big Data. Het Ministerie van BZK is momenteel
volop bezig met een brede dialoog over publieke waarden en mensenrechten en de waarborging
hiervan in de informatiesamenleving. Deze dialogen gaan ook specifiek over algoritmen
en transparantie en worden gevoerd met burgers, bedrijfsleven en wetenschap. De resultaten
daarvan zullen onder andere worden meegenomen in de uitvoering van de Agenda Digitale
Overheid, waarin het kabinet het belang van transparantie en integriteit van algoritmen
heeft onderstreept.

Tot slot

Dit onderzoek was een eerste verkenning; het geeft een eerste beeld maar verdieping
is nodig, zeker als wij generieke maatregelen zouden willen treffen. Ik zal naar aanleiding
van het onderzoek de samenwerking met alle departementen en mede-overheden voortzetten
om tot een breder inzicht te komen. Het gaat voornamelijk om het bundelen van krachten
en het benutten van bestaande kennis en initiatieven op dit thema, met als doel de
inzichtelijkheid en uitlegbaarheid van algoritmen te verbeteren. De samenwerking zou
wat mij betreft goed passen binnen bestaande overlegstructuren zoals het Overheidsbreed
Beleidsoverleg Digitale Overheid (OBDO). In het kader van het verbeteren van de uitlegbaarheid
van algoritmen overweeg ik het creëren van een omgeving – een soort transparantielab
– waar overheidsorganisaties terecht kunnen om ervaringen op te doen met transparantie
(over algoritmen, data, standaarden), het toepassen van principes van verantwoord
innoveren (omgaan met publieke waarden dilemma’s, het vroegtijdig betrekken van externen
en onderzoeken van de impact van algoritmen), en het verbeteren van de uitlegbaarheid.
Ik zal uw Kamer medio 2019 over de vorderingen informeren.

De Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties,
R.W. Knops