Brief regering : Kabinetsreactie op het bericht in de Volkskrant over de EDPB/EDPS Opinie betreffende de AI-verordening

22 112
Nieuwe Commissievoorstellen en initiatieven van de lidstaten van de Europese Unie

Nr. 198
BRIEF VAN DE MINISTERS VOOR RECHTSBESCHERMING EN VAN BINNENLANDSE ZAKEN EN KONINKRIJKSRELATIES
EN ECONOMISCHE ZAKEN EN KLIMAAT

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 18 oktober 2021

Op 23 juni 2021 heeft uw commissie de Minister voor Rechtsbescherming verzocht om
een kabinetsreactie op het bericht in de Volkskrant d.d. 21 juni 2021 inzake «Europese
privacywaakhond wil verbod op elke vorm van gezichtsherkenning in de openbare ruimte».1 Bij deze doet het kabinet u de gevraagde reactie toekomen.

Het bericht in de Volkskrant verwijst naar de opinie van de European Data Protection
Board (EDPB) en European Data Protection Supervisor (EDPS)2 over de concept AI-verordening (hierna: «de conceptverordening) van de Europese Commissie.3Het kabinet heeft daarvan met interesse kennis gekomen en deelt de zorgen van de toezichthouders
met betrekking tot het verwerken van biometrische gegevens en andere systemen die
grootschalige inbreuken op de persoonlijke levenssfeer van burgers kunnen veroorzaken.

Het kabinet is voorstander van strenge regels en strikte voorwaarden voor de inzet
van technologie die naar haar aard gemakkelijk inbreuk kan maken op grondrechten.
Voor de eerbiediging daarvan, daaronder begrepen de bescherming van persoonsgegevens,
geldt niet voor niets al een uitgebreid juridisch kader waarin onder meer het verwerken
van bijzondere persoonsgegevens (waaronder biometrische gegevens, zoals bij de inzet
van gezichtsherkenning) in beginsel verboden is.4 Het kabinet is evenwel – anders dan de toezichthouders – van mening dat er ruimte
moet blijven voor dergelijke uitzonderingssituaties en dat een inbreuk op de meeste
grondrechten, zoals op de persoonlijke levenssfeer, in bepaalde gevallen kan voldoen
aan de eisen van noodzakelijkheid, proportionaliteit en subsidiariteit die nodig zijn
om zo’n inbreuk te rechtvaardigen. De door de EDPB en EDPS voorgestelde absolute verboden
– waarbij de afwegingsruimte geheel verdwijnt – acht het kabinet niet wenselijk.

Het kabinet ziet de conceptverordening wel als kans om ingrijpende systemen verder
te reguleren en aan voorwaarden te binden. Door extra eisen te stellen aan systemen
vóór deze in gebruik worden genomen, kan worden voorkomen dat onrechtmatige inbreuken
op fundamentele rechten plaatsvinden. Ook ingrijpende systemen waarvoor het verbod
om bijzondere persoonsgegevens te verwerken niet geldt, zoals bepaalde emotieherkenningssystemen,
hebben daarbij de aandacht van het kabinet. Om een breed gedragen en zo volledig mogelijk
geïnformeerd standpunt over de verordening in te kunnen nemen zal het kabinet dit
jaar nog een aantal ronde tafelsessies organiseren om met experts en belanghebbenden
te spreken over een aantal pregnante en complexe aspecten van de verordening, waaronder
de punten waar deze kabinetsreactie betrekking op heeft.

Het kabinet zal dit standpunt nader toelichten. Ter ondersteuning daarvan heeft het
in de bijlage bij deze brief een uiteenzetting van het bestaand juridisch kader opgenomen
en een toelichting op de relevante artikelen uit de conceptverordening5.

Appreciatie op hoofdlijnen

Het bericht in de Volkskrant noemt de grote zorgen van de EDPB en EDPS over de mogelijke
inzet van bepaalde (biometrische) systemen. Daarbij worden drie door de toezichthouders
voorgestelde verboden uitgelicht, te weten:

1. Opname van een verbod op ieder gebruik van AI voor de geautomatiseerde herkenning
van menselijke kenmerken in de publieke (en online) ruimte, zoals gezichten, de manier
van lopen, vingerafdrukken, DNA, stemmen, toetsenbordaanslagen en andere vormen van
biometrische of gedragssignalen in iedere context;6

2. Verbod op AI-systemen die individuen op basis van biometrie clusteren naar gelang
hun etniciteit, gender, politieke of seksuele oriëntatie of andere gronden voor discriminatie
die verboden zijn onder artikel 21 van het Handvest van de grondrechten van de Europese
Unie;7

3. Verbod op systemen die emoties kunnen herkennen, met een uitzondering voor medische
of onderzoeksdoeleinden voor zover dit wordt omkleed met passende waarborgen.8

Het kabinet deelt de zorgen van de EDPB en EDPS. De besproken systemen hebben doorgaans
een ingrijpend karakter. Grondrechten zijn onverkort van toepassing in het digitale
domein. Er kunnen zwaarwegende belangen zijn die ertoe nopen, binnen de eisen van
noodzaak, proportionaliteit en subsidiariteit, een grondrecht in te perken. In dat
geval zijn aanvullende regels nodig om te waarborgen dat aan die eisen wordt voldaan.
Dit geldt zowel ten aanzien van de relatie tussen overheid en burger, bijvoorbeeld
in de context van rechtshandhaving, als voor horizontale verhoudingen. Van het wegnemen
van elke afwegingsruimte en het invoeren van de in het bericht voorgestelde verboden
is het kabinet dan ook geen voorstander omdat ook een rechtmatige inzet hiermee onmogelijk
wordt gemaakt. Dit zal het nader toelichten.

Verdieping: absolute verboden en specifieke verboden

Voorop staat dat het gebruik van een systeem door de overheid waarbij inbreuk wordt
gemaakt op de grondrechten van burgers in beginsel verboden is, tenzij de inbreuk
bij wet is voorzien, noodzakelijk is (relevant om het beoogde doel te bereiken) en
voldoet aan de eisen van proportionaliteit (staat het belang in verhouding tot de
inbreuk) en subsidiariteit (kan het doel ook met een minder ingrijpend middel worden
bereikt). Daarbij is ook het verwerken van bijzondere persoonsgegevens, waaronder
biometrische gegevens, onder de Algemene Verordening Gegevensbescherming (AVG) verboden,
tenzij sprake is van een uitzonderingsituatie.9 De Grondwet, het Europees Verdrag voor de Rechten van de Mens (EVRM) en de AVG bieden
ruimte voor een afweging om te bepalen of een inbreuk in een bepaald geval gerechtvaardigd
is. In deze systematiek vormen absolute verboden een uitzondering; een voorbeeld is
het verbod op foltering en onmenselijke of vernederende behandeling. In de overwegingen
bij de AVG wordt ook opgemerkt dat het recht op de bescherming van persoonsgegevens
niet absoluut is, er is sprake van het afwegen van verschillende rechten en vrijheden.10

Daarnaast zal het verwerken van (biometrische) gegevens moeten voldoen aan de non-discriminatiewetgeving.
Die verbiedt (in)directe discriminatie, tenzij er een legitieme grondslag is om onderscheid
te maken en het onderscheid proportioneel is. Ook in dat kader ligt dus een «nee-tenzij»
clausule besloten: het mag niet, behoudens gevallen die onderscheid billijken. Oftewel,
de juridische systematiek bevat doorgaans voorwaarden waaraan voldaan moet zijn en
tevens een belangenafweging. De voorgestelde verboden waarop onder geen beding uitzonderingen
mogelijk zijn, passen niet goed in deze systematiek. Er is bij een dergelijk absoluut
verbod immers geen afweging meer toegestaan, waardoor er door de wetgever geen afweging
van andere rechten en vrijheden plaats kan vinden. Het kabinet is daarom geen voorstander
van het opnemen van de onder «1» en «2» genoemde verboden. Dit betekent overigens
geenszins dat de daarin genoemde praktijken ongereguleerd zouden zijn, deze zijn in
het bestaande kader immers juist aan strikte voorwaarden verbonden.

Een ander belangrijk aspect van de systematiek van fundamentele rechten – zoals neergelegd
in onder meer de AVG en anti-discriminatiewetgeving – is dat door overheidsorganisaties
uitgevoerde verwerkingen op een wettelijke grondslag moeten berusten. Voor bijzondere
persoonsgegevens zal dit doorgaans betekenen dat een wet in formele zin noodzakelijk
is om gegevens te mogen verwerken en dat hiervoor uiteraard het parlementaire proces
doorlopen moet worden.11 Daarbij geldt ook dat in een dergelijke wettelijke grondslag nader invulling zal
moeten worden gegeven aan vereisten van passende waarborgen, zoals noodzakelijkheid,
subsidiariteit en proportionaliteit, en dat de gegevensverzameling- en analyse beoordeeld
wordt op mogelijke (indirecte) discriminatie. Ook al bestaat de bevoegdheid om voor
een bepaald doel biometrische gegevens te mogen verwerken, dan betekent dit niet dat
bijvoorbeeld gezichtsherkenning of emotieherkenning daarmee altijd rechtmatig kan
worden ingezet. Dat hangt af van de specifieke situatie, de wet in kwestie en de invulling
van de AVG-eisen omtrent onder meer dataminimalisatie. Het is dus zaak om bij dergelijke
wettelijke grondslagen nauwkeurig en voldoende specifiek vast te leggen wat de bevoegdheid
inhoudt en waartoe de publieke taak strekt. Dat biedt duidelijkheid over de doelen
waarvoor en de wijze waarop bijzondere persoonsgegevens kunnen worden ingezet.

Een verbod in de conceptverordening kan wat het kabinet betreft worden overwogen wanneer
dat nodig is om de openbare orde of de openbare veiligheid te borgen, of als daarmee
een zwaarwegend maatschappelijk belang wordt gediend. Dan zal bovendien moeten zijn
gebleken dat er geen minder zwaarwegende alternatieven voorhanden zijn. Verbodsbepalingen
in de conceptverordening kunnen wat het kabinet betreft van toegevoegde waarde zijn
wanneer daarmee wordt voorkomen dat systemen die naar hun aard onrechtmatig of ongewenst
zijn überhaupt op de markt worden aangeboden of in gebruik worden genomen. Daarmee
wordt het «ex ante» toezicht op systemen versterkt: handhaving kan plaatsvinden voordat
de inzet van een systeem leidt tot een inbreuk op grondrechten of schade veroorzaakt.
Het is voor het kabinet dan ook van belang dat – naast dat een verbod zoals hiervoor
toegelicht doorgaans afwegingsruimte vereist – een verbod voldoende specifiek toeziet
op situaties in welke aan de genoemde noodzakelijkheids-, proportionaliteits- en subsidiariteitseisen
wordt voldaan. Een verbod is immers een zwaar middel. Het onder «3» genoemde verbod
met betrekking tot emotieherkenning is, ondanks dat het niet absoluut is geformuleerd,
naar oordeel van het kabinet onvoldoende specifiek en afgebakend om over te kunnen
nemen.

Inzet kabinet

Net als de EDPB en EDPS ziet het kabinet het gevaar dat de inzet van de in het bericht
in de Volkskrant aangehaalde systemen kunnen leiden tot inbreuken op grondrechten.
Waar het kabinet de door de toezichthouders voorgestelde absolute verbodsbepalingen
onwenselijk vindt, ziet het weldegelijk de noodzaak om erop toe te zien dat ingrijpende
systemen zo zijn gereguleerd dat deze alleen onder strikte voorwaarden kunnen worden
toegepast. Zowel de in de conceptverordening opgenomen verboden als de voorgestelde
aanvullende eisen voor «hoog risico systemen» kunnen hier een rol in vervullen. De
rol die verboden daarbij kunnen vervullen heeft het kabinet in het voorgaande toegelicht.

Het classificeren van AI-systemen als «hoog risico» kan daarnaast een belangrijke
waarborg vormen. De voor «hoog risico systemen» geïntroduceerde conformiteitseisen
– en bijbehorende toezicht systematiek – hebben als doel wettelijk te verankeren dat
AI-systemen op de juiste wijze worden ontworpen en ingezet, en dat daarop toezicht
plaats kan vinden. Dit om te voorkomen dat ingrijpende systemen, die weliswaar niet
per definitie worden verboden maar waarbij wel een groot risico bestaat dat deze (onbedoeld)
tot onrechtmatige uitkomsten leiden (zoals bijvoorbeeld discriminatie), worden gecontroleerd
vóórdat zij op de markt worden gebracht of in gebruik worden genomen. Als daarbij
blijkt dat de inzet van het systeem tot onrechtmatige resultaten zou leiden, kan dat
worden voorkomen. De in het bericht in de Volkskrant aangehaalde verboden zien toe
op systemen die in het voorliggende conceptvoorstel ten dele als «hoog risico» worden
gekwalificeerd. In Annex III wordt namelijk bepaald dat systemen die op afstand biometrische
gegevens verwerken gelden als «hoog risico».12 Ook systemen in de context van rechtshandhaving, die bedoeld zijn om de emotionele
toestand van een natuurlijk persoon vast te stellen of om natuurlijke persoon te profileren
worden als hoog risico geclassificeerd.13 Voor emotieherkenningssystemen geldt ook dat deze als «hoog risico» worden aangemerkt
wanneer ze worden ingezet in het kader van migratie, asiel en beheer van grenscontroles.14 Het kabinet benadrukt daarbij dat deze eisen expliciet in aanvulling op de eisen
uit het bestaand juridisch kader zullen gaan gelden.

Het kabinet constateert dat een deel van de in het bericht aangehaalde systemen in
het voorliggende voorstel, niet als «hoog-risico» systeem wordt gekwalificeerd. Dit
geldt in hoofdzaak voor emotieherkenningssystemen die worden ingezet in andere dan
bovengenoemde context (onder «3»)15 en voor niet-biometrische systemen waarmee gedragssignalen kunnen worden herkend
(onder «1»). Voor dergelijke systemen geldt dat de inzet daarvan niet in alle gevallen
leidt tot een verwerking van biometrische of anderzijds bijzondere persoonsgegevens.
Dit heeft onder meer als consequentie dat het verwerkingsverbod uit artikel 9 AVG
niet geldt. Het kabinet ziet de noodzaak om in samenwerking met experts en belanghebbenden
te onderzoeken of ook aan dergelijke toepassingen nadere voorwaarden moeten worden
verbonden, mogelijk door aanpassing van de in de conceptverordening voorziene lijst
van «hoog-risico systemen», of dat de inzet van bepaalde systemen middels een meer
geclausuleerd en gericht verbod moet worden voorkomen.

Conclusie

Het kabinet is geen voorstander van het introduceren van de in het bericht in de Volkskrant
voorgestelde absolute verboden, omdat daarmee de noodzakelijke afwegingsruimte verdwijnt.
De rechtmatige inzet van AI-systemen in onze samenleving kan ook op een andere manier
worden bewerkstelligd. Indien een verbod noodzakelijk is heeft een specifiek omschreven
verbod volgens het principe «nee-tenzij» de voorkeur, waarmee aansluiting wordt gezocht
bij het bestaande juridisch kader waarin de (nationale) wetgever in geval dat noodzakelijk,
proportioneel en subsidiair is omwille van zwaarwegende belangen, van een verbod af
kan wijken. Hiervoor zal het kabinet zich in EU-verband inspannen. Daarbij is het
kabinet ook voorstander van het stellen van (kwaliteits-)eisen aan ingrijpende systemen
die in de conceptverordening als «hoog risico» worden gekwalificeerd. Het kabinet
deelt namelijk de zorgen van de toezichthouders over ingrijpende systemen en wil verdere
gedachtenvorming op gang brengen over de in de conceptverordening voorziene verdeling
van systemen tussen de verschillende risicocategorieën (verboden, hoog-risico vereisten,
transparantie-eisen). Om hierover – en ten aanzien van een aantal andere technisch
en juridisch complexe aspecten van de verordening – tot een breed gedragen en volledig
geïnformeerd standpunt te komen, organiseert het kabinet nog dit jaar een aantal ronde
tafelsessies, waarin met experts en belanghebbenden uit de wetenschap, de publieke
sector, het bedrijfsleven en van belangenorganisaties wordt ingegaan op specifieke
aspecten van de verordening. De regulering van biometrische en emotie- of gedrag herkennende
systemen zal hier deel van uitmaken.

De Minister voor Rechtsbescherming,
S. Dekker

De Minister van Binnenlandse Zaken en Koninkrijksrelaties,
K.H. Ollongren

De Minister voor Economische Zaken en Klimaat,
S.A. Blok