Verslag van een schriftelijk overleg : Verslag van een schriftelijk overleg inzake Fiche: Verordening betreffende Kunstmatige Intelligentie

Nr. 3221 VERSLAG VAN EEN SCHRIFTELIJK OVERLEG

Vastgesteld 5 november 2021

De vaste commissie voor Digitale Zaken heeft een aantal vragen en opmerkingen voorgelegd
aan de Staatssecretaris van Economische Zaken en Klimaat over de brieven van 31 mei
2021 over het Fiche: Verordening betreffende Kunstmatige Intelligentie (Kamerstuk
22 112, nr. 3129) en over het Fiche: Mededeling Bevorderen Europese aanpak inzake Kunstmatige Intelligentie
(Kamerstuk 22 112, nr. 3128).

De vragen en opmerkingen zijn op 10 september2021 aan de Staatssecretaris van Economische
Zaken en Klimaat voorgelegd. Bij brief van 15 oktober 2021 zijn de vragen beantwoord
door de Ministers van Economische Zaken en Klimaat, van Justitie en Veiligheid, voor
Rechtsbescherming en van Binnenlandse Zaken en Koninkrijksrelaties en door de Staatssecretaris
van Binnenlandse Zaken en Koninkrijksrelaties.

De fungerend voorzitter van de commissie, Leijten

De adjunct-griffier van de commissie, Van Tilburg

Vragen en opmerkingen van de leden van de VVD-fractie

De leden van de VVD-fractie hebben met interesse kennisgenomen van de voorliggende
verordening inzake kunstmatige intelligentie en deze leden hebben daarover nog enkele
vragen en opmerkingen. Deze leden sluiten zich overigens aan bij de vragen van het
kabinet aan de Europese Commissie.

De leden van de VVD-fractie zijn verheugd te lezen dat het voorstel is gebaseerd op
de waarden en grondrechten van de Europese Unie (EU) en dat het tot doel heeft mensen
en andere gebruikers het vertrouwen te geven om op Artificiële Intelligentie (AI)
gebaseerde oplossingen te omarmen en bedrijven aan te moedigen deze te ontwikkelen.
Terecht wordt gesteld dat AI een instrument moet zijn voor mensen en de positieve
kracht in de samenleving met als uiteindelijk doel het menselijk welbevinden te vergroten.
Deze leden achten het noodzakelijk dat op gebied van AI een stevige Europese positie
wordt verworven.

Er zijn vier categorieën AI-systemen. (1) Wat is het verschil tussen enerzijds AI-systemen
met een hoog risico en een ex ante conformiteitsbeoordeling en anderzijds AI-systemen
waarvoor bepaalde transparantieverplichtingen gelden? (2) Kan dat verschil wel zo
worden gemaakt? Deze leden krijgen graag een reactie op deze vragen.

(1, 2) Het kabinet staat achter een risico-gebaseerde aanpak waarbij de eisen proportioneel
zijn ten opzichte van het risico en kan in dit opzicht de vierdeling goed volgen.
Het voorstel voor een verordening tot vaststelling van geharmoniseerde regels betreffende
artificiële intelligentie (hierna: conceptverordening) onderscheidt categorieën van
risico’s voor de gezondheid, veiligheid en schending van mensenrechten als gevolg
van AI-systemen. Deze categorieën zijn i) onaanvaardbaar, ii) hoog, iii) beperkt risico
en iv) minimaal of geen risico en het kabinet kan zich in algemene zin vinden in deze
categorieën. Voor hoog-risico AI-systemen gelden uitgebreide eisen om de risico’s
te voorkomen of te mitigeren (zie vanaf artikel 9 van de conceptverordening) zoals
de plicht een ex ante conformiteitsbeoordeling uit te (laten) voeren. Dit geldt voor
producten die nu al gereguleerd zijn via Europese productregulering (zie bijlage II
van de conceptverordening) en voor AI-systemen die worden toegepast voor bepaalde
doeleinden in een aantal (toepassings)gebieden die zijn beschreven in bijlage III
van de conceptverordening.

Specifieke transparantieverplichtingen gaan gelden voor AI-systemen die risico’s op
manipulatie met zich meebrengen, zoals AI-systemen die bedoeld zijn om emoties herkennen.
Meer in het algemeen wordt ook de plicht geïntroduceerd om te melden dat men interacteert
met een AI-systeem, denk bijvoorbeeld aan het inzetten van bots in de klantenservice
van bedrijven of overheden. Het kan voorkomen dat een AI-systeem zowel aan verplichtingen
onder de hoog-risicocategorie moet voldoen als aan transparantieverplichtingen afhankelijk
van de risico’s.

Momenteel neemt het kabinet deel aan een reeks workshops waarin de Europese Commissie
(hierna: Commissie) verduidelijking verschaft over alle artikelen van de conceptverordening.
Deze workshops bieden in veel gevallen de verduidelijking waar het kabinet in het
BNC-fiche om vraagt, echter niet in alle gevallen en ook nog niet de hele conceptverordening
is behandeld. Het kabinet werkt momenteel aan het formuleren van standpunten over
de reikwijdte en de risicobenadering op basis van de inzichten uit de workshops en
raadswerkgroepen waar door experts op artikelniveau over de conceptverordening wordt
gesproken. Het kabinet is bereid om een technische briefing te verzorgen waarin nader
kan worden toegelicht hoe de conceptverordening beoogd te werken en welke veranderingen
het kabinet voorstelt.

De leden van de VVD-fractie lezen dat het voorstel inzake AI-systemen van toepassing
zal zijn op AI-systemen die in de EU op de markt worden gebracht of in gebruik worden
genomen in uiteenlopende sectoren. (3) Hoe verhoudt de reikwijdte van deze verordening
zich tot de gehanteerde definitie van de Europese Commissie? (4) Op basis van welke
criteria valt een AI-systeem wel of niet binnen deze verordening? (5) Hoe verhoudt
de in deze verordening gehanteerde definitie van AI zich tot de huidige gehanteerde
(wetenschappelijke) definitie van AI? (6) Wat voor implicaties heeft deze definitie
voor de inzet van AI in Europa?

(3–6) Hoewel er geen vaste wetenschappelijke definitie van AI is, is inmiddels duidelijk
dat de Commissie in de conceptverordening een relatief brede definitie hanteert die
meer omvat dan in de dagelijkse praktijk vaak wordt begrepen als AI-systeem. De reden
daarvoor is dat de risico-benadering en de voorgestelde definitie beoogt diverse typen
AI-systemen te omvatten waarbij er mogelijk schade op kan treden aan gezondheid en
veiligheid of mogelijke schending van fundamentele rechten.

Het mogelijke risico voor mensen als gevolg van de inzet van het AI-systeem is leidend
en niet de technische geavanceerdheid van het gehanteerde algoritme op zichzelf, zoals
vaak in wetenschappelijke definities. Dit blijkt uit de samenhang tussen de voorwaarden
in artikel 3 en in bijlage I van de conceptverordening. Als een bedrijf of overheid
of andere entiteit de technieken gebruikt in bijlage I en daarmee software maakt die
voor een bepaalde reeks door mensen gedefinieerde doelstellingen inhoud, voorspellingen,
aanbevelingen of beslissingen kan genereren die van invloed zijn op de omgeving (zie
artikel 3 uit de conceptverordening), dan is er sprake van een product binnen de reikwijdte
van de verordening.

De zware eisen in de conceptverordening gelden voor AI-systemen die zowel aan de cumulatieve
voorwaarden van de definitie (artikel 3 en bijlage I) voldoen als gerelateerd zijn
aan een product dat al is gereguleerd onder Europees recht (zie bijlage II) en voor
AI-systemen die worden ingezet binnen een hoog-risico gebied zoals bepaald in bijlage
III. In deze gevallen moeten het hoog-risico AI-systeem, de aanbieder en gebruiker
aan strenge verplichtingen voldoen om risico’s te voorkomen. Zie ook het antwoord
op vraag 1 en 2.

Het kabinet begrijpt deze aanpak en buigt zich nog over mogelijke aanscherpingen van
onder andere de definitie van AI-systemen die de helderheid, uitvoerbaarheid en handhaafbaarheid
van de conceptverordening kunnen versterken.

De leden van de VVD-fractie lezen tevens dat dit voorstel aanvullende (administratieve)
verplichtingen stelt aan providers van AI-systemen zoals documentatievereisten en
inschrijving in een Europese database voor aanbieders van hoog-risico AI-systemen.
Deze leden zijn zich vanzelfsprekend bewust van de noodzaak om eisen te stellen aan
de providers van AI-systemen om ze zo veilig mogelijk te kunnen inzetten. Echter,
het is voor deze leden onduidelijk welke regeldruk hiermee op ondernemers en in het
bijzonder op ondernemers in het midden- en kleinbedrijf (mkb) afkomt. (7) Deelt het
kabinet de mening dat de inzet bij dit voorstel zo min mogelijk extra regeldruk moet
zijn voor (kleine) ondernemers? (8) Hoe beoordeelt het kabinet de verplichtingen die
bij dit voorstel komen kijken voor bedrijven en ondernemers? (9) Hoe beoordeelt het
kabinet de proportionaliteit van deze verplichtingen die worden aangegaan ten opzichte
mkb-bedrijven?

(7–9) Het kabinet vindt het belangrijk dat striktere verplichtingen gelden voor hoog-risico
AI-systemen om veiligheid, gezondheid en fundamentele rechten te beschermen. Het kabinet
zet zich ervoor in dat de verplichtingen met behoud van het beschermingsniveau zo
lastenluw en effectief mogelijk worden vormgegeven en spant zich bij de implementatie
ervoor in om door de regeling geraakte (kleine) ondernemers te ondersteunen.

De verplichtingen voor bedrijven en ondernemers hangt af van de rol die zij hebben
t.o.v. het AI-systeem en in hoeverre het AI-systeem een risico met zich meebrengt.
Zo geldt onder meer voor bedrijven en ondernemers die als aanbieder hoog risico AI-systemen
in de handel brengen dat een conformiteitsbeoordeling moet worden uitgevoerd waarmee
wordt aangetoond dat aan de verplichtingen is voldaan.

Inmiddels is beter zicht verkregen op de wijze waarop de Commissie beoogt dat de definities
en vereisten uitwerken in de praktijk voor aanbieders en gebruikers. De praktijk is
echter vaak complex – denk aan samenwerkingsverbanden tussen bedrijven en overheden
om AI te ontwikkelen – waardoor het lastig te bepalen is wie welke rol heeft en daarmee
aan de verantwoordelijkheden uit de verordening moet voldoen. Het is onduidelijk hoeveel
mkb-bedrijven door de verplichtingen worden getroffen. Het kabinet besteed aandacht
aan het verder onderzoeken van de gevolgen voor mkb, en is voornemens een MKB-toets
uit te voeren. De uitkomsten hiervan worden gebruikt in de onderhandelingen over de
conceptverordening.

Uit een door de Commissie uitgevoerde consultatie blijkt dat meer dan driekwart van
de ondervraagde bedrijven regeldrukkosten niet heeft genoemd als potentieel knelpunt.
Minstens 14% van de ondervraagde kleine en middelgrote ondernemingen en 13% van de
grote bedrijven gaf aan regeldrukkosten wel als een potentieel knelpunt te zien.1

De leden van de VVD-fractie lezen voorts dat providers van AI-systemen de naleving
van aanvullende verplichtingen aan moeten tonen door een ex ante conformiteitsbeoordeling.
(10) Ervan uitgaande dat dit eveneens geldt voor providers van huidige (bestaande)
AI-systemen, hoe wordt deze conformiteitsbeoordeling uitgevoerd? (11) Heeft dit enige
gevolgen voor de continuïteit van de bedrijfsprocessen van providers van AI-systemen?
(12) Wat is de termijn van het uitvoeren van een conformiteitsbeoordeling? (13) Deelt
het kabinet de mening dat dergelijke conformiteitsbeoordelingen bedrijfsprocessen
zo min mogelijk moeten beperken en daarmee onze digitale innovatieve economieën en
concurrentiepositie niet onnodig mogen schaden?

(10–13) Hoog-risico AI-systemen mogen alleen met een CE-keurmerk (artikel 41 uit de
conceptverordening) de markt betreden of in gebruik worden genomen. Voor bestaande
AI-systemen geldt de overgangsregeling van artikel 83. Hiervoor moeten de AI-systemen
een ex-ante conformiteitsbeoordeling ondergaan waarvoor geen vaste termijnen zijn
voorgesteld. Voor de conformiteitsbeoordeling van AI-systemen die veiligheidscomponenten
van producten of zelf een product uit bijlage II, deel A zijn, zal het systeem worden
gehanteerd met conformiteitsbeoordelingsprocedures door derden dat al is vastgesteld
in het kader van de desbetreffende sectorale productveiligheidswetgeving. Dit geldt
ook voor bestaande AI-systemen als het ontwerp of het beoogde doel significant verandert.

Voor de autonome hoog risico AI-systemen die niet onder productveiligheidswetgeving
of de wetgeving uit bijlage II, deel A vallen (bestaande veiligheidsrichtlijnen voor
producten waaronder machines, speelgoed en pleziervaartuigen), wordt een nieuw conformiteitssysteem
voorgesteld. Voor deze systemen moeten de aanbieders een goed-gedocumenteerde conformiteitsbeoordeling
(laten) uitvoeren en vervolgens het AI-systeem aanmelden in een door de Commissie
beheerde databank. Het kabinet is van mening dat deze conformiteitsbeoordelingen bedrijfsprocessen,
digitale innovatieve ontwikkelingen en de concurrentiepositie niet onnodig mogen schaden
en wel effectief moeten zijn. Het kabinet buigt zich nog over de gevolgen van dit
systeem voor de aanbieders van AI-systemen.

Het kabinet is ook van mening dat AI- systemen waar burgers op kunnen vertrouwen een
voorwaarde vormt voor innovatie en groei en dat het voorkomen van gezondheids- en
veiligheidsrisico’s en het centraal stellen van fundamentele rechten cruciaal is.
Het kabinet houdt nauwlettend in de gaten dat de nalevingslasten proportioneel blijven
en dat de conceptverordening voorziet in ondersteuning aan, in het bijzonder, kleine
ondernemers.

De leden van de VVD-fractie constateren dat bij iedere «substantiële» verandering
aan het AI-systeem na introductie op de markt of ingebruikname, een nieuwe conformiteitsbeoordeling
moet worden uitgevoerd. (14) Met het oog op het voorkomen van onnodige beoordelingen,
kan het kabinet ophelderen welke aanpassingen vallen onder substantiële veranderingen
en welke niet?

(14) Het is niet mogelijk een opsomming of definitie van substantiële veranderingen
te geven. Wat substantieel is moet volgens de Commissie in relatie worden gezien met
het beoogde doel van het AI-systeem, zoals is opgenomen in de technische documentatie
die verplicht wordt voor hoog-risico AI-systemen (zie bijlage IV van de conceptverordening).

Te lezen valt dat er enige ruimte blijft voor nationale lidstaten om maatwerk te leveren
bij handhavingstaken en andere bevoegdheden. Dat stemt deze leden tevreden en tegelijkertijd
ontstaat de zorg hoe een gelijk speelveld bewerkstelligd kan worden. (15) Kan het
kabinet ophelderen hoe zij hiernaar kijkt?

(15) Artikel 63 lid 4 van de conceptverordening geeft de mogelijkheid om nationaal
maatwerk te leveren bij het beleggen van de toezicht- en handhavingstaken. Zo kan
het toezicht op hoog risico AI-systemen die worden gebruikt voor de rechtshandhaving
worden belegd bij de Autoriteit Persoonsgegevens (AP) of een toezichthouder specifiek
op het gebied van de rechtshandhaving. Het kabinet is verheugd met deze mogelijkheid.
Het lijkt niet aannemelijk dat door deze mogelijkheid een ongelijk speelveld ontstaat.
Het gaat hier immers om toezicht op de naleving van de regels die voor alle aanbieders
en gebruikers van het betreffende systeem gelden.

De leden van de VVD-fractie concluderen dat elke lidstaat een nationale toezichthouder
dient aan te wijzen die verantwoordelijk is voor het toezicht op de verordening in
algemene zin. Deze leden lezen tevens dat lidstaten sectorspecifieke toezichthouders
moeten aanwijzen. Er bestaat bij deze leden enige onduidelijkheid over de taken van
de nationale toezichthouder en die van sectorspecifieke toezichthouders. (16) Hoe
verhouden de nieuwe bepalingen in het kader van toezicht zich tot het huidige toezichtskader?
(17) In hoeverre wordt hierbij rekening gehouden met de eventuele overlap aan toezichtstaken?
(18) Hoe verhouden de taken en bevoegdheden van sectorspecifieke toezichthouders zich
tot die van de nationale toezichthouder? (19) Deelt het kabinet de mening dat ter
voorkoming van toezichtshiaten en fragmentatie van beleid, het wenselijk kan zijn
om met één nationale centrale toezichthouder te werken? Zo ja, welke toezichthouder
heeft het kabinet voor ogen en hoe wordt geborgd dat de toezichthouder(s) over de
juiste middelen, capaciteit en kennis beschikt? Zo nee, waarom niet?

(16–19) In de conceptverordening behouden de toezichthouders hun rol om markttoezicht
en conformiteitsbeoordelingen uit te voeren op producten in hun sectorale gebied (zie
bijlage II, deel A). Ook moeten de toezichthouders nauw samenwerken en worden hun
taken uitgebreid met controles en toetsen op (hoog) risico AI-systemen.

Daarnaast moet één van de toezichthouders (in de conceptverordening ook wel nationale
bevoegde autoriteiten genoemd) een coördinerende rol op zich nemen. Ook is deze toezichthouder
verantwoordelijk voor het informeren, kennis uitwisselen en rapporteren aan de Commissie.

Hoe bovenstaande er precies uit gaat zien en welke toezichthouder het meest voor geschikt
is beziet het kabinet momenteel nog. Het kabinet heeft de Commissie om een aantal
verduidelijkingen over het toezicht op de conceptverordening gevraagd.

Op basis van de acties in de voortgangsbrief AI en algoritmen organiseert het Ministerie
van Economische Zaken en Klimaat een rondetafelgesprek met verschillende toezichthouders
en experts dit najaar. Hierin zal onder meer aandacht worden besteed aan de impact
van de AI-verordening op het toezichtslandschap.

De leden van de VVD-fractie lezen eveneens dat toezichthouders de mogelijkheid krijgen
om gebruikte datasets, die providers van hoog-risico AI-systemen moeten produceren,
in te zien. (20) Op welke wijze wordt bij uitvoering van deze verplichting voldaan
aan de Algemene Verordening Gegevensbescherming (AVG)?

(20) Een of meerdere toezichthouders worden belast met de publieke taak om toezicht
te houden op deze bepaling uit de AI-verordening. Op grond van deze publieke taak
mag de toezichthouder persoonsgegevens verwerken ex artikel 6 lid 1 sub e AVG. Het
is aan de betrokken toezichthouder om hierbij invulling te geven aan de verplichtingen
die op het orgaan rusten ingevolge de AVG, dus ook bij het inzien van datasets. Een
reeds bestaand voorbeeld hiervan is de eigen privacyverklaring en het privacybeleid
dat de Autoriteit Persoonsgegevens ook op haar website heeft gepubliceerd.2

De leden van de VVD-fractie achten het positief dat voor kleine organisaties en bedrijven
(mkb) een uitzonderingspositie wordt beoogd met het invoeren van experimenteerruimtes
(regulatory sandboxes) om de AI-systemen te testen voordat ze in gebruik worden genomen.
(21) Hoe verhouden deze regulatory sandboxes zich tot de reguliere conformiteitsbeoordelingen
en in het bijzonder in het kader van de nalevingskosten? Kan worden toegelicht of
het hier alleen om mkb-bedrijven gaat? Welke reikwijdte geldt hier?

(21) Binnen de testomgevingen (regulatory sandboxes) is ruimte voor maatwerk die binnen
de reguliere conformiteitsbeoordeling er niet is. De regulatory sandboxes beogen om
hoge nalevingskosten voor kleine organisaties en bedrijven (bijv. mkb) te verlagen
door hen bijvoorbeeld voorrang te verlenen bij deelname aan regulatory sandboxes.
In artikel 53 en artikel 55 van de concept verordening kunnen mkb-bedrijven (maar
ook grotere bedrijven, andere publieke organisaties startups) in deze testomgevingen
volgens een specifiek plan hun AI-systeem verder ontwikkelen, testen en valideren
voor een beperkte duur voordat zij in de handel worden gebracht of in bedrijf worden
gesteld. De bedoeling is dat dit onder direct toezicht en met directe begeleiding
van de bevoegde autoriteiten (oftewel de toezichthoudende instellingen) gaat vallen.
Het voorstel is dat deze bevoegde autoriteiten erop toezien dat de eisen (waaronder
een conformiteitsbeoordeling, zie artikel 43) van deze verordening worden gewaarborgd.
De directe begeleiding van de toezichthoudende instellingen zullen naar verwachting
het juridische risico van niet naleving beperken en zo de nalevingskosten voor het
mkb (die aan deze testomgeving deelnemen) verlagen gezien er minder noodzaak is om
technisch of juridisch advies aan derden te vragen. Het kabinet is aan het bezien
tot welke reikwijdte dit kan worden toegepast en is in gesprek met de Commissie om
specifieke criteria en condities voor deelname aan deze AI-testomgevingen te concretiseren.

De leden van de VVD-fractie maken zich zorgen om de grootte van de nalevingskosten
voor bedrijven en dan in het bijzonder mkb-bedrijven. Deze leden lezen immers dat
de Europese Commissie de kosten van naleving voor de ontwikkelaars van hoog-risico
AI-systemen schat op ongeveer 10.000 euro. (22) Op basis waarvan is deze schatting
gemaakt? Welke analyse ligt ten grondslag aan deze schatting? Wordt het bedrag gebaseerd
op het soort AI-systeem of op het soort bedrijf? Aangezien het nog onduidelijk is
met welke kosten verschillende soorten uiteindelijk te maken krijgen, krijgen deze
leden hier graag opheldering over. Deze leden willen benadrukken dat hoge nalevingskosten
met name voor mkb-bedrijven problematisch kunnen zijn. (23) Deelt het kabinet deze
zorgen en is het kabinet bereidt deze zorgen mee te nemen in de onderhandelingen?
Zo nee, waarom niet?

(22–23) De Commissie heeft een impact assessment laten uitvoeren3 waarin wordt ingegaan op de te verwachten implicaties voor het bedrijfsleven. Het
voorstel leidt tot verschillende administratieve en inhoudelijke verplichtingen met
betrekking tot het bijhouden van gegevens, documentatie en traceerbaarheid, informatieverstrekking
en transparantie, menselijk toezicht en robuustheid en nauwkeurigheid van de AI-toepassingen.
Het kabinet deelt de mening dat het betaalbaar moet blijven voor het mkb maar moet
zich nog verder buigen over de nalevingskosten voor het mkb in Nederland. Zij zal
hiervoor de nodige stakeholders consulteren en de uitkomsten meenemen in de onderhandelingen.

Door de ontwikkeling van machine learning neemt de intelligentie van algoritmes toe.
De leden van de VVD-fractie vinden het belangrijk dat wanneer slimme algoritmes, bijvoorbeeld
gebruikt bij «unsupervised learning», een (steeds grotere) rol krijgen binnen besluitvormende
publieke processen, de menselijke maat steeds bewuster geborgd moet worden. (24) Deelt
het kabinet deze mening en kan het kabinet toelichten of en hoe deze verordening borgt
dat het in de praktijk mogelijk is voor iemand om inzicht te krijgen in dit proces
om te beoordelen of een uitkomst rechtmatig is? (25) Deelt het kabinet de mening dat
het van belang is dat lidstaten enige zeggenschap hebben in het aanmerken van hoog-risico
AI-Systemen? Zo ja, kan het kabinet dit meenemen in de onderhandelingen? Zo nee, waarom
niet? (26) Deelt het kabinet de mening dat deepfake-technologie een risico kan zijn
voor onze democratische rechtstaat? Zo ja, is het kabinet bereid om in de onderhandelingen
mee te nemen dat deze technologie op de lijst van hoog-risico-systeem geplaatst zou
moeten worden? Zo nee, waarom niet?

(24) Het kabinet is het eens met de leden van de VVD-fractie dat de menselijke maat
actief geborgd moet worden bij besluitvormende publieke processen. Dat betekent dat
er ruimte moet zijn voor een individuele afweging en controle op de rechtmatigheid
van uitkomsten van besluitvorming. Met name is het van belang dat de ruimte die de
wet biedt om rekening te houden met persoonlijke omstandigheden goed wordt meegenomen
in het ontwerp en de inzet van AI-systemen. Ook zal in het ontwerp rekening moeten
worden gehouden met de eisen die door de wet en in de rechtspraak worden gesteld aan
de motivering van overheidsbesluiten (uitlegbaarheid).

Hoewel het gegevensbeschermingsrecht en het bestuursrecht al eisen stellen aan overheidsbesluitvorming
waarbij nieuwe technologie gebruikt wordt, biedt de conceptverordening versteviging
daarvan door eisen te stellen aan hoog risico AI-systemen. Als overheidsbesluitvorming
met AI-systemen plaats vindt die als hoog risico AI-systeem zijn aangemerkt verplichten
de artikelen 12 tot en met 15 van de conceptverordening dat zo'n systeem begrijpelijk
moet zijn, transparant voor de gebruiker, dat mensen toezicht moeten kunnen houden
op de uitkomsten van zo'n systeem, en dat nauwkeurigheid geborgd moet zijn. Daarnaast
verplicht de conceptverordening toezicht op systemen achteraf en stelt het toezichthouders
in staat AI-systemen te controleren. Dit komt de menselijke maat en de controle op
de rechtmatigheid van besluitvorming ten goede.

(25) Deze verordening beoogt de gezondheid, veiligheid en fundamentele rechten van
burgers in de gehele EU te beschermen door eisen te stellen aan hoog-risico AI-systemen
die in EU op de markt worden gebracht en in gebruik worden genomen. Om op de markt
een gelijk speelveld te behouden, is het aanmerken van hoog-risico AI-systemen een
Europese aangelegenheid. De conceptverordening bepaalt wat een hoog-risico systeem
is; de bijlagen bevatten een lijst met producten met een hoog risico (bijlage II),
en een lijst met op zichzelf staande AI-systemen met een hoog risico (bijlage III).
De Commissie kan voorstellen doen om de lijst in bijlage III aan te passen en is daarbij
gehouden aan het consulteren van de lidstaten en het Europees Parlement die een aanpassing
kunnen tegenhouden, zie ook vraag 28–29. Het kabinet vindt het belangrijk dat inspraak
door belanghebbenden tijdens dit proces mogelijk is en zal dat tijdens de onderhandelingen
inbrengen.

Daarnaast biedt de conceptverordening via artikel 65, toezichthouders in de lidstaten
de mogelijkheid om AI-systemen die een nationaal risico vormen te onderzoeken op de
verenigbaarheid met de eisen uit de verordening. Voorwaarde is dat die systemen een
risico moeten vormen voor de grondrechten, de gezondheid of veiligheid.

(26) Zoals aangegeven in de Kamerbrief over het tegengaan van digitale dreigingen
bij de Tweede Kamer verkiezingen van 2021 kan deepfake technologie ingezet worden
door kwaadwillende actoren om het publieke debat en het democratische proces heimelijk
te beïnvloeden.4 Het kabinet zet daarbij in op meer bewustwording over de werking van deepfakes en
is het voorstander van meer transparantie over het gebruik van deepfake technieken.
Het uitgangspunt in het publieke debat blijft dat burgers zelf informatie op waarde
kunnen schatten. Verplichte transparantie die aangeeft dat deepfake technologie gebruikt
is, zoals de conceptverordening voorstelt, kunnen burgers hierbij helpen.

In aanvulling op de beleidslijn omtrent desinformatie en ons democratisch bestel voorziet
het kabinet dat deepfakes ook vraagstukken op kunnen leveren in de verhoudingen tussen
burgers en bedrijven, en burgers onderling. Vraag is dan ook of het juridisch kader
– en de handhaving daarvan – voldoende is toegerust om onrechtmatige en ongewenste
vormen van deepfakes aan te pakken. Hierbij kan bijvoorbeeld worden gedacht aan de
eerder door uw Kamer geadresseerde problematiek omtrent het gebruik van deepfakes
voor het maken van onrechtmatige content, zoals pornografische beelden (zogenoemde
«DeepNudes»). Daarom laat het kabinet door de Tilburg University onderzoek verrichten naar de volledigheid van het juridisch kader (onder meer het
strafrecht en gegevensbeschermingsrecht) omtrent deepfakes en de daarmee geboden rechtsbescherming.
Oplevering van het onderzoek wordt dit najaar verwacht. Daarnaast is het kabinet voorstander
van meer transparantie over het gebruik van deepfake technieken. Labels kunnen hierbij
helpen. Op basis van het rapport zal het kabinet bezien of een extra inzet rondom
deepfakes in de onderhandelingen over de conceptverordening aan de orde is.

(27) De leden van de VVD-fractie vragen hoe het kabinet ervoor zorgt dat er binnen
de rijksoverheid voldoende kennis en capaciteit is om op verantwoorde wijze om te
gaan met de verschillende soorten AI-systemen.

(27) Het is lastig om precies aan te geven of en wanneer kennis en capaciteit voldoende
is. Vaststaat wel dat er, zoals aangegeven in de Kamerbrief over de I-strategie Rijk
2021–20255, komende jaren weer fors geïnvesteerd wordt in de capaciteit, de organisaties en
de cultuur om de digitalisering vorm te geven binnen de rijksoverheid. Rijksambtenaren
hebben steeds meer digitale kennis en vaardigheden nodig om hun werk goed te kunnen
uitvoeren; in alle functies, in alle domeinen en op alle opleidingsniveaus. Bewustwording,
aandacht en goed aanbod van trainingen en opleidingen zijn noodzakelijk. Het Rijk
heeft daarnaast meer I-professionals nodig die beschikken over actuele kennis en vaardigheden.
Dat doen we door nieuw talent aan te trekken (denk aan I-trainees en data experts),
de samenwerking met hoger onderwijs en wetenschap structureel vorm te geven (I-Partnerschap)
en te investeren in de medewerkers (I-vakmanschap) met oog voor cyberveiligheid en
de ethische aspecten van ons werk. De Rijksacademie voor Digitalisering en Informatisering
Overheid (RADIO) ontwikkelt leermiddelen en verzorgt opleidingen voor alle rijksambtenaren.
RADIO heeft zich het afgelopen jaar op verschillende manieren specifiek gericht op
bestuurders en op de ambtelijke top. Voor de rechtspraak is de leergang «Informatievoorziening
voor bestuurders» ontwikkeld, waar veel belangstelling voor is. Ook is recent het
webinar «Algoritmes voor bestuurders» georganiseerd. Voor de leden van de topmanagement
groep (TMG) is begin juli het eerste deel van de «intensieve IT-cursus» van start
gegaan. Het verwerven van kennis over digitalisering en data-technologie vormt een
belangrijk onderdeel van deze cursus. Bij positieve evaluatie wordt deze vanaf het
najaar van 2021 toegankelijk gemaakt voor alle topambtenaren. Tot slot is het van
belang om de kennisuitwisseling tussen verschillende stakeholders van de publieke,
private sector, kennisinstellingen en maatschappelijke organisaties te stimuleren.
Dat gebeurt niet alleen via het hierboven genoemde I-partnership, maar ook via onderzoek.
De Nederlandse AI Coalitie kan hierbij een betekenisvolle rol spelen, bijvoorbeeld
door versterkte relaties tussen de ministeries en de verschillende inhoudelijke werkgroepen
van deze AI-coalitie. Ook bieden in toenemende mate kennisinstellingen en bedrijven,
zoals Stanford6 en Microsoft7, cursussen aan die zijn toegespitst op beleidsmakers.

De Europese Commissie stelt voor om elk jaar te beoordelen of de lijst met hoog-risico
AI-systemen moet worden aangepast. (28) Welke bevoegdheden heeft de Europese Commissie
om die lijst aan te passen. Welke zeggenschap hebben de lidstaten daarbij? Wat is
de rol van de parlementen daarbij? Deze leden krijgen graag een verduidelijking van
deze procedure. Deze leden ontvangen ook graag een verduidelijking van het volgende.
(29) In welke situaties/onderdelen van de verordening is er sprake van delegatie en
in welke situatie van uitvoeringshandelingen?

(28, 29) De conceptverordening geeft aan de Commissie de bevoegdheid om de bijlagen
I en III aan te passen middels een zgn. gedelegeerde handeling. Gedetailleerde informatie
over deze procedure staat op de website van het expertisecentrum Europees Recht8. Lidstaten en het Europees Parlement worden over deze handeling geconsulteerd. Nationale
parlementen hebben geen eigenstandige rol hierin, net zomin als niet-gouvernementele
belanghebbenden. Zie verder het antwoord op vraag 25 en 21. Ten aanzien van de bevoegdheden
om onder meer de bijlagen over de definitie en de lijst hoog-risico AI-systemen aan
te passen wordt u verwezen naar het antwoord op de vragen 118, 119 en 120 en het BNC-fiche
pagina 13–15. Het kabinet hecht belang aan een betekenisvolle rol voor de lidstaten
en consultatie met belanghebbenden bij het aanpassen van de bijlagen en onderzoekt
welke procedure hier het beste bij aansluit, zie ook het antwoord op vraag 73.

(30) De leden van de VVD-fractie vragen tot slot hoe het verdere proces met betrekking
tot de onderhavige verordening eruitziet.

(30) Onder het Sloveense voorzitterschap worden momenteel de eerste reeks aan artikelen
behandeld van de conceptverordening. Het voorzitterschap doet dit in de vorm van het
organiseren van Raadswerkgroepen (RWG) en Workshops. Het uiteindelijke doel van de
Raad is om tot een gezamenlijk standpunt te komen. Parallel doet het Europees Parlement
(EP) hetzelfde. In het EP verkennen de commissies welke onderdelen van de conceptverordening
het beste in welke commissie behandeld kunnen worden. In trilogen zullen de standpunten
van zowel de Raad en het EP op de conceptverordening verder uit onderhandeld worden.
Het is onbekend hoe lang dit EU beleid- en besluitvormingsproces gaat duren. Op 14 oktober
2021 wordt de conceptverordening besproken tijdens de informele Telecomraad. U bent
over de inzet voor deze informele Raad geïnformeerd in de geannoteerde agenda9. Naar verwachting komt dit onderwerp ook terug op de formele Telecomraad die staat
gepland voor begin december 2021.

Vragen en opmerkingen van de leden van de D66-fractie

De leden van de D66-fractie hebben kennisgenomen van de fiches met betrekking tot
het voorstel voor een Kunstmatige Intelligentie (AI)-verordening en hebben hier nog
een groot aantal vragen over. AI heeft nu al een enorme impact op onze maatschappij,
rechtstaat, democratie, economie, zorg, veiligheid en innovatievermogen. AI gaat een
grote rol spelen bij de grote uitdagingen van deze tijd, met AI kunnen we bijvoorbeeld
straks beter de klimaatcrises te lijf, of kankercellen makkelijker detecteren. Maar
er zit ook een schaduwzijde aan deze vooruitgang zoals het schenden van fundamentele
rechten en publieke waarden, ongelijke behandeling en massasurveillance. Deze leden
beamen de uitspraak van Eurocommissaris Vestager over de nieuwe AI-verordening dat
hoe groter de risico’s zijn, des te strenger de regels moeten worden. Voor deze leden
staat het beschermen van fundamentele rechten, het stimuleren van innovatie én het
als EU wereldwijd als allereerste de toonzetten op het gebied van regulering van AI
centraal.

De leden van de D66-fractie delen de mening van het kabinet dat de verordening veel
verduidelijking behoeft en zullen hier dan ook meerdere keren naar vragen. Deze leden
merken daarnaast op dat de focus van de fiches voornamelijk op de economische effecten
zijn van de AI-verordening.

Ethische richtlijnen

(31) De leden van de D66-fractie horen graag van het kabinet of zij van mening is
dat de ethische richtlijnen van de High-Level Expert Group on AI voldoende zijn overgenomen
in het huidige voorstel. Zo nee, welke onderdelen uit de ethische richtlijnen zijn
onvoldoende meegenomen in de verordening die het kabinet wel had willen terugzien?

(31) Ja, het kabinet is in algemene zin van mening dat de ethische richtsnoeren van
de High-Level Expert Group on AI voldoende zijn overgenomen in het voorstel en goed passen in de systematiek van de
conceptverordening. Het vereiste voor het maatschappelijk en ecologisch welzijn ziet
het kabinet in mindere mate terug, maar het borgen hiervan past beter in het gecoördineerde
AI-plan10 dat zich richt op experimenteren en opschalen van AI in verschillende sectoren.

(32) Wat wordt er verstaan onder subliminale technieken, hoe ver reikt dit? (33) En
waarom is politieke microtargeting op basis van AI uitgezonderd? (34) De verordening
hanteert een schade principe, echter komt schade niet alleen in persoonlijke vorm
voor, maar ook op maatschappelijke schaal, wordt dit ook meegenomen? Is het kabinet
van mening dat misleiding niet moet worden toegestaan, ook niet als er niet meteen
directe persoonlijke schade kan worden aangetoond? Wie is verantwoordelijk voor de
bewijslast? Hoe beoordeelt het kabinet deze keuze? (35) Vindt het kabinet dat er genoeg
aandacht is voor toetsen op basis van daadwerkelijk effect in plaats van enkel beoogd
gebruik?

(32) Onder subliminale technieken worden in de conceptverordening technieken verstaan
die het bewustzijn van mensen beïnvloeden zonder dat zij dit doorhebben en geen optie
voor vrijwillige keuze hebben. Hierbij wordt er vooral gekeken naar technieken die
een significante invloed hebben en daarmee de mogelijkheid om het gedrag van iemand
zo te beïnvloeden dat het heel anders is dan het normale gedrag.

(33) (Politieke) targeting is uitgezonderd van dergelijke subliminale technieken wanneer mensen geïnformeerd
worden dat zij geprofileerd en getarget worden op basis van specifieke informatie en zij de mogelijkheid hebben gekregen
om «nee» te zeggen. Deze uitzondering past bij de inzet van het kabinet rondom politieke
advertenties waarbij in eerste instantie ingezet wordt op meer transparantie. Zoals
aangegeven in de brief over het tegengaan van digitale dreigingen richting de Tweede
Kamer verkiezingen 2021 moet het in aanloop naar verkiezingen voor burgers duidelijk
zijn wie de afzender is van een politieke advertentie en waarom zij deze te zien krijgen.11 Met deze informatie kunnen burgers deze advertenties beter op waarde schatten. Meer
transparantie maakt het voor kwaadwillende ook lastiger hun identiteit te verhullen.
Daarnaast moeten politieke advertenties ook voor iedereen openbaar zijn zodat ze onderdeel
kunnen worden van het publieke debat. Zo kan het ook duidelijk worden welke boodschappen
aan verschillende groepen burgers zijn gericht. Het wetgevend kader rondom de verwerking
van persoonsgegevens bij targeting is de AVG.

(34, 35) Artikel 5, eerste lid, onder a, van het voorstel verbiedt het op de markt
brengen, in gebruik nemen of gebruiken van een AI-systeem dat subliminale technieken
aanwendt om zo het gedrag van een persoon te vervormen. Dit moet bovendien leiden
tot schade voor de fysieke of geestelijke gezondheid van deze persoon of een ander
persoon. Maatschappelijke schade wordt als zodanig niet meegenomen maar is uiteindelijk
ook in het geding als de AI tot psychische schade bij personen leidt en er bijvoorbeeld
hulp moet worden geboden. Vanuit dat gezichtspunt kan het kabinet de voorgestelde
formulering van artikel 5 goed begrijpen. Ook moet opgemerkt worden dat deze concept-verordening
niet op zichzelf staat maar samenhangt met andere Europese (wetgevende) trajecten.
Zo wil de Commissie met het wetsvoorstel voor de Digital Services Act (DSA) onder
andere bijdragen aan het mitigeren van systemische risico’s die de allergrootste online
platformen met zich meebrengen. Om deze systemische risico’s tegen te gaan wordt onder
andere gekeken naar transparantie over de werking van aanbevelingssystemen op de allergrootste
online platformen.

Om een sanctie op te kunnen leggen aan leveranciers van AI-systemen die gericht zijn
op gedragsmanipulatie door middel van subliminale technieken, is vereist dat bedoelde
schade is ingetreden (daadwerkelijk effect), dan wel dat het intreden daarvan aannemelijk
is (het aantonen van daadwerkelijke schade is in dit geval dus niet nodig). Aangezien
het hier om een verbod gaat dat publiekrechtelijk wordt gehandhaafd zal de handhavende
instantie moeten bewijzen dat het is geschonden. Het kabinet onderschrijft deze keuze,
waarmee wordt aangesloten bij de bestaande systematiek voor de handhaving van publieke
normen, en meent dat de inhoud van het voorgestelde verbod voldoende ruimte biedt
voor toetsen op basis van daadwerkelijk effect naast op toetsen op beoogd gebruik.

Kwetsbaren

(36) Deelt het kabinet de mening dat de groep kwetsbaren genoemd in artikel 5b van
de verordening veel verder zou moeten reiken dan enkel kinderen en mensen met een
beperking? Met name omdat er veel andere groepen ook het recht hebben op een gelijke
behandeling, of disproportioneel slachtoffer zijn van fysieke of psychologische schade,
zoals vrouwen die, bijvoorbeeld, het vaakst slachtoffer zijn doormiddel van afpersing
met deepfake pornografie? Zo ja, welke groepen ziet het kabinet graag terug in de
verordening?

(36) Het kabinet deelt de vragen van de verschillende fracties over de reikwijdte
van de verboden uit artikel 5 en is hierover met de Commissie in gesprek. Eventuele
absolute verboden moeten voldoende specifiek en nauwkeurig worden geformuleerd en
beargumenteerd. Het moge duidelijk zijn dat er naast kinderen en mensen met een beperking
andere groepen zijn die het risico lopen om door specifieke kwetsbaarheden benadeeld
te worden. Het kabinet wil dat dit artikel er niet voor zorgt dat andere groepen bescherming
mislopen. Het kabinet wil wel benadrukken dat het gebruik maken van kwetsbaarheden
ook in de huidige situatie vaak al strafbaar of onrechtmatig is.

Social scoring

De leden van de D66-fractie delen de noodzaak een verbod op «social scoring» systemen
in de verordening terug te zien en herinneren het kabinet graag aan het eerder door
de Nederlandse rechter verboden fraudeopsporingssysteem SyRi. «Social scoring» heeft
geen plaats in een vrije samenleving en de publieke ruimte. (37) Kan het kabinet uiteenzetten
hoe sterk het verbod hierop wordt geacht door het groot aantal uitzonderingen? Zou
dit moeten worden aangescherpt? (38) Is het kabinet van mening dat dit verbod ook
moet gelden voor private partijen?

(37) Het kabinet ziet net als de Commissie dat AI-systemen die door of in naam van
overheidsinstanties worden gebruikt om social scoring van natuurlijke personen voor
algemene doeleinden uit te voeren tot mogelijke discriminerende resultaten kunnen
leiden en tot uitsluiting van bepaalde groepen (b.v. bewezen is dat voorspellende
analyses op basis van iemands gedrag of kenmerken kunnen leiden tot mogelijke vooringenomenheid
en discriminatie); met voorliggend verbod wordt geprobeerd dit te voorkomen. Het kabinet
constateert daarbij, net als de leden van D66, dat het door de Commissie voorgestelde
verbod omtrent social scoring op verschillende manieren is afgebakend. In beginsel
is dit begrijpelijk: het is van belang dat verboden voldoende nauwkeurig zijn geformuleerd
zodat zij toezien op specifieke praktijken die moeten worden verboden. Anderzijds
kan het gevaar ontstaan dat het doel van de bepaling, het voorkomen van discriminatie
en uitsluiting, niet wordt bewerkstelligd. Het kabinet zal zich inzetten om samen
met belanghebbenden te komen tot een gepaste en nauwkeurige formulering, waarmee het
beoogde doel van het verbod kan worden bewerkstelligd.

(38) De Commissie heeft gekozen de reikwijdte van het verbod op social scoring te beperken tot overheidsinstanties, het kabinet beraadt zich op een standpunt hierover.

Biometrische surveillance

Een van de risico’s die aansluiten bij «social scoring» is het gebruik van biometrische
surveillance/ herkenning. (39) De leden van de D66-fractie horen graag waarom er de
keuze is gemaakt voor biometrische identificatie in plaats van biometrische surveillance.
Voorspellingen maken op basis van bepaald gedrag, stemgebruik, hoe iemand loopt, of
iemands emoties vallen nu buiten de boot bij de hoge risico bepalingen. (40) Is het
kabinet van mening dat het begrip van biometrische identificatie moet worden opgerekt
om meer risico’s op surveillance te voorkomen? Zo nee, kan het kabinet een lijst geven
van welke vormen van biometrische surveillance acceptabel worden geacht? Ook is er
bij biometrische identificatie sprake van ruime uitzonderingsgronden die de beperkingen
grotendeels tenietdoen. Binnen Nederland hebben we eerder gezien dat de politie gebruik
maakte van gezichtsherkenning, ook als daar geen wettelijke basis voor bestond, omdat
de toegang tot deze technologie wel bestond. (41) Deze leden horen graag van het kabinet
of biometrische identificatie in de publieke ruimte überhaupt wenselijk moet worden
geacht. (42) Is het kabinet van mening dat de uitzonderingsgronden te algemeen en
te breed zijn? (43) Deelt het kabinet de zorgen van deze leden dat het enkel verbieden
van «real-time» analyse tekortschiet als definitie, nu dit niet duidelijk analyse
na een zeer kort tijdsbestek in de wegstaat? (44) Hoe staat het kabinet ten aanzien
van het gebruik van biometrische identificatie door private partijen? Hoe staan andere
lidstaten hiertegenover?

(39) Het kabinet zal de Commissie om nadere uitleg vragen. Mogelijk is ervoor gekozen
om het begrip gelijkluidend te laten zijn aan de definitie van «biometrische gegevens»
uit artikel 4 lid 14 AVG, dat is overgenomen in artikel 3 van de conceptverordening,
die specifiek toeziet op situaties waarin het doel is om een betrokkenen te «identificeren».
Het kabinet verwijst in dit verband naar de richtlijnen van de European Data Protection Board inzake de verwerking van persoonsgegevens door middel van videoapparatuur.12 Er is in dat kader dus alleen sprake van «biometrische» surveillance wanneer het
doel is een individu te identificeren aan de hand van bijvoorbeeld stemgeluid, vingerafdrukken
of de specifieke manier van lopen. Voorts is van belang te benadrukken dat meerdere
van de door de leden genoemde typen voorspellingen in de context van rechtshandhaving
ingevolge artikel 7 lid 2 en Annex III van de conceptverordening wél onder de aanvullende
hoog risico’s uit de conceptverordening zullen vallen. Het kabinet merkt daarbij op
dat niet op identificatie gerichte vormen van surveillance doorgaans ook zullen kwalificeren
als «profilering» in de zin van artikel 4 lid 4 AVG en dus aan de daarin opgenomen
regels gebonden zijn.

(40) Als in antwoord op vraag 39 benoemd ligt in het begrip biometrische gegevens,
zoals geformuleerd in de AVG, besloten dat «identificatie» het doel van de verwerking
moet zijn. Het ligt wat het kabinet betreft niet voor de hand de definitie van «biometrische
identificatie» in deze verordening op te rekken om andersoortige vormen van surveillance
(welke niet toezien op «identificatie») te voorkomen.

Het kabinet deelt de mening dat er in de conceptverordening sprake zou zijn van ruime
uitzonderingsgronden voor biometrische identificatie in de rechtshandhaving niet,
zie in dat kader ook de kabinetsreactie op het bericht in de Volkskrant welke gelijktijdig
met deze beantwoording aan uw Kamer is toegezonden. De huidige wetgeving, incl. de
Grondwet, laat ruimte voor een rechtmatig gebruik van biometrische identificatie.
De toepassing moet dan wel voldoen aan de eisen van noodzaak, proportionaliteit en
subsidiariteit. Ook de conceptverordening biedt waarborgen. De verwerking van biometrische
gegevens, als zijnde bijzondere persoonsgegevens, is op grond van het gegevensbeschermingsrecht
in beginsel verboden. Op dat verbod zijn slechts beperkte uitzonderingen mogelijk.
Ook wanneer sprake is van een dergelijke uitzondering en biometrische gegevens mogen
worden verwerkt biedt de AVG een breed stelsel aan waarborgen, zoals de in casus verplichte
Data Protection Impact Assessment (DPIA)13 en het vereiste van dataminimalisatie.14

De waarborgen uit de AVG gelden voor iedere verwerking van persoonsgegevens; dus ook
voor niet-biometrische verwerkingen. De mogelijkheid om technologieën of systemen
met grote privacyrisico’s in te zetten zal op basis van die waarborgen reeds beperkt
zijn. Desalniettemin signaleert het kabinet dat bepaalde systemen die weliswaar geen
biometrische of anderzijds bijzondere persoonsgegevens verwerken, maar die wel bijzonder
privacy invasief kunnen zijn, zoals bijvoorbeeld emotieherkenningssystemen, conform
de AVG aan een minder strikt kader zijn onderworpen. Daarom kunnen aan dergelijke
systemen extra eisen worden verbonden in de conceptverordening. Teneinde hier een
goed geïnformeerde en breed gedragen positie over in te kunnen nemen zal het kabinet
over dit onderwerp een rondetafelgesprek organiseren.

(41) In de kabinetsreactie op het bericht in de Volkskrant gaat het kabinet hier uitgebreider
op in.

(42) Naar het oordeel van het kabinet zijn de voorgestelde uitzonderingsgronden voor
het gebruik van real-time biometrische systemen voor rechtshandhaving duidelijk omlijnd
en niet te breed. Het verbod en de uitzonderingsgronden gelden expliciet aanvullend
op het bestaande juridisch kader voor biometrische gegevensverwerkingen, waar in de
kabinetsreactie op het bericht in De Volkskrant nader op in wordt gegaan. Voor de
rechtshandhaving wordt thans gewerkt aan een nieuwe gegevenswet politie en justitie.
Hierover heeft de Minister voor Rechtsbescherming uw Kamer in november 2020 geïnformeerd.15 Vanzelfsprekend zal in dit traject aandacht zijn voor een duidelijk stelsel aan uitzonderingsgronden
met betrekking tot de verwerking van (biometrische) persoonsgegevens door de politie
en justitie.

(43) In de definitie van «real-time» in artikel 3 sub 37 van de conceptverordening
heeft de Commissie specifiek opgenomen dat «real-time» niet alleen onmiddellijke identificatie
omvat, maar ook identificatie met «beperkte korte vertragingen». Dit is specifiek
opgenomen om omzeiling van de bepaling te voorkomen. Het kabinet ziet aldus dat de
Commissie voornemens is om ook analyse na een zeer kort tijdsbestek binnen de definitie
van «real-time» te vatten en daar dus wel de extra eisen omtrent «real-time» herkenning
aan te verbinden. Het kabinet deelt de analyse van de leden van D66 daarmee in zoverre
dat duidelijk moet zijn dat van dergelijke omzeiling geen sprake mag zijn. Het zal
zich inzetten voor een verduidelijking van de definitie.

(44) Het gebruik van biometrische identificatie door private partijen is ingevolge
de AVG en Uitvoeringswet AVG (hierna: «UAVG») in Nederland slechts in zeer beperkte
gevallen toegestaan. Dit heeft het kabinet uitgebreider toegelicht in de kabinetsreactie
op het artikel in de Volkskrant en het daarbij als bijlage meegezonden juridisch kader
dat van toepassing is bij de inzet van dergelijke systemen. Het kabinet ziet geen
ruimte voor verruiming van deze regels.16

Transparantie

Een van de belangrijkste onderdelen om ongelijke behandeling, discriminatie en het
schenden van de algemene beginselen van behoorlijk bestuur te voorkomen in de verordening
is de transparantieplicht om de interpretatie van de uit AI-systemen volgende beslissingen
mogelijk te maken. Als besluitvorming geautomatiseerd wordt kan dit rechtsongelijke
en persoonsafhankelijke oordelen voorkomen, maar neemt het risico tot onacceptabele
vormen van ongelijkheid toe omdat besluitvormingsprocessen niet langer kunnen worden
getoetst op discriminatie of andere verboden inbreuken op mensenrechten.

De leden van de D66-fractie zijn van mening dat de verordening nog te weinig mogelijkheden
biedt om inzicht in AI-systemen te krijgen, waardoor effectieve controle op rechtmatigheid
van beslissingen gehinderd wordt. (45) Is het kabinet van mening dat besluitvorming
voldoende inzichtelijk, uitlegbaar en begrijpelijk wordt met de huidige verordening?

(45) Het kabinet zet zich in voor rechtmatige, transparante en uitlegbare besluitvorming
en wijst in dit verband graag op de brief «Voortgang AI en algoritmen» van 10 juni
jl. met daarin de «Beleidsagenda normering en toezicht algoritmen»17 en de eerdere kabinetsreactie van 20 november 2020 op een drietal onderzoeken naar
algoritmen18. In de eerstgenoemde brief onderschreef het kabinet dat een additioneel Europees
wetgevend instrument voor artificiële intelligentie (met een hoog risico) van toegevoegde
waarde kan zijn.

De conceptverordening beoogt de AI-markt te reguleren om ervoor te zorgen dat AI-systemen
als producten veilig zijn en grondrechten respecteren. Naast een aantal verboden introduceert
het voorstel een systeem van ex ante conformiteitstoetsing en ex post marktmonitoring.
Hoog risico AI-systemen moeten voldoen aan bepaalde eisen voordat ze op de Europese
markt mogen worden gebracht of in gebruik worden genomen. Na het op de markt brengen/in
gebruik nemen wordt het AI-systeem gemonitord en wordt toezicht uitgeoefend. Daarnaast
introduceert de conceptverordening verscheidene transparantieverplichtingen voor leveranciers/gebruikers
die werken ten behoeve van hen die met een AI-systeem interacteren (zie art. 52).
Het kabinet staat positief tegenover deze transparantievereisten. Burgers moeten weten
wanneer zij contact hebben met een AI-systeem en attent worden gemaakt op AI-systemen
die doen aan emotieherkenning, biometrische categorisering of «deepfakes». Het kabinet
acht het terecht dat er in het belang van de rechtshandhaving redenen kunnen zijn
om transparantie richting de betrokkene afwijkend in te richten. Dat neemt echter
niet weg dat ook in het kader van de rechtshandhaving de inzet van AI-systemen zo
transparant mogelijk dient te zijn en dat daarover, bijvoorbeeld in het kader van
het strafproces, verantwoording kan worden afgelegd.

Het voorstel bevat dus verplichtingen voor ontwikkelaars en gebruikers van die systemen.
De relatie tussen ontwikkelaars/gebruikers enerzijds en consumenten of burgers anderzijds
wordt gereguleerd door andere regelgeving, in het bijzonder het consumentenrecht,
het bestuursrecht en het gegevensbeschermingsrecht. Consumenten en burgers kunnen
zich via die wetgeving bij de toezichthouder of rechter melden als zij in hun (grond)rechten
geschonden zijn. Volgens de Richtlijnen voor het gebruik van algoritmen door overheden19 geldt tenslotte dat de overheid geen algoritmen hanteert waarvan de uitkomsten niet
navolgbaar en controleerbaar zijn. In het antwoord op vraag 72 wordt nader ingegaan
op de vraag of consumenten voldoende worden beschermd.

Tot slot wil het kabinet opmerken dat het, los van deze conceptverordening, belangrijk
is om juridische kaders beter toepasbaar te maken of te concretiseren. In de voortgangsbrief
«AI en algoritmen» worden concrete initiatieven genoemd20. Het kabinet zal zich blijven inzetten om de rechtsbescherming van burgers in algoritmische
besluitvorming te verbeteren.

Stimuleren AI voor kleinere bedrijven en ondernemers

De leden van de D66-fractie zijn van mening dat AI-systemen ook enorme voordelen met
zich meebrengen voor maatschappij en het bedrijfsleven. (46) Deze leden horen graag
van het kabinet hoe lang bedrijven hebben, die nu al gebruik maken van AI-systemen,
om te voldoen aan de verordening, bij de inwerkingtreding. Acht het kabinet de implementatietijd
voldoende? (47) De verordening kan ook voor kleinere innovatieve bedrijven grote lasten
met zich meebrengen, terwijl één van de doelen van de AI-verordening het stimuleren
van Europese innovatie op AI-gebied is. Kan het kabinet toelichten op welke wijze
er extra aandacht is voor het stimuleren van ontwikkelingen op het gebied van AI voor
kleine bedrijven binnen de EU en vanuit Nederland?

(46–47) De verordening treedt in werking 20 dagen na de publicatie en is van toepassing
24 maanden na die datum, een reguliere termijn voor Europese wetgeving die in veel
gevallen haalbaar is. Het kabinet onderzoekt de impact op bestaande AI-systemen vanwege
de terugwerkende kracht indien er sprake is van een verandering van het ontwerp of
het beoogde doel na inwerkingtreding van de uiteindelijke verordening. De implementatietermijn
voor het instellen van toezicht is in de conceptverordening veel korter: er wordt
een termijn van 3 maanden voorgesteld. Het kabinet is voorstander van een langere
implementatietermijn,

omdat onder andere aanwijzing, toedeling taken en bevoegdheden, en werkwijze

van deze instanties tijd kost en bovendien niet los gezien kan worden van de werkzaamheden
die ze verrichten (conformiteitsbeoordeling, toezicht, handhaving etc.). Hiertoe ligt
een nationale uitvoeringswet in de rede. Bezien moet worden of hierin ook andere bepalingen
van de conceptverordening moeten worden uitgewerkt.

Eén van de doelstellingen van de conceptverordening is om een wetgevend kader te creëren
dat toekomstgericht, veerkrachtig en innovatie-vriendelijk is voor de EU. Tegelijkertijd
met de conceptverordening is een actueel gecoördineerd AI-actieplan gepubliceerd (COM(2021) 205).
Samen geeft dit opvolging aan een ecosysteem van excellentie en een ecosysteem van
vertrouwen voor AI, zoals genoemd in het Witboek AI. In dit gecoördineerde actieplan
is aandacht voor het stimuleren van ontwikkelingen op het gebied van AI. Eén van de
vier actielijnen is om van de EU een plek te maken waar Al-excellentie kan floreren
van het laboratorium tot de markt. Specifiek om het mkb te ondersteunen binnen de
EU en vanuit Nederland zal dit via de Europese digitale innovatiehubs gaan via het
Digital Europe Programme.

Zie daarnaast ook het antwoord op vraag 21 en 67–71 over regulatory sandboxes.

Definities

De leden van de D66-fractie merken op dat ook binnen het bedrijfsleven veel vragen
bestaan over de reikwijdte en definities binnen de verordening. (48) Kan het kabinet
toelichten of volledige interne AI-processen vallen binnen de definitie van AI-systemen?
Zo ja, acht het kabinet dit wenselijk met het oog op de toenemende regeldruk die bij
een dergelijke definitie komt kijken? Bedrijven hebben een informatieplicht richting
klanten om te informeren over de het gebruik en risico’s van AI-systemen. (49) In
hoeverre geldt deze plicht ook voor de leveranciers van deze systemen?

(48–49) De conceptverordening is ook van toepassing op volledig intern ontwikkelde
en gebruikte AI-systemen en vallen ook binnen de reikwijdte van de conceptverordening
mits deze binnen de definitie van artikel 3 en bijlage I vallen. De reden voor deze
brede, horizontale aanpak is tweeledig. Allereerst beoogt de conceptverordening een
gelijk speelveld te creëren voor AI-technologie en de interne ontwikkelprocessen hebben
ook effect op de interne markt doordat deze AI niet door marktpartijen kunnen worden
ontwikkeld. Ten tweede zou een uitzondering voor intern ontwikkelde AI-systemen omzeiling
van de voorwaarden in de hand werken en het doel om de risico’s van alle AI-systemen
in de Europese Unie te mitigeren ondermijnen. Zie ook het antwoord op vraag 3 t/m
6 over de definitie en reikwijdte en het antwoord op vragen 7, 8 en 9 over de regeldruk
voor bedrijven.

Ten aanzien van de vraag over de informatieplicht veronderstelt het kabinet dat de
D66-fractie doelt op de eisen die gelden voor hoog-risicosystemen. De aanbieder van
een dergelijk AI-systeem moet aan deze eisen voldoen, zoals het opstellen van technische
documentatie (artikel 11) en een gebruiksinstructies (artikel 13). Aan deze eisen
moet worden voldaan door partijen die een hoog-risico AI-systeem op de Europese markt
willen aanbieden of in gebruik gaan nemen, in veel gevallen bedrijven die door hen
ontwikkelende AI-systemen willen verkopen of bedrijven die AI-systemen in opdracht
leveren aan bijvoorbeeld publieke instellingen.

Toezicht

De leden van de D66-fractie horen graag een nadere toelichting hoe het kabinet het
toezicht van de verordening op nationaal niveau voor zich ziet binnen de huidige capaciteiten.
(50) Deze leden horen graag van het kabinet of ze de rol van de Europese Commissie
binnen de toezichthouder «European Artificial Intelligence Board» (EAIB) wenselijk
acht met het oog op onafhankelijk toezicht. Hoe staan andere lidstaten hierin?

(50) Voor een nadere toelichting over hoe het kabinet het toezicht van de conceptverordening
op nationaal niveau voor zich ziet verwijzen we naar antwoorden 16–19.

Wat betreft het Europees Comité voor artificiële intelligentie (in Engels EAIB) merkt
het kabinet op dat het goed is dat in een dergelijk orgaan wordt voorzien. Hiermee
kan worden geborgd dat lidstaten de wetgeving op dezelfde manier toepassen. Daarnaast
draagt een dergelijk orgaan eraan bij dat alle lidstaten op een voldoende kennis-
en ervaringsniveau worden gebracht.

Het Europees Comité voor artificiële intelligentie roept ook naar de opvatting van
het kabinet vragen op over de positie van de Commissie binnen dit orgaan. Nederland
zal dit onderwerp aan de orde stellen tijdens de raadswerkgroepen zodat hierover meer
duidelijkheid komt. Voorop daarbij staat dat het toezicht voldoende onafhankelijk
moet kunnen functioneren.

Het is nog niet bekend hoe andere lidstaten hier in staan. Het kabinet is dit aan
het verkennen.

Militair gebruik

(51) De leden van de D66-fractie horen graag van het kabinet waarom de Europese Commissie
ervoor heeft gekozen om militair gebruik van AI-systemen uit te zonderen in de verordening.
Acht het kabinet dit wenselijk?

(51) Zoals de Commissie in overweging 12 van de conceptverordening toelicht worden
AI-systemen die uitsluitend voor militaire doeleinden worden ontwikkeld of gebruikt
uitgesloten van het toepassingsgebied van de verordening wanneer dat gebruik onder
de exclusieve bevoegdheid valt van het gemeenschappelijk buitenlands en veiligheidsbeleid,
zoals geregeld in titel V van het Verdrag betreffende de Europese Unie (VEU). Het
kabinet volgt de redenering van de Commissie in dezen. Zie ook de antwoorden op vraag
81 en 82.

Vragen en opmerkingen van de leden van de PVV-fractie

De leden van de PVV-fractie zijn van mening dat de aard en impact, met name de negatieve
(bij-) effecten, van kunstmatige intelligentie (AI) tot regulering nopen, maar deze
leden zijn tegelijkertijd wel bezorgd dat pogingen daartoe, zeker op Europees niveau,
juist tot meer onduidelijkheid leiden. De reikwijdte van en de definities in de nieuwe
AI-verordening zijn dermate breed en onbepaald, dat een goede analyse en beoordeling
op dit moment uitermate lastig is. Het kabinet erkent dat zelf ook en geeft aan op
diverse punten verduidelijking gevraagd te hebben aan de Europese Commissie. (52) Kan
het kabinet aangeven op welke punten die gevraagde verduidelijking inmiddels is ontvangen?
Mocht dat nog niet het geval zijn geweest, op welke termijn denkt het kabinet die
verduidelijking nog te ontvangen van de Europese Commissie? (53) Is het kabinet bereid
om bij uitblijven van afdoende verduidelijking door de Europese Commissie, een Nederlandse
voortrekkersrol op zich te nemen in de nadere behandeling van deze verordening?

(52–53) Onder het Sloveense voorzitterschap wordt momenteel de eerste reeks aan artikelen
behandeld van de conceptverordening. Het voorzitterschap doet dit in de vorm het organiseren
van wekelijkse Raadswerkgroepen (RWG) en workshops. Het kabinet heeft al verduidelijking
gekregen van de Commissie over de manier waarop de definitie van AI-systeem en aanbieder
moet worden geïnterpreteerd en welke verplichtingen gelden voor hoog-risico AI-system.
De inzet van het kabinet is te zorgen dat de gehanteerde definities en formuleringen
in het voorstel voldoende helder zijn voor iedereen die te maken krijgt met de uitvoering,
zie tevens het antwoord op vraag 56. Op basis van de uitleg van de Commissie werkt
het kabinet momenteel aan concrete verbeteringen van de voorgestelde teksten in afstemming
met belanghebbenden, bijvoorbeeld de definitie van AI-systeem (zie ook het antwoord
op vragen 109 en 110) en is bereid deze actief onder de aandacht te brengen bij de
andere lidstaten.

De leden van de PVV-fractie delen de zorgen van het kabinet als het gaat om de benodigde
middelen, capaciteit en expertise bij de verschillende nationale toezichthouders die
deze verordening met zich mee gaat brengen. Zeker gezien het kabinet ook erkent dat
de door de Europese Commissie gehanteerde definitie van AI dusdanig ruim is dat potentieel
alle algoritmische informatiesystemen onder het begrip AI vallen.

De verwachte administratieve lasten kunnen mogelijk fors worden, aldus het kabinet
in haar brief. Het kabinet vindt de schatting die de Europese Commissie maakt van
de verwachte kosten en regeldruk die mkb-bedrijven, startups en kleine organisaties
moeten maken voor de naleving, te laag. (54) De leden van de PVV-fractie delen deze
vrees en horen graag van dit kabinet wat zij van plan is om de administratieve lasten
voor Nederlandse bedrijven zo laag mogelijk te houden en te zijner tijd te verlichten.
Deze leden merken voorts op dat heel veel
ondernemers nog altijd worstelen met de administratieve lasten en kosten die de invoering
van de AVG met zich mee heeft gebracht. Zij maken zich grote zorgen over de gevolgen
die een nieuwe golf Europese regelgeving gaat hebben op de slagkracht en het innovatievermogen
van Nederlandse ondernemers.

(54) Zie het antwoord op vragen 21–23.

De leden van de PVV-fractie hebben in dit kader ook grote zorgen over de toezichthouders,
die in de huidige vorm volstrekt niet toegerust zijn om effectief toezicht uit te
oefenen op de naleving van een dergelijk veelomvattende AI-verordening. Deze leden
roepen in herinnering dat tot op heden nog geen stappen zijn genomen door dit kabinet
om de Autoriteit Persoonsgegevens (AP) afdoende middelen te geven om de naleving van
de AVG te kunnen begeleiden. Het is deze leden volstrekt onduidelijk waarom het kabinet
in haar brief aangeeft dat zij zich voorzichtig afvraagt of de door de Europese Commissie
benoemde benodigde bezetting van 1 tot 25 FTE bij de toezichthoudende instantie voldoende
is. Dat klinkt als een enorm understatement. Wat deze leden betreft is een actieplan
voor versterking van met name de AP nu echt urgent; (55) deze leden zouden graag willen
weten welk actieplan dit kabinet klaar heeft liggen om ervoor te zorgen dat het toezicht-systeem
versterkt wordt. Wat deze leden betreft is het onwenselijk om wet- en regelgeving
in te voeren als op voorhand duidelijk is dat er geen toezicht op naleving gehouden
kan worden.

(55) Het kabinet deelt de zorgen van de PVV rondom de door de Commissie benoemde benodigde
bezetting van 1 tot 25 FTE bij de toezichthoudende instantie voldoende is. In dit
stadium kan het kabinet niet vooruitlopen op het benodigde aantal FTE’s, maar uiteraard
moet ervoor gezorgd worden dat er tijdig voldoende middelen, capaciteit en expertise
beschikbaar zullen zijn bij alle toezichthouders die op enige wijze betrokken zullen
zijn bij het toezicht op deze verordening. Dit is ook aangegeven in de voortgangsbrief
AI en algoritmen.

Het kabinet acht het positief dat binnen het voorstel de mogelijkheid bestaat om nationaal
maatwerk te leveren bij het beleggen van de toezicht- en handhavingstaken en -bevoegdheden.
Hiermee kan het toezicht op de verordening aansluiten bij het bestaande toezicht en
kunnen toezichthouders vanuit hun eigen domein en expertise toezicht houden, zie tevens
antwoorden 16–19.

Rondom uw vraag over het maken van een actieplan voor AP, zoals uiteengezet in de
Kamer brief aan uw Kamer van 1 maart 2021 (Kamerstukken 25 268 en 32 761, nr. 197) is het aan het volgende kabinet om te besluiten over eventuele uitbreiding van haar
capaciteit.

Tot slot zou de leden van de PVV-fractie graag zien dat de het kabinet zich hard maakt
voor een systeem van eenvoudige en effectieve rechtsbescherming voor door AI-systemen
benadeelde burgers.

Het kabinet zet zich in voor een goede rechtsbescherming, zowel offline als online.
Voor een nadere toelichting wordt verwezen naar het antwoord op vraag 45 en vraag
72 (specifiek over consumentenbescherming).

Vragen en opmerkingen van de leden van de CDA-fractie

De leden van de CDA-fractie hebben met belangstelling kennisgenomen van het fiche
van het kabinet over de verordening kunstmatige intelligentie. Deze leden willen allereerst
het belang onderstrepen van het waarborgen van de fundamentele grond- en mensenrechten
ook in het digitale domein. De Europese verordening is de eerste van haar soort in
de wereld en een eerste poging om kunstmatige intelligentie op grote schaal te reguleren.
Een inzet die deze leden steunen.

De leden van de CDA-fractie willen allereerst opmerken dat zij de opmerkingen en commentaren
van het kabinet begrijpen, maar dat voor hen op verschillende punten nog niet duidelijk
wordt wat het standpunt is van het kabinet ten aanzien van (delen van) de verordening.
Deze leden denken hierbij aan de door de Europese Commissie gekozen reikwijdte van
het begrip kunstmatige intelligentie, de gehanteerde risicobenadering en andere gewenste
verduidelijkingen. (56) Zij vragen het kabinet wat voor hen dan wel voldoet, bijvoorbeeld
wanneer gevraagd wordt om verduidelijking.

(56) Zie het antwoord op de vragen 1 t/m 6 en 52–53.

De leden van de CDA-fractie merken op dat er in de verordening gekozen is voor specifieke
bescherming van kwetsbare groepen, waarbij de verordening zich beperkt tot twee kwetsbare
groepen. Kinderen en mensen met een beperking worden genoemd. (57) Deze leden vragen
of het zuiver is om enkel deze twee groepen te benoemen. Zij vragen naar de onderliggende
argumentatie voor de keuze om deze twee groepen aan te wijzen als bijzonder kwetsbaar
als het gaat om kunstmatige intelligentie. Deze leden achten voorstelbaar dat er ook
andere groepen benoemd moeten worden en zien in het algemeen dat minderheden sneller
kwetsbaar zijn bij bepaalde toepassingen van kunstmatige intelligentie. Zij vragen
hoe het kabinet dat ziet.

(57) Voor het antwoord op deze vraag wordt verwezen naar het antwoord op vraag 36.

De leden van de CDA-fractie delen de zorgen van zowel kabinet als samenleving dat
de in de verordening gehanteerde definitie van kunstmatige intelligentie dusdanig
ruim is dat potentieel alle algoritmische informatiesystemen onder het begrip AI komen
te vallen. (58) Deze leden vragen het kabinet in hoeverre er gekeken kan worden naar
een definitie die met name ziet op «machine learning» en complexe algoritmes waar
het onduidelijk kan zijn hoe er tot een bepaald besluit is gekomen.

(58) Voor de positie van het kabinet over de definitie van AI-systeem in samenhang
met de risicobenadering wordt u verwezen naar het antwoord op de vragen 3, 4, 5 en
6 en de antwoorden op vraag 24 en 25 over transparantie.

De leden van de CDA-fractie merken op dat de definitie van hoog-risico AI-systemen
niet genoemd wordt in de beoordeling van het voorstel, terwijl dat ook nog de nodige
onduidelijkheid over bestaat. (59) Is deze definitie voor het kabinet voldoende duidelijk
of zal het kabinet in de Europese onderhandelingen hier ook een punt van maken?

(59) U wordt verwezen naar het antwoord op de vragen 1 en 2 over de risicocategorieën.

De leden van de CDA-fractie willen hun steun uitspreken voor het standpunt van het
kabinet om nieuwe definities als «ingebruikname» vanaf het begin van de onderhandeling
duidelijk uitgewerkt te hebben. Zij refereren daarbij aan de onduidelijkheid die nog
steeds bestaat over wat precies het «verwerken» van gegevens is bij de invoeren van
de AVG. (60) Deze leden vragen daarbij wel of het kabinet een indicatie kan geven
over wat zij een acceptabele definitie vindt.

(60) Het kabinet kan zich vinden in de definitie van «in gebruik stellen» in de verordening,
die luidt als volgt: «de directe levering van een AI-systeem aan de gebruiker voor
het eerste gebruik of voor eigen gebruik op de markt van de Unie voor het beoogde
doel».

De leden van de CDA-fractie uiten hun zorgen over de brede formulering van de verboden
en de vele uitzondering op verboden. Verschillende uitzonderingen zijn begrijpelijk
en kunnen op steun rekenen van deze leden. Echter vragen deze leden naar het verbod
op manipulatie en winstgevend maken van kwetsbaarheden die verband houden met iemands
leeftijd, verstandelijke of fysieke beperking dat alleen lijkt te gelden indien er
sprake is van (een grote kans op) schade. (61) Deze leden vragen waarom er niet voor
een algemeen verbod is gekozen en of het kabinet voornemens is daar wel voor te pleiten.
Deze leden lijkt het logisch dat manipulatie en winstgevend maken van kwetsbaarheden
altijd onwenselijk is en daarmee niet toegestaan.

(61) Het kabinet deelt de mening van de leden van de CDA-fractie dat mensen moeten
worden beschermd tegen manipulatie en het winstgevend maken van hun kwetsbaarheden.
In het antwoord op vraag 36 van de leden van de D66-fractie is daarom aangegeven dat
het kabinet niet wil dat dit artikel ertoe leidt dat andere groepen bescherming mislopen.
Het kabinet neemt dit mee in de onderhandelingen. Het kabinet benadrukt daarbij dat
het ontbreken van een verbod in de AI-verordening niet betekent dat een praktijk niet
verboden is in andere regelgeving. Private partijen moeten zich houden aan de regels
van de AVG en daarmee is biometrische identificatie door private partijen slechts
in beperkte gevallen toegestaan. Daarnaast mogen handelspraktijken op grond van de
Wet oneerlijke handelspraktijken niet misleidend of agressief zijn. Het exploiteren
van bepaalde kwetsbaarheden geldt als een oneerlijke handelspraktijk in het consumentenrecht.
Voor een toelichting op de consumentenbescherming wordt verder verwezen naar het antwoord
op vraag 72.

Het verbod op bepaalde systemen en real-time biometrie in de publieke ruimte

De leden van de CDA-fractie zijn positief over het uitgangspunt van een verbod op
real-time biometrische identificatie systemen in de publieke ruimte ten behoeve van
rechtshandhaving. Wel hebben deze leden vragen over wat er precies bedoeld wordt met
«real-time» biometrische identificatie. (62) In dat kader vragen deze leden of het
kabinet zich wil inzetten op het verkrijgen van duidelijkheid op dat punt. (63) Deze
leden vragen het kabinet waarom er niet een verbod op biometrische identificatie aan
de hand van kunstmatige intelligentie in publieke ruimte in het algemeen komt. Deze
leden zien daarnaast in uitzonderlijke gevallen, bijvoorbeeld bij terroristische dreiging
of aanslag, reden om wel gebruik te maken van (real-time) biometrische identificatie,
maar dat dit wel met waarborgen dient te worden omkleed.

(62) Ja, zie daarvoor ook het antwoord op vraag 43. «Real-time» identificatie betekent
ingevolge artikel 3 sub 37 van de conceptverordening dat een persoon op basis van
analyse van biometrische gegevens direct of vrijwel direct na de registratie van die
gegevens worden gekoppeld aan persoonsgegevens. Het meest bekende voorbeeld is gezichtsherkenning
waarbij camera’s de gefilmde personen direct identificeren.

(63) Het kabinet is net als de leden van het CDA van inziens dat een inbreuk op grondrechten
in uitzonderingsgevallen en met waarborgen omkleed rechtmatig kan zijn. In de Kabinetsreactie
op het bericht in de Volkskrant gaat het hier nader op in. Zie in dit kader ook de
antwoorden op de vragen 40, 41 en 42.

Transparantie voor overige AI-systemen

(64) De leden van de CDA-fractie vragen hoe de rol van de burger is geregeld in de
verordening en dan in het bijzonder hoe de burger in staat gesteld zal worden om grip
te houden op welke wijze zij worden onderworpen aan automatische besluitvorming en
kunstmatige intelligentie. Klopt het dat burgers geen mogelijkheden worden gegeven
om inzicht te krijgen in hoe en in welke mate zij onderworpen zijn aan kunstmatige
intelligentie in de verordening, mogelijkheden die de AVG wel biedt op het terrein
van eigen persoonsgegevens?

(64) Voor het antwoord op deze vraag wordt verwezen naar het antwoord op vraag 45.

Toezicht en governance

De leden van de CDA-fractie kunnen zich vinden in de vragen en bezwaren van het kabinet
over de wijze waarop het toezicht en de governance is geregeld in de verordening.
Door te kiezen voor een brede reikwijdte en open definities zal er automatisch ook
meer gevraagd worden van het toezicht, zo menen deze leden. (65) Deze leden vragen
naar de consequenties van deze uitgangspositie van het kabinet op dit punt. (66) Ook
vragen deze leden of het kabinet bereid is om in voorbereiding op de verordening actief
na te denken over de wijze waarop het toezicht in Nederland vormgegeven moet gaan
worden en welke capaciteit daarvoor nodig is. Het is daarbij van belang dat we niet
verrast worden door mogelijke gevolgen en capaciteitsvragen zoals in het verleden
weleens is gebeurd, zo menen deze leden.

(65) De inzet van het kabinet is inderdaad om de definities en formuleringen aan te
scherpen, zie voor de inzet de antwoorden op de vragen 1 tot en met 6.

(66) Het kabinet is hiertoe bereid. Zie de antwoorden op de vragen 16–19, 50 en 55.

Innovatie en regeldruk

De leden van de CDA-fractie waarderen de aandacht voor een wetgevend kader dat innovatievriendelijk
is, waarbij hoge nalevingskosten worden vermeden en met oog voor het belang van kleine
organisaties en bedrijven, zoals het mkb. Deze leden lezen dat die organisaties en
bedrijven voorrang kunnen krijgen bij experimenteerruimtes, waaronder «regulatory
sandboxes», digitale innovatiehubs en test- en experimenteerfaciliteiten voor AI-systemen.
(67) Is reeds bekend onder welke voorwaarden bijvoorbeeld mkb-bedrijven hier toegang
toe kunnen krijgen? Tijdens de coronacrisis is gebleken dat het voor mkb en starters
lastig is om eigen, doorgaans kostbare Research & Development (R&D)-capaciteit aan
te houden. (68) Zullen kleinere bedrijven straks toegang hebben tot de digital innovation
hubs, om van daaruit samen te werken met de R&D-afdeling van grote(re) bedrijven?
(69) Hoe is financiering hiervan/hiervoor geregeld? (70) Kan het kabinet aangeven
hoe het staat met de «infrastructuur» van eerdergenoemde experimenteerruimtes in Nederland?
Zijn er bijvoorbeeld voldoende test- en experimenteerfaciliteiten, verspreid over
het land, waar het mkb op laagdrempelige wijze AI-systemen kan laten testen, niet
alleen de mkb-koplopers maar ook het brede mkb-peloton? Het kabinet schat in dat regeldruk-
en nalevingskosten voor mkb-bedrijven, startups en kleine organisaties in de praktijk
hoger zullen uitvallen, met mogelijk een rem op innovatie tot gevolg. (71) Hoe gaat
het kabinet zich er concreet voor inzetten dat administratieve verplichtingen «zo
lastenluw en effectief mogelijk» worden vormgegeven, zowel in Nederland als in Europees
verband?

(67–71) Het kabinet is in gesprek met de Commissie om specifieke criteria en condities
voor deelname aan een regulatory sandbox te concretiseren (zie tevens antwoord 21).
Daarnaast pakt Nederland actief een rol in Europese initiatieven zoals de EDIHs (European
Digital Innovation Hubs) en de TEFs om zo Nederlandse bedrijven en (publieke) organisaties
goed aan te laten sluiten op Europese en nationale handreikingen/initiatieven. Via
het nieuwe Europese programma Digital Europe wordt o.a. ingezet op een netwerk van
Nederlandse EDIHs. Bedrijven zullen straks toegang krijgen tot het netwerk van European
Digital Innovation Hubs (EDIHs). Een EDIH zal één loket zijn om, met name, het mkb
met een relatief hoge adoptiesnelheid («early majority») te ondersteunen. Ondersteuning
wordt geboden door bedrijven innovaties te laten testen op het gebied van de toepassing
en implementatie van digitalisering. Tevens worden bedrijven geholpen hun opschaling
te financieren. De EDIH fungeert als schakel tussen financiers en het mkb. De EDIH
versterkt het ecosysteem van de regio, hierdoor kan de samenwerking tussen grote en
kleine bedrijven ook sterker worden. Dit netwerk van EDIHs heeft een regionale spreiding
in Nederland en eveneens in Europa. Tot en met 2023 is financiering hiervoor beschikbaar
gesteld vanuit regionale, nationale en Europese middelen. Ook de test- en experimenteerfaciliteiten
(TEFs) zullen bestaan uit een Europees netwerk. Hier kunnen de allernieuwste AI-systemen
worden getest door bedrijven en andere (publieke) organisaties, door te experimenteren
in een levensechte omgeving voordat de AI-systemen in gebruik worden genomen of op
de markt worden gebracht. Via het Europese Digital Europe programma wordt hier eveneens
aan gewerkt.

Daarnaast is het kabinet voornemens een MKB-toets uit te voeren. De MKB-toets voor
EU-voorstellen is identiek aan de toets die voor nationale wetgeving wordt uitgevoerd.
Aan de hand van een panelgesprek zal het voorstel worden getoetst op doelmatigheid,
werkbaarheid, uitvoerbaarheid en regeldrukeffecten voor kleine en middelgrote ondernemers.
Op basis van de uitkomsten hiervan kan samen met ondernemers worden beoordeeld wat
wel of niet werkbaar is voor bedrijven met behoud van het beoogde beschermingsniveau.
De uitkomsten van de MKB-toets kunnen worden gebruikt bij de onderhandelingen over
de conceptverordening.

Consumentenbescherming

Consumentenorganisaties wijzen erop dat de verordening geen specifieke consumentenrechten
bevat, om consumenten te beschermen tegen de risico’s van AI. Als voorbeelden worden
genoemd het ontbreken van een recht op transparantie, een recht op uitleg, een recht
om een algoritmisch besluit aan te vechten of een het recht om een klacht in te dienen
bij een vermoedelijke inbreuk. (72) Hoe kijkt het kabinet hier tegenaan? Biedt de
huidige wetgeving consumenten voldoende bescherming ten aanzien van AI? Kan dit worden
geïllustreerd met voorbeelden?

(72) In de conceptverordening die een horizontale insteek kent worden aanvullende
regels geïntroduceerd met betrekking tot het op de markt brengen/in gebruik nemen
van AI-systemen (en het toezicht daarop), maar geen nieuwe rechten voor burgers en
consumenten. Het kabinet begrijpt dat deze conceptverordening hier ook niet voor bedoeld
is, maar benadrukt het belang dat dit in specifieke (consumenten)regelgeving wel goed
geborgd is. Het kabinet vindt het belangrijk voor burgers en consumenten dat zij hun
recht kunnen halen en dat duidelijk is hoe zij dat kunnen doen. Als zij dat doen op
basis van bestaande (EU en nationale) wetgeving, die productveiligheid en fundamentele
rechten beschermen, moet duidelijk zijn welke rol de aanvullende verplichtingen uit
het voorliggende voorstel daarbij spelen. Het kabinet zal aan de Commissie vragen
om dit te verduidelijken.

De huidige consumentenregelgeving biedt al mogelijkheden om de consument te beschermen
tegen eventuele keerzijde van AI-systemen. Het is bijvoorbeeld niet toegestaan om
consumenten te misleiden of verkeerd te informeren. Hierbij is niet relevant welk
middel een bedrijf inzet. Daarnaast wordt in Europees verband bezien of bestaande
richtlijnen moeten worden aangepast met het oog op nieuwe technologieën, zoals AI-systemen.
Zo introduceert de Richtlijn modernisering consumentenbescherming, die per 22 mei
2022 moet zijn geïmplementeerd, een aantal informatieverplichtingen die (mede) zien
op AI-systemen. Voor online marktplaatsen (platforms) gaat bijvoorbeeld gelden dat
zij algemene informatie (bijvoorbeeld over de belangrijkste standaardparameters) beschikbaar
moeten stellen over hoe de rangschikking van het aanbod wordt bepaald. In het voorstel
voor een DSA wordt voorgesteld om aan (zeer grote) online platforms meer transparantieverplichtingen
op te leggen als het gaat om online advertenties en aanbevelingsalgoritmes.

Verder wordt bezien of de Richtlijn productaansprakelijkheid moeten worden aangepast,
zodat slachtoffers met schade die veroorzaakt is door AI-toepassingen ook voldoende
beschermd worden. Tot slot heeft het kabinet in reactie op de door de Commissie conceptverordening
algemene productveiligheid het belang benadrukt dat de regels van deze Verordening
ook van toepassing moeten zijn op producten met een AI-functionaliteit. In andere
regelgeving, zoals de AVG, zijn er ook regels die zien op automatische besluitvorming.
Voor een nadere toelichting verwijst het kabinet naar de beantwoording van vraag 45.

Het kabinet blijft bij al deze stappen oog houden voor de eventuele keerzijden die
de ontwikkelingen op het gebied van AI met zich mee kunnen brengen en blijft hierover
graag in gesprek met ondernemers en consumentenorganisaties.

Vragen en opmerkingen van de leden van de SP-fractie

De leden van de SP-fractie hebben kennisgenomen van de fiches over kunstmatige intelligentie
en hebben hierover nog enkele vragen en opmerkingen. Kunstmatige intelligentie is
niet inherent slecht of goed en biedt kansen, maar ook hele grote uitdagingen. Dat
betekent dat regulatie noodzakelijk is. (73) De leden van SP-fractie vragen wel waarom
er veel bevoegdheden bij de Europese Commissie worden belegd, waaronder een grote
rol in het toezicht. Deze leden achten dit ondemocratisch en onwenselijk. Kan het
kabinet in gaan op de wenselijkheid van zo’n grote rol van de Europese Commissie?

(73) Het kabinet onderschrijft dat AI-systemen grote kansen bieden, maar ook uitdagingen,
waarvoor regelgeving nodig is om risico’s te voorkomen. De conceptverordening introduceert
spelregels die gelden voor de interne markt voor AI-systemen en het kabinet verwelkomt
Europese wetgeving met bepaalde bevoegdheden voor de Commissie. In de conceptverordening
wordt het toezicht op AI-systemen belegd bij de toezichthoudende instanties in de
lidstaat waarin de aanbieder van het systeem gevestigd is. Deze benadering sluit aan
bij het bestaande systeem ten aanzien van productveiligheidsbeoordelingen, waarbij
een CE-markering wordt toegekend. Het functioneren van de interne markt zou worden
ondermijnd als aanbieders bij elke lidstaat afzonderlijk een goedkeuring zouden moeten
vragen, in plaats van enkel bij de lidstaat van vestiging. Het feit dat een toezichthoudende
instantie in een lidstaat beoordeelt of een product of dienst, in dit geval een AI-systeem,
kan worden toegelaten tot de interne markt maakt het echter wel noodzakelijk dat lidstaten
er onderling op kunnen vertrouwen dat deze beoordeling door toezichthoudende instanties
in andere lidstaten deugdelijk en consistent wordt uitgevoerd. Om dit te borgen is
coördinatie op Europees niveau wenselijk, waarbij de Commissie en toezichthoudende
instanties erop toezien dat de regels in alle lidstaten goed worden toegepast. Nederland
stelt dit onderwerp aan de orde stellen tijdens de raadswerkgroepen. Voorop staat
dat toezicht voldoende onafhankelijk moet kunnen functioneren.

Ten aanzien van de bevoegdheden om onder meer de bijlagen over de definitie en de
lijst hoog-risico AI-systemen aan te passen wordt verwezen naar het antwoord op de
vragen 118, 119 en 120 en het BNC-fiche pagina 13–15. Het kabinet hecht belang aan
een betekenisvolle rol voor de lidstaten en consultatie met belanghebbenden bij het
aanpassen van de bijlagen en onderzoekt welke procedure daar het beste bij aansluit.

De leden van de SP-fractie maken zich onder andere grote zorgen over profilering,
ratingsystemen (publiek én privaat) en grove privacy-schendingen. Een van de grootste
uitdagingen op het gebied van kunstmatige intelligentie is hoe bijvoorbeeld de menselijke
waardigheid beschermd kan blijven. (74) Hoe kijkt het kabinet hiertegen aan? Is het
kabinet bereid een ethische commissie in te stellen die hier bijvoorbeeld advies over
uit kan brengen? Zo nee, waarom niet?

(74) Het kabinet vindt het belangrijk om de menselijke waardigheid te beschermen,
ook bij de inzet van AI-systemen. Die inzet mag er bijvoorbeeld niet toe leiden dat
mensen als datapunten worden gezien. De menselijke waardigheid is vervat in het Handvest
van de Europese Unie (artikel 1) dat zijn uitwerking heeft in Europese wetgeving.
De menselijke waardigheid komt hiermee impliciet aan bod in de verordening. In de
beantwoording op vraag 45 zegt het kabinet dat het huidige recht reeds eisen stelt
aan overheidsbesluitvorming waarbij nieuwe technologie gebruikt wordt, en dat de verordening
dit verder verstevigt door eisen te stellen aan hoog risico AI-systemen. Daarnaast
is de afgelopen jaren de (inter)nationale aandacht voor ethiek rondom de inzet van
AI terecht flink toegenomen. Zo hebben dit voorjaar onderhandelingen plaatsgevonden
over de door UNESCO voorgestelde Ethics of AI Recommendation. Deze aanbeveling wordt
in november 2021 tijdens de General Conference aan de UNESCO-lidstaten aangeboden
met het doel de aanbeveling aan te nemen. Daarnaast voert het kabinet ook actief beleid
op de bescherming van ethiek en de menselijke waardigheden zoals in een aantal brieven
is beschreven.21 Het kabinet meent dat de ethische uitdagingen al voldoende in kaart gebracht zijn
en ziet daarom momenteel geen reden om nog een ethische commissie in te stellen.

Biometrische identificatie

De leden van de SP-fractie lezen dat systemen voor voorspellend politiewerk en gezichtsherkenning
deels aan banden worden gelegd. (75) In hoeverre valt de huidige Nederlandse politiepraktijk
hieronder? (76) Wat is de inzet van het kabinet als het gaat om biometrische herkenningssystemen
op grote schaal? Pleit het kabinet voor een totaalverbod, zowel in de publieke als
de private sector en zo nee, waarom niet? (77) Kan het kabinet ook ingaan op waarom
emotieherkenningsystemen niet onder de regels vallen en wat het standpunt van het
kabinet over deze systemen is? (78) Vindt het kabinet het bijvoorbeeld wenselijk als
bedrijven gebruik kunnen maken van technologieën in huiskamers, waarmee emoties worden
herkend, om zo het aanbod van deze bedrijven beter af te stemmen? Deelt het kabinet
de mening dat dit en soortgelijke systemen per definitie een veel te grote inbreuk
zijn op de privacy bijvoorbeeld? Zo nee, waarom niet?

(75) Het kabinet heeft eerder laten weten dat een structurele inzet van een breed
vertakt, real-time gezichtsherkenningstechnologie, waarbij mensen continu en overal
in kaart worden gebracht, onwenselijk is, niet alleen in Nederland, maar ook in andere
Europese lidstaten.22 In Nederland zou zich dit ook niet verhouden tot het in de Wet politiegegevens neergelegde
kader voor gegevensverwerkingen door de politie en de wettelijke kaders met name weergegeven
in artikel 3 Politiewet en de bijzondere opsporingsmiddelen in het Wetboek van Strafvordering.
De in de conceptverordening voorgestelde aanvullende eisen met betrekking tot hoog-risico
AI-systemen zouden ingevolge artikel 6 lid 2 jo. bijlage III gaan gelden voor meerdere
systemen die door de Nederlandse politie worden ingezet, bijvoorbeeld voor biometrische
systemen bedoeld voor identificatie «achteraf» (en dus niet real-time).

Het in artikel 5 lid 1 sub d voorgestelde verbod op real-time biometrische identificatie
op afstand in openbare ruimte in het kader van de rechtshandhaving zou ertoe leiden
dat de politie hier in beginsel geen gebruik meer van mag maken, tenzij sprake is
van de in het artikel opgenomen uitzonderingssituaties. De conceptverordening bepaalt
verder dat Nederland conform artikel 5 lid 4 in nationaal recht vast kan leggen onder
welke voorwaarden dit gebruik wél wordt toegestaan. In artikel 5 leden 2 en 3 wordt
voorts bepaald dat er door een gerechtelijke- of onafhankelijke administratieve autoriteit
in beginsel vooraf toestemming moet worden gegeven voor het gebruik van genoemde systemen.
De korpsleiding van de politie heeft de Minister van Justitie en Veiligheid laten
weten dat zij geen toestemming heeft gegeven voor de toepassing van biometrische surveillance,
in de zin van realtime gezichtsherkenning, in de publieke ruimte. Dit impliceert dat
de huidige politiepraktijk omtrent biometrische identificatie op afstand in de publieke
ruimte niet wordt geraakt, maar dat eventueel toekomstig gebruik in de wet nader gespecificeerd
moet worden en aan strengere eisen wordt verbonden. Mocht de politie overwegen om
(in overeenstemming met de op dat moment geldende wetgeving) wél real-time gezichtsherkenningstechnologie
in de publieke ruimte te gaan toepassen, dan zal uw Kamer hierover worden geïnformeerd.

(76) Het kabinet is niet voor een totaalverbod, omdat dit een rechtmatig gebruik in
de weg staat. Het pleit veeleer voor strikte voorwaarden en voldoende waarborgen met
betrekking tot de inzet van biometrische identificatiesystemen. Het kabinet verwijst
verder naar de brief aan uw Kamer inzake het bericht in De Volkskrant.

(77) In de conceptverordening zijn de aanvullende regels voor hoog-risico AI-systemen
van toepassing op AI-systemen die zijn bedoeld om de emotionele toestand van een natuurlijk
persoon in kaart te brengen, zij het in het kader van asiel, migratie of grenscontroles,
dan wel in het kader van de rechtshandhaving. Dergelijke AI-systemen in andere context
worden ex artikel 52 van de conceptverordening gebonden aan additionele transparantieregels.
Het kabinet beziet, zoals vermeld in antwoord op vraag 39, of voor dergelijke systemen
(in aanvulling op het bestaande juridisch kader) nog verdere eisen moeten gelden.
Teneinde hier een goed geïnformeerde en breed gedragen positie over in te kunnen nemen
zal het kabinet over dit onderwerp een ronde tafel sessie met betrokken belanghebbenden
uit de wetenschap, het bedrijfsleven, belangenorganisaties en de overheid organiseren.

(78) Bedrijven kunnen ingevolge het bestaande juridisch kader niet zomaar gebruik
maken van dergelijke ingrijpende systemen. Daarvoor zal onder meer een rechtsgrond
in de zin van artikel 6 AVG moeten bestaan. Het geven van toestemming door de betrokkenen
ligt daarbij het meest voor de hand, waarbij aan alle in artikel 7 AVG geformuleerde
vereisten omtrent het geven van toestemming moet worden voldaan. Daarbij vereist de
AVG ook dat toestemming vrijelijk moet worden gegeven en dat de betrokkene voldoende
geïnformeerd is over de gevolgen van zijn keuzes.23 Ook stelt de AVG eisen met betrekking tot proportionaliteit, subsidiariteit en noodzakelijkheid
van de te verwerken gegevens. Het kabinet heeft geen principieel oordeel over de keuzes
die burgers maken om bepaalde technologie – logischerwijs behoudens strafbare of onrechtmatige
systemen – in eigen huis te gebruiken.

Sociale Ratingsystemen

De leden van de SP-fractie hebben grote twijfels bij het gebruik van ratingsystemen.
Hoewel er tegenwoordig voor zo ongeveer elke online-klik om feedback gevraagd wordt,
kan het leiden tot uitsluiting en bijvoorbeeld onterechte ontslagen. Deze leden steunen
daarom van harte een verbod op ratingsystemen. (79) De vraag is echter wel waarom
dit alleen voor de publieke sector geldt. Waarom mag een groot bedrijf als Uber bijvoorbeeld
zowel zijn chauffeurs als zijn klanten laten raten? Ziet het kabinet ook ethische
bezwaren en zo ja, wat gaan zij hierop ondernemen? (80) In hoeverre spelen de argumenten
voor een vrije (Europese) markt in deze discussie een rol volgens het kabinet? Hoe
reflecteert het kabinet hierop?

(79) Zie het antwoord op vraag 38 waarin het kabinet aangeeft zich te beraden op een
standpunt hierover.

(80) Het streven naar een vrije markt houdt volgens het kabinet in algemene zin niet
in dat er geen regels kunnen worden gesteld aan private bedrijven. In de concept-verordening
is dat ook goed te zien. De concept-verordening heeft als doel om ervoor te zorgen
dat AI-systemen die op de Europese markt worden gebracht en gebruikt, veilig en in
overeenstemming zijn met de geldende fundamentele rechten en waarden binnen de EU.
Dat draagt ook bij een veilige interne markt. En daartoe bevat de concept-verordening
regels die ook gelden voor private partijen. Ook in het Nederlands recht zijn voorbeelden
te vinden van zulke regels, denk bijv. aan het arbeidsrecht en het gegevensbeschermingsrecht.

Dodelijke autonome wapens

De leden van de SP-fractie betreuren dat er niet gesproken wordt over dodelijke autonome
wapens. (81) In hoeverre heeft dat volgens het kabinet te maken met de instelling
van een Europees defensiefonds, waarbij er geïnvesteerd wordt in het ontwikkelen van
autonome wapens? (82) Deze leden vragen naar wat het kabinet verstaat onder betekenisvolle
menselijke controle als maatstaf voor dit soort wapens. Is het kabinet alsnog bereid
om te pleiten voor een volledig verbod op zogenaamde LAWS (Lethal Autonomous Weapons
Systems)? Zo nee, waarom niet?

(81) Er wordt niet gesproken over dodelijke autonome wapens omdat in dit voorstel
AI-systemen die uitsluitend voor militaire doeleinden worden ontwikkeld of gebruikt
uitgesloten zijn van de verordening wanneer dat gebruik onder de exclusieve bevoegdheid
valt van het gemeenschappelijk buitenlands en veiligheidsbeleid, zoals geregeld in
titel V van het Verdrag betreffende de Europese Unie (VEU). Het kabinet volgt de redenering
van de Commissie in dezen. Dit heeft dan ook geen verband met de instelling van een
Europees defensiefonds.

(82) Het kabinet verstaat onder betekenisvolle menselijke controle dat de mens een
cruciale rol speelt tijdens de besluitvorming voordat het wapen wordt ingezet. Het
internationale recht dat het gebruik van geweld reguleert, is ook van toepassing op
autonome wapens. In 2015 heeft de Adviesraad Internationale Vraagstukken (AIV) een
rapport geschreven over Autonome wapensystemen en de noodzaak van betekenisvolle menselijke
controle. De regering is in afwachting van het geactualiseerde rapport van de AIV
over dit onderwerp dat dit najaar zal verschijnen.

Het kabinet is tegen het gebruik en de ontwikkeling van volledige autonome wapensystemen.
Het is de verantwoordelijkheid van de staat om bij de inzet van alle soorten wapensystemen
te voldoen aan internationaal recht. Bij volledig autonome wapensystemen kan hieraan
niet worden voldaan. Namens Nederland zet Defensie zich, samen met Buitenlandse Zaken,
in op eerbiediging en handhaving van deze bestaande internationale regels. Ook op
dit punt hoopt het kabinet spoedig op advies van de AIV.

Handhaving

Het is voor de leden van de SP-fractie geen verrassing dat aanbieders van hoog-risico
soft- en hardware zelf verantwoordelijk worden gemaakt voor kwaliteitstoetsing. De
zelfregulatiezucht is echter bij systemen die zo ontzettend veel risico’s met zich
meebrengen volgens deze leden volstrekt onvoldoende. (83) Hoe ziet het kabinet dit?

(83) Zoals in antwoorden op de vragen 10 tot en met 13 geschreven wordt een nieuw
conformiteitssysteem gecreëerd voor autonome hoog risico AI-systemen die niet onder
productveiligheidswetgeving of de wetgeving uit bijlage II, deel A vallen. De conformiteitsbeoordeling
doet niet af aan het feit dat er ook achteraf toezicht wordt gehouden op de naleving
van deze regels. Voor deze AI-systemen moeten de aanbieders een conformiteitsbeoordeling
(laten) uitvoeren en vervolgens het AI-systeem aanmelden in een door de Commissie
beheerde databank. Het kabinet is van mening dat deze systematiek tot goede resultaten
kan leiden in het naleven van de vereisten zoals geformuleerd voor hoog AI-systemen
en buigt zich over de vraag of er voldoende waarborgen in de conceptverordening staan
om op te treden tegen onvoldoende conformiteitsbeoordelingen.

De overheid heeft een belangrijke taak om te voorkomen dat bij het invoeren van kunstmatige
intelligentie de menselijke waardigheid niet geborgd is en er bijvoorbeeld op basis
van onjuiste data ingrijpende beslissingen worden genomen. (84) Acht het kabinet zich
voldoende in staat deze essentiële taak uit te voeren en te handhaven? (85) Hoe staat
het inmiddels met de uitvoering van de motie van het lid Marijnissen c.s. (Kamerstuk
35 510, nr. 21)?

(84) Het kabinet acht zich in voldoende staat om deze essentiële taak uit te voeren.
Graag verwijst het kabinet naar de antwoorden op vraag 24 en 45 waar ingegaan wordt
op juridische kaders en op vragen 10–13 en 100 over conformiteitseisen in relatie
tot transparantie.

(85) De Staatssecretaris van BZK heeft uw Kamer toegezegd24 voor de begrotingsbehandeling van BZK, een eerste rapportage over de voortgang te
sturen. Deze ontvangt u nog voor het herfstreces. Conform de Kamerbrief van de Staatssecretaris
van BZK met het voorstel25 hebben alle departementen voorbereidingen getroffen om uitvoering te geven aan de
motie. Er zijn departementale projectleiders beschikbaar, er zijn plannen van aanpak
opgesteld en in de meeste gevallen zijn departementen begonnen met de uitvoering van
de werkzaamheden. Het Ministerie van Sociale Zaken en Werkgelegenheid heeft zijn werkzaamheden
al eerder afgerond en uw Kamer hierover geïnformeerd26. Het Ministerie van Algemene Zaken verwacht in de eerste helft van 2022 een eindrapportage
te kunnen opleveren. Op dit moment is een inventarisatie naar het bestaan en gebruik
van afkomst gerelateerde indicatoren binnen dat departement bijna klaar. Het Ministerie
van Financiën voert nu het traject «Herstellen, Verbeteren, Borgen» uit en informeert
uw Kamer hier regelmatig over.

Vragen en opmerkingen van de leden van de GroenLinks-fractie

De leden van de GroenLinks-fractie zijn blij met het verschijnen van de verordening
betreffende kunstmatige intelligentie, die deze leden zien als een belangrijke stap
richting effectieve regulering van het snel toenemende aantal toepassingen dat hier
gebruik van maakt. Zij hebben echter nog vragen over de details.

De leden van de GroenLinks-fractie vinden de verbodsbepaling, onder artikel 5, onduidelijk
geformuleerd. (86) Wat wordt bedoeld met subliminale technieken en het wezenlijk verstoren
van gedrag en waarom zijn deze enkel verboden wanneer dit waarschijnlijk zal leiden
tot directe fysieke of psychologische schade aan individuele personen? (87) Ligt de
bewijslast om dit aan te tonen exclusief bij de betroffen individuen? (88) Erkent
het kabinet dat manipulatie via AI-systemen ook ernstige maatschappelijke gevolgen
kan hebben, ook wanneer directe fysieke of psychologische schade aan individuen niet
aantoonbaar is? Is het kabinet bereid om zich in te zetten voor een verduidelijking
en verbreding van de verbodsbepaling op dit punt? (89) Is het kabinet van mening dat
aanbevelingsalgoritmen die nepnieuws en schokkende of extreme content promoten om
individuele personen langer op het platform te houden ten einde meer advertenties
te laten zien ook een vorm van subliminale techniek is gericht op het wezenlijk verstoren
van het gedrag van personen?

(86) Het kabinet verwijst u door naar het antwoord op vraag 32.

(87) Het kabinet verwijst u door naar het antwoord op de vragen 34 en 35.

(88) Het kabinet verwijst u door naar het antwoord op de vragen 34 en 35.

(89) De conceptverordening is alleen van toepassing waar het gaat om subliminale technieken
als deze leiden tot schade voor de fysieke of geestelijke gezondheid van deze of een
andere persoon. De doelstelling iemand langer op een platform te houden ten einde
meer advertenties te laten zien, valt in de lezing van het kabinet onder de conceptverordening
als dit leidt tot dergelijke schade. Er moet daarbij opgemerkt worden dat deze conceptverordening
niet op zichzelf staat maar samenhangt met andere Europese (wetgevende)trajecten.
Zo wil de Commissie met het wetsvoorstel voor de Digital Services Act (DSA) onder
andere bijdragen aan het mitigeren van systemische risico’s die de allergrootste online
platformen met zich meebrengen. Om deze systemische risico’s tegen te gaan wordt onder
andere gekeken naar transparantie over de werking van aanbevelingssystemen op de allergrootste
online platformen. Dit betekent dat er meer transparantie en daarmee inzicht komt
over de werking en het effect van deze algoritmen. Dit is wat het kabinet betreft
een positieve ontwikkeling.

De leden van de GroenLinks-fractie vragen met betrekking tot het verbod op AI-systemen
gericht op sociale scores voor een classificatie van de betrouwbaarheid van natuurlijke
personen, waarom dit alleen zou gaan gelden voor overheidsinstanties, en niet voor
private bedrijven. (90) Is het gebruik van AI-gedreven sociale score systemen door
private bedrijven in potentie niet net zo schadelijk? Wat is de kabinetsinzet op dit
vlak?

(90) Aanvullend op de AVG bevat de verordening een verbod op AI-systemen die gebruik
maken van subliminale technieken. Het kabinet erkent de risico’s van de inzet van
subliminale technieken en hecht waarde aan een helder verwoord verbod en neemt dit
mee in de onderhandelingen over de conceptverordening. In de beantwoording van de
vragen 32–35, 38 en 86–89 gaat het Kabinet hier verder op in.

De leden van de GroenLinks-fractie vragen waarom het verbod op biometrische surveillance
in de openbare ruimte zich beperkt tot real-time identificatie. (91) Wat is de definitie
van real-time? Zou het gebruik van gezichtsherkenningstechnologie op live beelden,
maar met 10 seconden vertraging, dan niet onder dit verbod vallen? Hoe wenselijk is
dat? (92) Daarnaast vragen deze leden waarom het verbod op biometrische surveillance
in de openbare ruimte gelimiteerd is tot surveillance «met het oog op de rechtshandhaving».
(93) Is surveillance in de openbare ruimte met een ander doel of door private partijen
ook niet net zo schadelijk?

(91) Zie antwoord op vragen 43 en 62.

(92) en (93) Zie hierover ook de kabinetsreactie op het bericht in de Volkskrant.
De AVG biedt weinig ruimte voor de inzet van gezichtsherkenning in horizontale relaties,
dus tussen private partijen onderling. De eisen voor de verwerking van biometrische
gegevens zijn in de AVG reeds streng, in hoofdzaak omdat dit zogeheten «bijzondere
persoonsgegevens» zijn die vallen onder het verwerkingsverbod in artikel 9 AVG. Op
dit verwerkingsverbod zijn slechts beperkte uitzonderingen mogelijk. Daarbij geldt
dat ook in gevallen waarin wel sprake is van een uitzondering er nog steeds een DPIA
moet worden uitgevoerd. Het kabinet heeft daarbij aangegeven artikel 29 van de UAVG
– dat een beperkte grondslag biedt voor de verwerking van biometrische gegevens –
verder aan te willen scherpen door een dubbele noodzakelijkheidstoets in de wet te
verankeren. Het kabinet ziet geen aanleiding om bovengenoemde uitgangspunten te verruimen
en begrijpt de keuze van de Commissie om het verbod in artikel 5 lid 1 sub d op deze
wijze vorm te geven.

De leden van de GroenLinks-fractie maken zich ook zorgen over de uitzonderingsruimte
van het verbod die wordt geboden in Artikel 5 (d). Met deze ruime formulering, zeker
onder lid (iii), vrezen deze leden dat er alsnog veelvuldig gebruik kan worden gemaakt
van biometrische surveillance in de openbare ruimte. (94) Deelt het kabinet deze zorg?
(95) Wat vindt het kabinet verder van de gezamenlijke oproep van de Europese privacy-toezichthouders,
waaronder de Autoriteit Persoonsgegevens, om gezichtsherkenning, stemherkenning en
bewegingsherkenning in de openbare ruimte volledig te verbieden? Is het kabinet bereid
om zich hiervoor in te zetten in Europees verband? (96) Kan het kabinet in deze context
ook een appreciatie geven van de aangehouden motie van het lid Van der Lee c.s. (Kamerstuk
21 501-20, nr. 1706)?

(94) Het kabinet benadrukt dat de verwerking van biometrische gegevens in beginsel
is verboden. In bijgevoegde kabinetsreactie op het bericht in de Volkskrant wordt
nader ingegaan op het juridisch kader daaromtrent. De conceptverordening schrijft
op dit punt aanvullende eisen voor. Het feit dat een bepaalde situatie niet verboden
is onder deze verordening betekent dus niet dat het gebruik in die situatie wordt
toegestaan: daarvoor zal aan alle relevante voorwaarden uit onder andere de AVG moeten
worden voldaan.

(95, 96) Het kabinet verwijst hiervoor naar zijn brief aan uw Kamer inzake het bericht
in De Volkskrant.

De Europese toezichthouders pleiten daarnaast voor een verbod op AI-systemen die mensen
indelen in groepen op basis van etniciteit, geslacht, seksualiteit of politieke voorkeur,
omdat dit discriminatie in de hand werkt. (97) De leden van de GroenLinks-fractie
vragen of het kabinet dit pleidooi ondersteunt en zich hier in Europees verband voor
in wil zetten. Tenslotte pleiten de Europese toezichthouders ook voor een verbod op
alle vormen van kunstmatige intelligentie voor het herkennen van emoties. (98) Deze
leden vragen of het kabinet dit pleidooi ondersteunt en bereid is om zich in te zetten
om dit op te nemen in de verbodsbepaling van deze verordening.

(97) Het kabinet is geen voorstander van zo’n verbod. Het kabinet steunt uiteraard
de wens om discriminatie te allen tijde te voorkomen, maar meent dat daarvoor meer
geëigende middelen zijn dan een verbod zoals hier bedoeld. Zo moeten hoog risico AI-systemen
in sectoren als onderwijs, werkgelegenheid of overheidsdienstverlening aan alle eisen
voldoen die erop gericht zijn discriminatie te voorkomen, voordat de inzet ervan kan
worden overwogen.

(98) Het kabinet verwijst ook hiervoor naar zijn brief aan uw Kamer d.d. inzake het
bericht in De Volkskrant.

De leden van de GroenLinks-fractie begrijpen de logica achter de risicogerichte benadering.
Deze leden hebben wel twijfels bij de uitvoering van deze benadering, die is gericht
op sectoren en niet op toepassingen. (99) Wat is het risico dat hoog-risico toepassingen
in sectoren die niet als hoog-risico zijn geclassificeerd, nu zonder noemenswaardige
regelgeving kunnen worden toegepast, met mogelijk ernstige gevolgen van dien?

(99) De Commissie lijkt een benadering voor te stellen waarin niet de systemen of
sectoren bepalend zijn voor het risico, maar het (toepassings)gebied, zie ook het
antwoord op vragen 1 en 2. Daardoor geldt voor AI-systemen die in bepaalde gebieden
worden toegepast, zoals rechtshandhaving of werving en selectie, aan strenge eisen
moeten voldoen voordat ze op de markt worden gebracht of in gebruik worden gesteld
(volgens de terminologie van de conceptverordening).

De leden van de GroenLinks-fractie vragen ook een reflectie op de nadruk die wordt
gelegd in de verordening op de providers, of ontwikkelaars, van AI-systemen. (100) Erkent
het kabinet dat het verkeerd gebruik van een goed ontworpen AI-systeem ook kan leiden
tot de schending van mensenrechten? Zou de conformiteitsbeoordeling dan niet ook moeten
worden vereist voor gebruikers van hoog-risico AI-systemen? Ook is het opmerkelijk
dat personen die aan AI-systemen worden onderworpen amper voorkomen in de verordening.
(101) Is het kabinet bereid zich in te zetten voor duidelijke rechten voor eenieder
die wordt onderworpen aan AI-gedreven systemen, zoals het recht op transparantie,
het recht op uitleg over algoritmische besluiten en het recht om dergelijke besluiten
aan te vechten?

(100) Het is uiteraard belangrijk dat juist AI-systemen met een hoog risico nauwgezet
worden gecontroleerd op mogelijke schendingen van mensenrechten. Leveranciers (aanbieders)
moeten een conformiteitsbeoordeling (laten) verrichten voordat een dergelijk AI-systeem
op de markt wordt gebracht of in gebruik wordt genomen. Hiermee kunnen ze laten zien
dat het AI-systeem voldoet aan de vereisten voor betrouwbare AI. De aanbieder moet
mede met het oog op het risico’s voor de grondrechten, de gebruiker informeren over
eventuele bekende of te voorziene omstandigheden die tot misbruik kunnen leiden (zie
artikel 13, derde lid). Verder legt artikel 29 verplichtingen op aan gebruikers, waaronder
het gebruiken van het AI-systeem in overeenstemming met de gebruiksaanwijzingen. Tot
slot ziet artikel 10 uit de conceptverordening op de eis van menselijk toezicht op
hoog risico-AI-systemen en ook op situaties van redelijkerwijs te voorzien misbruik.

Het kabinet meent dat de concept-verordening een belangrijke bijdrage kan leveren
aan het voorkomen van mensenrechtenschendingen. Maar dat neemt natuurlijk niet weg
dat zulke schendingen onverhoopt toch kunnen voorkomen. In dit verband is het goed
om te wijzen op het aanvullende karakter van de verordening. Deze treedt dus niet
in de plaats van al bestaande remedies voor mensenrechtenschendingen. Ook al bestaande
eisen en verplichtingen voor gebruikers blijven gelden. Denk hier bijvoorbeeld aan
het uitvoeren van een DPIA (art. 35 AVG). De Commissie heeft bevestigd dat ook de
overheid leverancier kan zijn, bijvoorbeeld wanneer een overheidsorganisatie zelf
een hoog risico AI-systeem ontwikkelt, voor eigen gebruik. In dat geval is de overheid
dus tegelijkertijd leverancier en gebruiker en zal zij dus de conformiteitstoets moeten
(laten) verrichten.

(101) Het kabinet verwijst voor het antwoord van deze vraag naar het antwoord op vraag
45 en (specifiek m.b.t consumentenbescherming) het antwoord op vraag 72.

De leden van de GroenLinks-fractie vragen het kabinet ook in te gaan op de centrale
rol van zelfbeoordelingen in deze verordening. (102) Op welke manier is er sprake
van onafhankelijke externe toetsing op de kwaliteit van zelfbeoordelingen en op het
daadwerkelijk naleven van de uitgangspunten van de verordening?

(102) Artikel 43 van de conceptverordening bepaalt wanneerconformiteitsbeoordelingen
op basis van interne controle plaats kan vinden, dan wel op basis van toetsing door
een derde instantie. Het kabinet bestudeert momenteel de systematiek rond de conformiteitsbeoordeling
en met name de kwaliteitswaarborgen, zie ook het antwoord op vraag 83. Het is van
belang dat de conceptverordening zoveel mogelijk aansluit bij goede voorbeelden en
bestaande systematiek rond de naleving van producteisen, waarin zowel interne als onafhankelijke externe controles een rol hebben.

De leden van de GroenLinks-fractie ondersteunen de inzet van deze verordening op verhoogde
transparantie bij het gebruik van AI-systemen. Deze leden merken echter op dat de
interpretatie van transparantie zich lijkt te beperken tot het informeren over het
feit dat er gebruik wordt gemaakt van AI-systemen. (103) Is dat niet een veel te beperkte
benadering, zo vragen deze leden? Is het kabinet bereid om zich ervoor in te zetten
dat de verordening ook transparantie afdwingt over de wijze waarop AI-systemen werken
en hoe deze tot hun uitkomsten en besluiten komen, met name richting personen die
aan AI-systemen worden onderworpen?

(103) Het kabinet verwijst voor het antwoord van deze vraag naar het antwoord op vraag
45.

De leden van de GroenLinks-fractie hebben ook vragen bij het standaardisatieproces.
(104) Wat is de positie van het kabinet over het feit dat het opstellen van deze normen
of standaarden wordt gedelegeerd aan private instellingen zoals CEN (Europese Commissie
voor Standaardisatie) en CENELEC (Europese Commissie voor Elektrotechnische Standaardisatie)?
(105) Erkent het kabinet dat de details van deze standaarden gevolgen hebben voor
fundamentele rechten, en deelt het kabinet de mening dat experts op het gebied van
fundamentele rechten en AI en ethiek ook bij dit standaardisatieproces betrokken moeten
worden? Zo ja, op welke wijze wordt dit geborgd? Zo nee, waarom niet?

(104) Rondom het standaardisatie proces en het opstellen van deze normen of standaarden
volgt het kabinet wat in de Europese Verordening Nr. 1025/2012 betreffende Europese
normalisatie staat. Hierin staat eveneens ook de werking van de CEN, CENELEC en Europees
Telecommunicatie en Standaardisatie Instituut (ETSI). Deze organisaties zijn te beschouwen
als «semi private instellingen» omdat zij met deze Europese verordening in een publieke
structuur zijn ingebed27. Zij zijn verplicht om jaarlijks hun werkprogramma te publiceren. Belanghebbenden
van zowel de publieke als private sector kunnen deelnemen aan standaardisatieprocessen.28 Voor Nederland is het Nederlands Normalisatie Instituut lid van CEN en CENELEC. Een
conceptnorm wordt opgesteld door een CEN, CENELEC, of ETSI technisch comité en wordt
door de nationale normalisatie-instituten gecirculeerd voor publieke consultatie en
nationale afstemming

Het kabinet neemt nationaal en Europees een actieve positie in bij de ontwikkeling
van standaarden voor het ontwikkelen en gebruiken van algoritmen. Naast de reguliere
deelname aan Europese standaardisatiegremia wordt er ook deelgenomen aan diverse AI-comités
binnen de Europese Standaardisatie Organisaties CEN, CENELEC en ETSI.

De Commissie is nu in gesprek met de ESOs over de voorbereidingen voor standaardisatie
gerelateerd aan de conceptverordening. Agentschap Telecom neemt deel aan die voorbereidingen
en ook aan de volgende comités in de NEN, CEN, CENELEC en ETSI:

• NEN Normcommissie Artificial Intelligence en Big Data die verwant is aan CEN-CENELEC
Joint Technical Committee 21 «Artificial Intelligence».

• ETSI OCG AI die AI in ETSI coördineert.

• ETSI ISG Securing Artificial Intelligence (ISG SAI).

Het kabinet erkent dat deze standaarden gevolgen hebben voor fundamentele rechten.
Het kabinet hecht waarde aan het consulteren van relevante belanghebbenden om hier
beter zich op te krijgen en betrokkenheid van experts op het gebied van fundamentele
rechten te borgen. Ook buigt het kabinet zich nog over de samenhang tussen internationale
normen zoals worden vastgesteld door gremia zoals het ISO en IEEE en Europese en nationale
normen.

Tenslotte vragen de leden van de GroenLinks-fractie naar de klimaateffecten van het
toenemend gebruik van kunstmatige intelligentie. (106) Zou klimaatimpact niet moeten
worden meegewogen in de classificatie en regulering van AI-systemen?

(106) Het kabinet kan zich vinden in aanpak van de Commissie om AI-systemen aan verplichtingen
te onderwerpen op basis van het risico op schade aan gezondheid en veiligheid en op
schendingen van mensenrechten. Hieruit kan worden geconcludeerd dat ook schade aan
gezondheid en mensenrechten als gevolg van klimaatverandering kan worden meegenomen,
bijv. bij de aanvulling van de lijst met hoog-risico systemen. Het kabinet is zich
ervan bewust dat er tegelijk wordt gewerkt aan hernieuwde voorstellen om producten
aan nieuwe vereisten te onderwerpen in relatie tot klimaatimpact. Het kabinet en hecht
waarde aan consistentie en complementariteit van Europese productregulering en blijft
hierover in contact met de Commissie en experts.

Vragen en opmerkingen van de leden van de Volt-fractie

De leden van de Volt-fractie hebben de BNC-fiches over de concept Verordening betreffende
Kunstmatige Intelligentie («AI-verordening») en de Mededeling Bevorderen Europese
aanpak inzake Kunstmatige Intelligentie met grote belangstelling gelezen. Deze leden
onderschrijven het belang van innovatie en technologische ontwikkelingen, waarbij
publieke waarden, zoals het beschermen van grondrechten en de basisbeginselen van
de Europese Unie, centraal staan. In dat kader is regulering van de toepassing van
kunstmatige intelligentie essentieel. Deze leden zijn benieuwd naar de overwegingen
die het demissionaire kabinet heeft meegenomen in aanloop naar haar positiebepaling
ten aanzien van de concept AI-verordening. (107) Hoe is het demissionaire kabinet
tot haar positie ten aanzien van de verordening gekomen? Wie heeft het demissionaire
kabinet hiervoor geraadpleegd? Welke afwegingen zijn gemaakt en in hoeverre is het
standpunt van het demissionaire kabinet, te lezen in de fiches, definitief? Hoe voorziet
het demissionaire kabinet eventuele tussentijdse bijstelling van de positie tijdens
het onderhandelingsproces, in de raadswerkgroep- en Coreper-fase, wordt de Kamer hierin
meegenomen?

(107) Het overleg tussen het kabinet en de Tweede Kamer is van groot belang voor de
positiebepaling en tussentijdse bijstelling van standpunten zoals worden ingenomen
tijdens de onderhandelingen over deze conceptverordening. Het kabinet ontwikkelt standpunten
door onder meer te bestuderen hoe de conceptverordening zich verhoudt met bestaande
regelgeving, wat de gevolgen zijn van nieuwe vereisten aan AI-systemen binnen de rijksoverheid,
uitvoeringdiensten en decentrale overheden. Daarnaast consulteert het kabinet belanghebbenden
zoals het bedrijfsleven, maatschappelijke organisaties, wetenschappers, kennisinstellingen
en toezichthouders.

Sinds de publicatie van het Witboek AI29 en daarna de voorstellen voor een verordening en mededeling zijn stakeholderbijeenkomsten
georganiseerd en er vinden voortdurende bilaterale gesprekken plaats. De interne afstemming
binnen het kabinet en consultatie met andere belanghebbenden krijgt gedurende de hele
onderhandelingsperiode aandacht. De uitkomsten van deze processen worden ten minste
voorafgaand aan de bijeenkomsten van de Telecomraad waar de Europese Ministers over
de conceptverordening besluiten aan uw Kamer voorgelegd. In aanvulling daarop kunt
u om technische briefings of aanvullende informatie verzoeken.

Innovatie is een middel om publieke waarden te laten floreren. De leden van de Volt-fractie
zien het dan ook als een voorwaarde dat bij de inzet van AI-systemen altijd de vraag
wordt gesteld welke maatschappelijke impact dit heeft. (108) Deze leden vragen het
demissionaire kabinet dan ook allereerst hoe zij bescherming van publieke waarden
bij de wetsonderhandelingen van de AI-verordening zal betrekken.

(108) Het kabinet heeft in eerdere beleidsbrieven aan de Kamer aangegeven dat het
benutten van maatschappelijke en economische kansen van AI samen moet gaan met het
borgen van mensenrechten en publieke belangen (zie ook het antwoord op vraag 45).
Nederland zet in op AI-systemen die de mens dienen, veilig zijn en vertrouwd kunnen
worden, die publieke waarden borgen en waarbij een goede rechtsbescherming verzekerd
is.

Nederland zal het belang van publieke waarden en mensenrechten centraal blijven zetten
en zal benadrukken dat zoveel mogelijk moet worden aangesloten bij bestaande (EU-)wettelijke
kaders die mensenrechten en publieke waarden borgen.

Zoals het demissionaire kabinet terecht opmerkt bevat de concept AI-verordening een
aantal vage definities. Zo bestaat onduidelijkheid over de definitie van AI (artikel 3,
sub 1). (109) Hoe definieert het demissionaire kabinet AI? (110) Welke definitie wenst
het demissionaire kabinet in de verordening terug te zien, zodat de definitie recht
doet aan de wetenschappelijke en dagelijkse praktijk, en tegelijkertijd uitputtend
is? Welke afwegingen heeft het demissionaire kabinet meegenomen in de vaststelling
van de definitie en in hoeverre is de positie van het kabinet beklonken?

(109, 110) Voor de positie van het kabinet over de definitie van AI-systeem in samenhang
met risicocategorieën wordt u verwezen naar de antwoorden op vragen 1 tot en met 6.

Daarnaast bestaat onduidelijkheid over aanbieders (artikel 3, sub 2) en gebruikers
(artikel 3, sub 4) en de wijze van kwalificatie van actoren. (111) Welke definities
zouden volgens het demissionaire kabinet in de concept-verordening moeten worden opgenomen
en welke overwegingen liggen daaraan ten grondslag? (112) Waar zou volgens het demissionaire
kabinet de grens tussen provider en gebruiker moeten liggen en is zij voornemens deze
visie te delen in aanstaande wetsonderhandelingen?

(111, 112) Voor het kabinet is inmiddels duidelijk dat openbare en particuliere marktdeelnemers
zowel aanbieders als gebruikers van AI-systemen kunnen zijn, waardoor een gelijk speelveld
in de EU voor AI-systemen wordt bevorderd. Het kabinet onderzoekt momenteel hoe deze
definities doorwerken bij ministeries, uitvoeringsinstellingen, decentrale overheden
en andere belanghebbenden, zoals bedrijven en in het bijzonder het mkb, en houdt ook
het maatschappelijke debat over de AI-verordening in de gaten. Momenteel zijn er door
het kabinet nog geen aanpassingen voor de definities opgesteld, maar zodra deze gereed
zijn is het kabinet voornemens deze in te brengen ten behoeve van de wetsonderhandelingen
in Brussel.

(113) Hoe gaat het demissionaire kabinet ervoor zorgen dat duidelijkheid ontstaat
over de definities en actoren, zodat coherentie met bestaande regelgeving wordt geborgd
(zowel huidige als in ontwerp zijnde Nederlandse en EU wet- en regelgeving)? Wat zal
daarbij de inzet zijn van het demissionaire kabinet? Waarin ziet zij ruimte voor verbetering
ten aanzien van coherentie met bestaande regelgeving? De leden van de Volt-fractie
stellen dat de concept AI-verordening onduidelijk is over welke AI-systemen als hoog-risico
moeten worden gezien (artikel 5). (114) Deelt het demissionaire kabinet deze mening?
(115) Deelt het demissionaire kabinet de mening dat de concept AI-verordening een
beperkte definitie van hoog-risico AI definieert? Zo ja, wat zou er volgens het demissionaire
kabinet onder hoog-risico moeten vallen? Zo nee, waarom niet? (116) Hoe beoordeelt
het demissionaire kabinet de restrictieve definitie van hoog-risico AI en de daardoor
beperkte reikwijdte van de verordening? (117) Acht het demissionaire kabinet het beschermingsniveau
voldoende? Zo ja, waarom? Zo nee, hoe zou de reikwijdte er volgens het demissionaire
kabinet dan uit moeten zien en hoe gaat het demissionaire kabinet dit in Europa bewerkstelligen?

(113–117) Het kabinet vraagt tijdens bijeenkomsten met de Commissie om verduidelijking
en ontwikkelt standpunten over verbeteringen aan definities en actoren in de conceptverordening.
Daarbij is expliciete aandacht voor de coherentie met bestaande regelgeving. Hiervoor
wordt in verschillende sectoren, en in het bijzonder de gebieden waar AI-systemen
als hoog-risico worden gezien, gekeken naar consistentie terminologie. Zie de antwoorden
op vragen 1–6 over definities en risicocategorieën, waarin is aangegeven dat het kabinet
zich in algemene zin kan vinden in de voorgestelde reikwijdte en risicocategorieën
en momenteel werkt aan het formuleren van verdere standpunten en aanscherpingen op
basis van de inzichten uit de workshops en raadswerkgroepen en consultaties met belanghebbenden.

(118) Hoeveel bewegingsvrijheid zou de Europese Commissie moeten hebben om de lijst
met hoog-risico AI-systemen in de toekomst aan te vullen (artikel 7)? Welke kaders
ziet het demissionaire kabinet voor deze bewegingsvrijheid? (119) In hoeverre zal
het demissionaire kabinet ervoor zorgen dat de lidstaten voldoende mogelijkheden behouden
om de samenstelling van de lijst te kunnen controleren? (120) Wat wordt de inzet van
het demissionaire kabinet in de wetsonderhandelingen en hoe, en in samenwerking met
wie, is deze onderhandelingsinzet tot stand gekomen?

(118, 119, 120) In artikel 7 staan de voorgestelde voorwaarden en systematiek beschreven
voor aanpassingen aan bijlage III. De Commissie stelt voor dit per gedelegeerde handeling
vast te stellen, wat een beperkte rol voor lidstaten en het EP behelst. Het kabinet
is van mening dat het van belang is om lidstaten en andere belanghebbenden een betekenisvolle
rol te geven bij het aanpassen van de bijlagen van de conceptverordening en beraad
zich op de manier waarop dit is verwoord in de conceptverordening, in consultatie
met verschillende stakeholders.

(121) Wil het demissionaire kabinet het gebruiken van biometrische identificatie door
politie en justitie in een beperkt aantal uitzonderingsgevallen toestaan? Zo ja, welke
uitzonderingsgevallen betreft dit? (122) Is het demissionaire kabinet bekend met de
open brief van Access Now, Amnesty International, European Digital Rights (EDRi),
Human Rights Watch, Internet Freedom Foundation (IFF), en Instituto Brasileiro de
Defesa do Consumidor (IDEC)30? Onderschrijft het demissionaire kabinet de zorgen over de potentiële risico’s van
de uitzonderingen voorgesteld in de AI-verordening, waarbij het gebruik van biometrische
identificatie door politie en justitie wel is toegestaan? Zo ja, hoe gaat het demissionaire
kabinet ervoor zorgen dat deze risico’s worden gemitigeerd? Zo nee, waarom niet? (123) Is
het demissionaire kabinet van mening dat het gebruik van biometrische gegevens voor
identificatie door private bedrijven geheel verboden moet worden? Zo ja, wat is daarvoor
de onderbouwing? Zo nee, hoe is dit standpunt tot stand gekomen en wie waren er betrokken
bij dit besluitvormingsproces? Welke afwegingen liggen daaraan ten grondslag en hoe
heeft het demissionaire kabinet die afwegingen gemaakt?

(121, 122) Het kabinet benadrukt dat de conceptverordening op geen enkele wijze het
gebruik van biometrische identificatie «toestaat»; het niet expliciet verbieden van
een bepaalde praktijk betekent niet dat er a contrario een grondslag voor bestaat.
Biometrische identificatie is in de door de wet omschreven gevallen toegestaan, bijvoorbeeld
wanneer in een strafrechtelijk traject de identiteit van de verdachte of veroordeelde
wordt vastgesteld en geverifieerd. Identificatie en verificatie kan plaatsvinden met
of zonder biometrische gegevens. Een verdachte is verplicht hieraan mee te werken.31

Het kabinet is bekend met de genoemde open brief. De brief roept op tot een verbod
op het gebruik van biometrisch herkenningstechnologie waarmee discriminerende massasurveillance
mogelijk is. Het verwijst hiervoor naar de Kamerbrief over gezichtsherkenning, waarin
de Minister van Justitie en Veiligheid de Tweede Kamer heeft laten weten dat een structurele
inzet van een breed vertakt, real-time gezichtsherkenningstechnologie, waarbij mensen
continu en overal in kaart worden gebracht, niet past bij de samenleving die hij voor
staat.32

De Wet politiegegevens (Wpg) en de Wet justitiële en strafvorderlijke gegevens (Wsjg)
geven waarborgen die de verwerkingsverantwoordelijke na moet leven, waaronder bijvoorbeeld
de verplichting een Data Protection Impact Assessment (DPIA) uit te voeren. Dat is
het geval als een gegevensverwerking waarschijnlijk een hoog privacy risico oplevert
voor de mensen van wie de organisatie gegevens verwerkt. Hierbij komt dat de conceptverordening
additionele eisen stelt aan hoog-risico AI-systemen, die er onder meer op toezien
om – in aanvulling op de daarvoor reeds geldende maatregelen onder de AVG, Wpg en
Wsjg – maatregelen te nemen om onrechtmatige inbreuken op grondrechten, waaronder
discriminatie, te voorkomen. Dergelijke systemen moeten tevens voordat zij in gebruik
worden genomen een conformiteitsbeoordeling doorstaan. Ingevolge artikel 6 lid 2 jo.
Annex III van de conceptverordening zullen ook biometrische identificatiesystemen
aan deze aanvullende regels worden onderworpen. Dit vindt het kabinet een begrijpelijke
keuze.

(123) Zie antwoord op vragen 92 en 93.

De Europese privacy waakhonden EDPS en EDPB roepen op tot een algeheel verbod op sociale
scores, aangezien dit in strijd is met de fundamentele waarden van de EU en tot discriminatie
kan leiden. (124) Deelt het demissionaire kabinet de mening dat het gebruik van sociale
scoresystemen niet past binnen een vrije en open samenleving? (125) Deelt het demissionaire
kabinet de mening dat social scores niet alleen verboden zou moeten worden voor overheidsinstanties,
maar ook voor private partijen (zoals bijvoorbeeld verzekeraars)? Zo ja, met welke
inzet zal het demissionaire kabinet dit in de EU bewerkstelligen? Zo nee, waarom niet?
(126) Wat is de visie van het demissionaire kabinet ten aanzien van de rechtshandhaving
voor social scores? Is het demissionaire kabinet voornemens hier op Europees niveau
toezicht op te houden? Zo ja, hoe zal dit toezicht vormgegeven worden? Zo nee, op
basis van welke overwegingen is deze keuze tot stand gekomen?

(124) Voor antwoord op deze vraag wordt verwezen naar het antwoord op vraag 37.

(125) Zie hiervoor het antwoord op vraag 38.

(126) Hier verwijst het kabinet graag naar de antwoorden op de vragen 16 tot en met 19.

(127) In het verlengde hiervan vragen de leden van de Volt-fractie welke vormen van
onbewuste sturing van burgers (zoals micro-targeting) het demissionaire kabinet ongewenst
acht en of het demissionaire kabinet van mening is dat de concept AI-verordening voldoende
beschermingsniveau biedt om deze ongewenste sturing te voorkomen. Hoe is het demissionaire
kabinet tot deze conclusie gekomen? (128) In het geval dat de concept AI-verordening
onvoldoende bescherming biedt, hoe is het demissionaire kabinet voornemens dit op
Europees niveau aan te kaarten en zich hiervoor hard te maken?

(127, 128) Het kabinet onderkent de risico’s van micro-targeting. Waar het gaat om
micro-targeting van burgers is de AVG het wetgevend kader. De AVG bepaalt onder welke
voorwaarden persoonsgegevens verwerkt mogen worden. Deze voorwaarden gelden ook voor
de toepassing van micro-targeting. Aanvullend bevat deze verordening een verbod op
AI-systemen die gebruik maken van subliminale technieken. In de beantwoording van
vraag 32- 35 en de antwoorden op de vragen 86 tot en met 89 gaat het kabinet hier
verder op in. Het kabinet hecht aan een helder verwoord verbod en neemt dit in algemene
zin mee in de onderhandelingen over de conceptverordening. Er zijn ook andere manieren
om de negatieve effecten van micro-targeting tegen te gaan. Het kabinet is bijvoorbeeld
voorstander van het vergroten van transparantie rondom technieken die worden gebruikt
door de internetdiensten. Daar waar het gaat om onbewuste sturing is het dan ook van
belang dat gebruikers meer inzichten krijgen in welke techniek er gebruikt wordt om
een bericht te tonen en op basis waarvan dit gebeurt. Alleen op die manier kunnen
burgers zelf informatie op waarde schatten. Daarnaast wil de Commissie met het wetsvoorstel
voor de Digital Services Act (DSA) onder andere bijdragen aan de bestrijding van systemische
risico’s die de allergrootste online platformen met zich meebrengen. Om deze systemische
risico’s tegen te gaan wordt onder andere gekeken naar transparantie over de werking
van aanbevelingssystemen op de allergrootste online platformen.

Het kabinet beraadt zich nog op een standpunt en gaat daarover graag in gesprek met
betrokken belanghebbenden uit de wetenschap, het bedrijfsleven, belangenorganisaties
en de overheid.

Het Europees Parlement zal waarschijnlijk aandringen op een strenger verbod ten aanzien
van het gebruik van technologieën voor voorspellend politiewerk (zoals biometrische
surveillance). (129) Hoe denkt het demissionaire kabinet over de wens van het EP ten
aanzien van het aandringen op een strenger verbod? Hoe zou dat verbod er volgens het
demissionaire kabinet uit moeten zien? Is het demissionaire kabinet van mening dat
er een algemeen verbod zou moeten komen voor het gebruik van technologieën voor voorspellend
politiewerk? Welke afweging ligt daaraan ten grondslag en hoe heeft het demissionaire
kabinet die afweging gemaakt? (130) Deelt het demissionaire kabinet het oordeel dat
er een algemeen verbod moet komen voor biometrische surveillance in de publieke ruimte?
Welke afweging ligt daaraan ten grondslag en hoe heeft het demissionaire kabinet die
afweging gemaakt? Hoe weegt het demissionaire kabinet de daarbij betrokken grondrechten
die mogelijk in het geding komen?

(129) Het idee achter «informatiegestuurd politiewerk» is dat een (verhoogde) aanwezigheid
van de politie op plekken en tijdstippen waar een verhoogde kans is op bepaalde typen
delicten kan bijdragen aan de voorkoming ervan. Dit is op zichzelf niet nieuw, het
is al langer gangbaar voor de politie om inzet te concentreren op plekken waar dat
nodig is. Predictive policing draagt bij aan de inzichten in het achterliggende probleem
van een bepaald type criminaliteit en kan zo een bijdrage leveren aan de veiligheid.
Tegelijkertijd is predictive policing niet een directief instrument en geeft het geen
deterministische voorspelling. De uitkomsten van een data-analyse worden bovendien
altijd via menselijke tussenkomst door de politie getoetst en geduid voordat zij worden
toegepast. De Wet politiegegevens kent verschillende waarborgen om verwerkingen behoorlijk,
rechtmatig en transparant te laten zijn.

(130) Het kabinet deelt dit oordeel niet en verwijst verder naar zijn brief aan uw
Kamer d.d. inzake het bericht in De Volkskrant.

Het is voor de leden van de Volt-fractie onduidelijk hoe de risicoanalyse van aanbieders
van AI-systemen met een hoog-risico die de markt willen betreden eruit moet komen
te zien en welke actoren deze conformiteitsbeoordeling moeten uitvoeren. (131) Hoe
oordeelt het demissionaire kabinet over het proces van zelfevaluatie voor aanbieders
van hoog-risico AI-systemen? (132) Welke kaders zouden er volgens het demissionaire
kabinet moeten worden gesteld voor dergelijke zelf risicoanalyses? Biedt de concept
verordening volgens het demissionaire kabinet voldoende kaders? (133) Deelt het demissionaire
kabinet de mening dat de administratieve lasten en complexiteit van de zelf risicoanalyses
ervoor kunnen zorgen dat de betrouwbaarheid en kwaliteit van beoordelingen achteruitgaan,
met als gevolg dat de (hoog-risico) AI-systemen alsnog beperkt betrouwbaar zijn? Zo
ja, hoe gaat het demissionaire kabinet ervoor zorgen dat dit voorkomen wordt? Zo nee,
waarom niet?

(131–133) Zie het antwoord op vragen 10 tot en met 13 en 83.

De leden van de Volt-fractie onderschrijven nogmaals het belang van regulering van
AI, maar uiten ook zorgen over de implicaties voor midden- en kleine ontwikkelaars
en publieke organisaties. De mogelijke administratieve lasten en complexiteit van
de uitvoering kan toetreden tot de markt voor deze organisaties, zeker ten opzichte
van grote technologiebedrijven, lastiger maken. (134) Welke maatregelen gaat het demissionaire
kabinet nemen om ervoor te zorgen dat het de implicaties voor de uitvoering en implementatie
van de uiteindelijke AI-verordening organisaties – in het bijzonder mkb-bedrijven
en publieke organisaties – zo efficiënt en goed mogelijk beheerst? Op basis van welke
afwegingen heeft het kabinet deze maatregelen opgesteld en is de keuze voor deze maatregelen
definitief? Deze leden denken daarbij bijvoorbeeld aan: (i) tijdige en bruikbare voorlichtingscampagnes;
(ii) handvatten om in aanloop naar de invoering van de AI-verordening al in lijn met
de AI-verordening te ontwikkelen; (iii) het aanbieden of ondersteunen van organisaties
bij het maken van impact assessments voor de implementatie van de AI-verordening;
en (iv) financiële middelen om organisaties te ondersteunen, zodat de AI-verordening
er niet voor zorgt dat de ontwikkeling van innovatie AI-toepassingen stopt en de markt
niet langer toegankelijk wordt voor kleine ontwikkelaars.

(134) Zie de antwoorden op vraag 7–13. Het kabinet dankt de Volt-fractie voor de suggesties
voor het ondersteunen van mkb en publieke organisaties. Het kabinet consulteert verschillende
belanghebbenden, zoals het mkb (zie antwoord op de vragen 67–71) maar is ook voornemens
rondetafelgesprekken te organiseren. Goede voorbeelden uit eerdere implementatietrajecten
van Europese regelgeving worden meegenomen in de uiteindelijke uitvoering van deze
conceptverordening.

Het beschermingsniveau dat de transparantieregels voor gebruikers van AI-systemen
biedt, zoals omschreven in artikel 13 van de concept verordening, is beperkt. (135) Deelt
het demissionaire kabinet het standpunt dat de bepalingen in de concept verordening
onvoldoende mogelijkheden bieden voor gebruikers van AI-systemen om te controleren
of de uitkomsten van het gebruik van AI-systemen juist en rechtmatig zijn? Zo ja,
met welke inzet zal het demissionaire kabinet ervoor zorgen dat burgers die te maken
krijgen met AI-systemen van private partijen, maar in het bijzonder ook overheidsorganisaties,
de mogelijkheid krijgen om de uitkomsten van deze AI-systemen te controleren op rechtmatigheid
en indien dit ontbreekt daartegenop te treden? Zo nee, waarom niet?

(135) Het kabinet verwijst graag naar het antwoord op vraag 45.

(136) Is het demissionaire kabinet een voorstander van het verplicht openbaar maken
van broncodes van AI-software? Zo ja, welke afwegingen liggen hieraan ten grondslag?
Zo nee, welke afwegingen liggen hieraan ten grondslag? (137) Is het standpunt van
het demissionaire kabinet afgewogen tegen de positie van andere Europese lidstaten
en is er in aanloop naar de vaststelling van de positie met hen overlegd? Zo ja, welke
zaken zijn meegenomen in de positiebepaling en welke heeft het kabinet achterwege
gelaten en waarom? Zo nee, waarom is dit niet meegenomen en in de positiebepaling?
(138) Welke grondrechten heeft het demissionaire kabinet in die afweging meegenomen?
(139) In hoeverre kunnen de leden van de Volt-fractie constateren dat de positie van
het demissionaire kabinet is beklonken?

(136–139) Over het verplicht maken van broncodes van AI-systemen moet het kabinet
nog verder in beraad. In april 2020 introduceerde het kabinet de beleidslijn «Open,
tenzij» (Kamerstuk 26 643, nr. 676). Het leidende principe is dat software (waaronder dus alle AI) die met publieke
middelen is ontwikkeld, zoveel mogelijk aan de samenleving wordt teruggegeven.

Ook wordt momenteel uitvoering gegeven aan de motie van het lid Kröger (Kamerstuk
27 529, nr. 245). Deze motie beoogt om het voornoemde kabinetsbeleid «Open, tenzij» te borgen in
de aanbestedingspraktijk. Gewerkt wordt aan een handreiking voor inkopers die zij
bijv. kunnen gebruiken om (bestaande of nieuw te ontwikkelen) AI onder een open source
licentie te verwerven.

Ten aanzien van de wetsonderhandelingen hebben de leden van de Volt-fractie een aantal
vragen. (140) Hoe is het demissionaire kabinet voornemens om tussentijds de Kamer
te informeren ten aanzien van de wetsonderhandelingen die de komende jaren gevoerd
zullen worden in de raadswerkgroepen? Kan het demissionaire kabinet toezeggen de Kamer
tweemaandelijks te informeren over de onderhandelingspositie van het (demissionaire)
kabinet, de overwegingen en eventuele nuanceringen op de positie of nadere detaillering
volgend uit de wetgevingsonderhandelingen? (141) In hoeverre gaat het demissionaire
kabinet bovenstaande overwegingen geopperd door deze leden meenemen in de onderhandelingen?

(140, 141) Het kabinet informeert uw Kamer via de reguliere kanalen over de onderhandelingen
over de conceptverordening, zoals de geannoteerde agenda van Telecomraad die twee
tot vier keer per jaar plaats vindt. De overwegingen van de Tweede Kamer worden door
het kabinet meegenomen bij de onderhandelingen over de conceptverordening, met name
wanneer er sprake is van standpunten die door de hele Kamer worden ondersteund.

Tot slot de toepassing van AI-systemen binnen en door de overheid. (142) Hoe gaat
het demissionaire kabinet ervoor zorgen dat de capaciteit en kennis binnen alle overheidsorganen
ten aanzien van het gebruik en de impact van AI-systemen op orde is? Welke concrete
maatregelen zal het demissionaire kabinet hiervoor nemen? (143) Welk ministerie zal
eindverantwoordelijke worden voor de implementatie, uitvoering en handhaving van de
AI-verordening? Indien verschillende departementen verantwoordelijk zullen zijn voor
de AI-verordening, hoe zal tussen deze departementen worden samengewerkt om coherentie,
efficiëntie en effectiviteit te borgen?

(142) Voor wat betreft de vraag over capaciteit en kennis verwijzen we graag naar
het antwoord op vraag 27. Voor een overzicht van de overheidsbrede maatregelen om
AI verantwoord in te zetten wordt verwezen naar de Kamerbrief Voortgang AI en algoritmen
(Kamerstuk 26 643, nr. 765).

Verder heeft de Algemene Rekenkamer (ARK) onderzoek gedaan naar het gebruik van algoritmen
en AI door de rijksoverheid.33 Hiervoor heeft de ARK een toetsingskader ontwikkeld. Momenteel werkt ARK aan een
vervolgonderzoek waarbij ze haar toetsingskader verder beproeft en verdiepend onderzoek
doet naar het verantwoord inzetten van algoritmen in de bedrijfsvoering en bij de
uitvoering van beleid in de brede context van het beleidsproces. De ARK verwacht medio
zomer 2022 dit rapport te publiceren.

(143) Het kabinet is de invulling van de ministeriële verantwoordelijkheid aan het
inventariseren. Ook hierbij zal de invulling afhankelijk zijn van de uitkomsten uit
de kabinetsformatie. Hiermee is er ook nog weinig te zeggen over eventuele andere
of nieuwe coördinatie tussen departementen. Op dit moment wordt intensief samengewerkt
aan de concept AI-verordening tussen de verschillende departementen waaronder in ieder
geval EZK, BZK en JenV.