Brief regering : Kabinetsreactie op het AIV/CAVV advies ‘Autonome wapensystemen: Het belang van reguleren en investeren’

Nr. 90
BRIEF VAN DE MINISTERS VAN BUITENLANDSE ZAKEN EN VAN DEFENSIE

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 17 juni 2022

Namens het kabinet danken de Minister van Buitenlandse Zaken en de Minister van Defensie
de gezamenlijke commissie van de Adviesraad Internationale Vraagstukken (AIV) en de
Commissie van Advies inzake Volkenrechtelijke Vraagstukken (CAVV) voor hun advies
Autonome wapensystemen: Het belang van reguleren en investeren.1 Hiermee wordt het advies uit 2015 Autonome wapensystemen: de noodzaak van betekenisvolle menselijke controle geactualiseerd (Bijlage bij Kamerstuk 34 300 X, nr. 21).

In het nieuwe advies beschouwen de AIV en CAVV technologische ontwikkelingen op het
gebied van kunstmatige intelligentie, robotica en kwantumtechnologie in relatie tot
de ontwikkeling en inzet van autonome wapensystemen in de geopolitieke context. Verschillende
grootmachten investeren fors in de ontwikkeling van nieuwe technologieën en autonome
wapensystemen. De AIV en CAVV erkennen dat het voor een adequaat toegeruste krijgsmacht
en vanuit het veiligheidsperspectief noodzakelijk is dat Nederland zelf beschikt over
gedeeltelijk autonome wapensystemen. Zulke wapensystemen bieden relevante militaire
voordelen: ze zijn over het algemeen preciezer, sneller en veiliger. Een voorbeeld
van een situatie waarbij autonome wapensystemen voordelen bieden, is de dreiging van
hypersone raketten, omdat de menselijke reactiesnelheid te traag is om daar bijtijds
op te reageren. Naast de voordelen benadrukken de AIV en CAVV ook de risico’s van
autonome wapensystemen, waaronder het gevaar van misbruik door bepaalde staten en
niet-statelijke actoren en dat het gebruik van autonome wapensystemen naar verwachting
leidt tot een verlaging van de drempel tot geweldgebruik. Daarnaast wijzen de AIV
en CAVV op de toenemende snelheid van technologische innovatie en de toonaangevende
rol die de industrie daarbij speelt. Daarom menen de AIV en CAVV dat het noodzakelijk
is om te komen tot nadere regulering en zij presenteren hiervoor verschillende opties.
Ook beschouwen zij het politieke en maatschappelijke debat en de juridische en ethische
aspecten, met oog voor de voor- en nadelen van het gebruik van autonome wapensystemen.
De AIV en CAVV benadrukken in hun advies het belang van zowel reguleren als investeren
en doen tien aanbevelingen aan het kabinet. In de voorliggende reactie zal het kabinet
puntsgewijs de aanbevelingen appreciëren en de hernieuwde inzet toelichten.

Internationale context: GGE LAWS en CCW

Alvorens in te gaan op de tien aanbevelingen, volgt eerst een appreciatie van de discussies
en conclusies van de Group of Governmental Experts on Lethal Autonomous Weapon Systemens (hierna: GGE LAWS) en de Convention on Certain Conventional Weapons (hierna: CCW). Het forum voor internationale besprekingen en onderhandelingen over
autonome wapensystemen is de GGE LAWS, die vergadert onder mandaat van de verdragspartijen
van de CCW. Deze gesprekken vinden sinds 2014 plaats onder de CCW en sinds 2017 in
de GGE LAWS. De GGE komt een aantal keer per jaar bijeen.

Binnen de internationale discussie zijn ruwweg vier groepen landen te onderscheiden:

1. Landen die vinden dat het huidig internationaal recht volstaat en die geen voorstander
zijn van verdere maatregelen.

2. Landen die bepleiten dat het bestaande internationaalrechtelijke kader verduidelijkt
moet worden en (nog) niet bereid zijn om een eventueel verbod en positieve verplichtingen
te omarmen of zich hierover uit te spreken. Nederland behoorde lange tijd tot deze
groep.

3. Landen die pleiten voor negatieve verplichtingen, bijvoorbeeld in de vorm van een
verbod op volledig autonome wapensystemen, en positieve verplichtingen voor autonome
wapensystemen die wel toelaatbaar zijn.

4. Landen die voorstander zijn van een nieuw internationaal verbod op een groot aantal
autonome wapensystemen en vergaande verplichtingen voor autonome wapensystemen die
wel zijn toegestaan.

Tot op heden bestaat er geen overeenstemming over een internationale definitie van
een «autonoom wapensysteem», noch over het onderscheid tussen volledige en gedeeltelijke
autonomie.2 Over het gebruik en de inhoud van de term «betekenisvolle menselijke controle», die
centraal staat in het adviesrapport, bestaat ook geen consensus. Andere termen die
zijn gebruikt zijn onder meer sufficient human control, appropriate human control, human judgement en responsible governance. Verder bestaat er geen overeenstemming over de noodzaak van een verbod op (volledig)
autonome wapensystemen. Verschillende keren is de suggestie gedaan om over te gaan
tot het opstellen van een politieke verklaring of een code of conduct in plaats van een nieuw protocol bij de CCW. Op dit moment is het nog niet duidelijk
welke kant het proces op zal gaan.

Gelet op de complexe besluitvorming binnen de CCW, die consensus vergt, groeit de
roep van een aantal staten en maatschappelijke organisaties om op zoek te gaan naar
een ander forum, zoals ook is gebeurd met de regulering van anti-personeelsmijnen
en clustermunitie. Gezien het strategische belang van autonome wapensystemen hebben
veel CCW-lidstaten op dit moment nog weinig animo om een dergelijk proces op te starten,
waaronder militaire grootmachten. Zonder deze landen is het zeer de vraag of een nieuw
protocol of verdrag over autonome wapensystemen effectief kan zijn.

Het kabinet blijft inzetten op voortgang in CCW-verband, omdat alle relevante spelers
op het gebied van autonome wapensystemen daarin zijn vertegenwoordigd en de afgelopen
jaren is gebleken dat ondanks het gecompliceerde krachtenveld binnen de GGE voortgang
kan worden gemaakt. De meest tastbare resultaten van de GGE LAWS zijn de overeengekomen
elf «Guiding Principles».3 Aan de hand van deze guiding principles is in de jaren daarna verder gewerkt aan het verduidelijken van de bestaande operationele
en normatieve kaders ten aanzien van het gebruik en de ontwikkeling van autonome wapensystemen.
Ook is overeenstemming bereikt over de noodzaak an sich om het oordeelvermogen van de mens te behouden en is voortgang geboekt over hoe dit
kan worden geoperationaliseerd.

De Verdragspartijen van de CCW hebben tijdens de zesde Toetsingsconferentie van de
CCW in december 2021 besloten om de besprekingen in de GGE in 2022 voort te zetten.
Het kabinet zal daarbij het nieuwe advies van de AIV en CAVV en de kabinetsreactie
daarop als uitgangspunt nemen voor de verdere ontwikkeling van het Nederlandse beleid
inzake autonome wapensystemen.

Aanbeveling 1: «Besteed meer aandacht aan de ontwikkelingen op het gebied van autonome
wapensystemen.»

Nieuwe technologieën en de relatie tot het nationale en internationale veiligheidsbeleid
hebben de aandacht van het kabinet. Om de kennisbasis te onderhouden en te versterken,
investeert Defensie met veiligheidspartners in meerjarige onderzoeksprogramma’s en
experimenten om de werking van autonome wapensystemen binnen juridische en ethische
kaders te beproeven. Ook financiert o.a. Defensie onderzoeksfaciliteiten bij strategische
partners en wordt er actief ingezet op internationale samenwerking (zie ook de reacties
op aanbevelingen 6 en 9). Voor de nationale veiligheid is het van groot belang om
zowel op civiel als militair vlak alle ontwikkelingen op het gebied van autonome wapensystemen
te blijven volgen, tijdig te experimenteren met nieuwe middelen en inzet, en aangehaakt
te blijven bij internationale discussies.

Het kabinet neemt aanbeveling 1 over en zal op politiek, diplomatiek, technisch en
financieel gebied voortdurend en intensief aandacht blijven besteden aan de ontwikkelingen
op het gebied van autonome wapensystemen en zich, waar mogelijk en opportuun, inzetten
voor verdere regulering. Bij de behandeling van de overige aanbevelingen komt de inzet
van het kabinet uitgebreider aan de orde.

Aanbeveling 2: «Streef actief naar een verbod op volledig autonome wapensystemen.»

De AIV en CAVV maken in hun advies een onderscheid tussen volledig autonome wapensystemen,
die volgens de AIV en CAVV expliciet verboden moeten worden, en gedeeltelijk autonome
wapensystemen die toelaatbaar zijn mits deze onder betekenisvolle menselijke controle
staan. Volgens de AIV en de CAVV zijn er verschillende opties om tot nadere regulering
te komen voor zowel volledig als gedeeltelijk autonome wapensystemen, zoals een nieuw
protocol bij de CCW. Het gaat hierbij niet om het ontwikkelen van nieuwe rechtsregels,
maar primair om een concretisering van bestaande rechtsregels.

Het kabinet neemt aanbeveling 2 volledig over en zal zich in internationaal verband
inspannen voor een verbod en de concretisering van de regels die van toepassing zijn
op de inzet van autonome wapensystemen, bijvoorbeeld in een protocol bij de CCW. Daarbij
is het van belang oog te hebben voor het complexe internationale krachtenveld. De
definitie en afbakening van een verbod luistert nauw. Voor het kabinet is het kerndoel
van een verbod het behoud van het oordeelsvermogen van de mens bij inzet van een wapensysteem.
Het is dan ook van belang om een algemeen onderscheid te maken tussen autonome wapensystemen
die wel conform het bestaande internationale recht kunnen worden ontwikkeld en ingezet,
en autonome wapensystemen waarbij dat niet mogelijk is. Er moet gewaakt worden voor
een te ruime definitie zodat bestaande systemen die belangrijk zijn voor onze nationale
veiligheid, zoals de Goalkeeper en de Patriot, niet onder het verbod zouden kunnen
vallen. Een te krappe definitie zou er in de praktijk toe kunnen leiden dat het verbod
weinig effect heeft. Voor de haalbaarheid en effectiviteit van het verbod is het tevens
van belang dat de staten die actief zijn op het gebied van de ontwikkeling van autonome
wapensystemen zich daarbij aansluiten. Ook moet Defensie samen met bondgenoten onderzoek
kunnen doen naar volledige autonome wapensystemen die in gebruik kunnen zijn of worden
genomen door potentiële tegenstanders. Defensie moet kennis hebben van de systemen
van potentiële tegenstanders, ook als dat volledig autonome wapensystemen zijn die
niet verenigbaar zijn met het internationale recht.

Aanbeveling 3: «Wees actiever in het ontwikkelen van internationale regulering voor
de ontwikkeling, de aanschaf en de inzet van gedeeltelijk autonome wapensystemen.»

Voor de appreciatie van aanbeveling 3 verwijst het kabinet naar de reactie op aanbeveling
5. Beide aanbevelingen hangen nauw met elkaar samen, omdat aanbeveling 5 het concept
van betekenisvolle menselijke controle als uitgangspunt benoemt voor de verdere regulering
waartoe in aanbeveling 3 wordt opgeroepen.

Aanbeveling 4: «Roep staten op de uit artikel 36 van het Eerste Additionele Protocol
van de Geneefse Conventie volgende verplichting tot weapon reviews, uit te voeren
dan wel in hun nationale wetgeving op te nemen.»

De AIV en CAVV concluderen dat een staat verplicht is te bepalen of een wapensysteem
kan worden ingezet conform het internationaal recht. Geadviseerd wordt om staten te
bewegen hiervoor nationale wetgeving aan te nemen en in te zetten op verplichte openbaarmaking
van de uitkomst van dergelijke weapon reviews. Het kabinet neemt deze aanbeveling ten dele over.

Zoals het kabinet eerder uiteenzette,4 roept Nederland staten al op tot het invoeren van een procedure ter implementatie
van artikel 36 van het Eerste Aanvullende Protocol bij de Verdragen van Genève (API),
zoals de Nederlandse Adviescommissie Internationaal Recht en Conventioneel Wapengebruik
(AIRCW). Nederland heeft hierover in EU- en in VN-verband kennis gedeeld en zal dit
blijven doen. Nederland pleit ervoor dat landen hun weapon review proces transparant inrichten en uitvoeren en de uitkomsten waar mogelijk internationaal
delen. Een verplichte volledige openbaarmaking acht het kabinet onverstandig vanwege
belangen van staatsveiligheid of commerciële vertrouwelijkheid. Om ook voor het overige
geen onnodige drempels op te werpen voor landen bij het opzetten van een artikel 36 procedure,
hecht het kabinet er eveneens waarde aan dat staten zelf kunnen bepalen hoe zij voldoen
aan de verplichting van artikel 36 API: door verankering in nationale wetgeving of
op een andere wijze.

In Nederland toetst de AIRCW nieuwe middelen en strijdmethoden aan het internationaal
recht. De Minister van Defensie besluit op basis van het advies al dan niet goedkeuring
te verlenen voor gebruik door de krijgsmacht. De AIRCW publiceert de adviezen online,
met inachtneming van bedrijfsvertrouwelijke en operationele aspecten. Het kabinet
zal een wettelijke verankering van de AIRCW verkennen. De oproep van de AIV en CAVV
om de rol van de AIRCW te versterken door toevoeging van een coördinerende taak in
het overleg tussen overheid, bedrijfsleven en kennisinstellingen vertroebelt, naar
oordeel van het kabinet, de eigenlijke taak van de AIRCW. De AIRCW is primair belast
met een juridische toets, terwijl de coördinatie van overleg met belanghebbenden meer
beleidsmatig van aard is.

Aanbeveling 5: «Houd vast aan het concept van betekenisvolle menselijke controle (meaningful
human control – MHC) als uitgangspunt voor de regulering van gedeeltelijk autonome
wapensystemen.»

In aanbeveling 3 adviseren de AIV en CAVV dat het kabinet actiever moet zijn in het
ontwikkelen van internationale regulering voor de ontwikkeling, de aanschaf en de
inzet van gedeeltelijk autonome wapensystemen. In aanbeveling 5 wordt daaraan toegevoegd
dat het concept van betekenisvolle menselijke controle het uitgangspunt moet zijn
bij de regulering van gedeeltelijk autonome wapensystemen.

De AIV en CAVV doen verschillende voorstellen voor de wijze waarop betekenisvolle
menselijke controle kan worden belegd en ingevuld. Het kabinet volgt de lijn van de
AIV en CAVV dat het bij betekenisvolle menselijke controle feitelijk «gaat om het
oordeelsvermogen van de mens bij de inzet van een wapensysteem». Dat oordeelsvermogen
is in het bijzonder van belang omdat het humanitair oorlogsrecht (onder andere) de
plicht tot het maken van onderscheid, het nemen van voorzorgsmaatregelen en het toepassen
van de proportionaliteitsregel oplegt aan de persoon die een aanval plant, het besluit
daartoe neemt of dat besluit uitvoert. Menselijke controle is volgens het kabinet
noodzakelijk om het oordeelsvermogen van de mens voor wapensystemen met autonome kenmerken
te behouden, zodat deze conform het internationaal recht kunnen worden gebruikt, bijvoorbeeld
om te beoordelen of een persoon of object een bijzondere bescherming geniet onder
het humanitair oorlogsrecht.

Het kabinet ziet de door de AIV en CAVV opgestelde criteria voor de uitoefening van
menselijke controle, bijvoorbeeld ten aanzien van het type doelwit, de duur van het
gebruik van een autonoom wapen, de geografische reikwijdte, de omstandigheden en randvoorwaarden
voor een goede mens-machine interactie als goede uitgangspunten voor regulering. De
uiteindelijk vereiste mate van menselijke controle en te hanteren criteria hangen
vooral af van de operationele context.5 Een verdedigingssituatie tegen een inkomende raket op open zee behoeft bijvoorbeeld
andere limieten en mate van menselijke controle dan een chaotische gevechtssituatie
in een dichtbevolkt gebied. Het vaststellen van de mate van vereiste menselijke controle
zal dus per situatie verschillen. In dit verband omarmt het kabinet op dit moment
geen specifieke definitie voor betekenisvolle menselijke controle, omdat dit vanwege
dezelfde redenen als vermeld onder aanbeveling 2 tekort zou doen aan de complexiteit
van de discussie.

Het kabinet merkte in de introductie van deze brief al op dat autonome wapensystemen
noodzakelijk zijn voor een adequaat toegeruste krijgsmacht. Om op een verantwoorde
wijze met deze systemen om te gaan moeten vooraf de benodigde politieke, operationele,
juridische en morele afwegingen worden gemaakt. Dit geldt niet alleen voor zaken als
ontwikkeling, aanschaf en toetsing, maar ook voor opleiding en training van personeel.

Menselijke controle kan dus in verschillende fases van de levenscyclus van een wapen
worden ingericht en aanwezig zijn. Hierbij kunnen ook verschillende actoren betrokken
zijn, zoals bedrijven en kennisinstituten in de ontwikkelingsfase. Het Ministerie
van Buitenlandse Zaken en het Ministerie van Defensie voeren geregeld overleg met
maatschappelijke instellingen en onderzoeksinstanties om te bespreken hoe zij tegen
de discussie over betekenisvolle menselijke controle aankijken en nemen adviezen,
waar mogelijk, mee bij de besluitvorming.

Het kabinet heeft ook meerdere onderzoeken naar autonome wapensystemen en betekenisvolle
menselijke controle gefinancierd.6

Het kabinet neemt aanbeveling 3 en 5 over en zal zich internationaal inzetten om het
behoud van het oordeelsvermogen van de mens bij de inzet van wapensystemen verder
te ontwikkelen en verankeren.

Mensenrechten

Het advies beschouwt ook het gebruik van gedeeltelijk autonome wapensystemen in vredestijd
en de daarbij relevante bepalingen op het gebied van mensenrechten. Het kabinet kan
zich vinden in de analyse van de AIV en CAVV dat het rechtsregime van de mensenrechten
van toepassing is op het gebruik van dodelijk geweld buiten een situatie van gewapend
conflict. Tijdens de GGE LAWS heeft Nederland het belang onderstreept van mensenrechten
als relevant rechtsregime voor de mogelijke inzet van wapensystemen met autonome kenmerken.
Het kabinet onderschrijft dat het rechtsregime van de mensenrechten stringentere eisen
stelt aan het toepassen van dodelijk geweld voor rechtshandhavingsdoeleinden dan het
rechtsregime van het humanitair oorlogsrecht dat doet voor gevechtshandelingen.

Ten aanzien van het recht op privéleven wijzen de AIV en CAVV op het belang van adequate
data governance bij het gebruik van big data in systemen die opereren op basis van kunstmatige intelligentie. De AIV en CAVV raden
het kabinet aan om het toezicht op data te verbeteren en om meer te investeren – zowel
financieel als met capaciteit – in de ontwikkeling van kunstmatige intelligentie,
robotica, kwantum computing en verantwoord datagebruik. Het kabinet erkent het belang van goede data governance, ook binnen de krijgsmacht. Defensie beschouwt data als een strategische asset. Een
structureel ingerichte data governance en duidelijke kaders en richtlijnen rondom data management zijn daarom cruciaal.

Aansprakelijkheid

Het kabinet en de AIV en CAVV onderstrepen het belang van duidelijke belegging van
de verantwoordelijkheid bij de ontwikkeling en inzet van autonome wapensystemen. Ten
aanzien van staatsaansprakelijkheid geldt dat staten op basis van internationaal recht
aansprakelijk kunnen worden gesteld voor onrechtmatige handelingen van door hen gebruikte
wapensystemen met autonome kenmerken. De AIV en CAVV doen in het advies de suggestie
om een vorm van strikte staatsaansprakelijkheid te overwegen, gelet op het relatief
risicovolle karakter van het gebruik van wapensystemen met autonome kenmerken in conflictsituaties.
Het kabinet onderschrijft dat op dit moment een dergelijke vorm van aansprakelijkheid
geen onderdeel uitmaakt van het bestaande internationaal recht inzake staatsaansprakelijkheid.
Momenteel voert SIPRI, met medefinanciering van Nederland, een onderzoek uit naar
aansprakelijkheid. Het kabinet zal de mogelijkheden voor staatsaansprakelijkheid verder
verkennen en onderdeel maken van de Nederlandse inbreng.

In aanvulling op het gestelde in het advies over individuele aansprakelijkheid merkt
het kabinet op dat de vervolging van internationale misdrijven primair een taak is
van het nationale rechtssysteem, waarbij vervolging door het Internationaal Strafhof
als achtervang dient. In voorkomend geval kunnen individuen of rechtspersonen die
een rol spelen gedurende de levenscyclus van autonome wapensystemen conform de nationale
rechtsregels civielrechtelijk aansprakelijk worden gesteld of strafrechtelijk worden
vervolgd.

Aanbeveling 6: «Werk samen met EU-partners, de Verenigde Staten, het Verenigd Koninkrijk,
en andere NAVO-bondgenoten om te komen tot een gezamenlijke ontwikkeling en productie
van gedeeltelijk autonome systemen (waarbij betekenisvolle menselijke controle goed
is belegd), exportcontrole en een investeringsscreening ten aanzien van dual-use technologieën.»

Gezamenlijke ontwikkeling en innovatie

De NAVO zet in op het behoud van de technologische voorsprong («maintaining a technological edge») van het bondgenootschap. Nederland onderstreept vanuit het oogpunt van (nationale)
veiligheid deze inzet, die binnen het NAVO-bondgenootschap breed gedeeld wordt en
gekoppeld is aan een hoog ambitieniveau. In NAVO-verband wil Nederland de implementatie
van de NATO Emerging & Disruptive Technologies Roadmap (EDTR, 2019) actief ondersteunen. De EDTR moedigt NAVO-landen aan om in hun gezamenlijke
en nationale onderzoekprogramma’s meer accent te leggen op onderzoek en ontwikkeling
van deze technologieën. Nederland gaat onder andere gericht bijdragen aan het gemeenschappelijk
werkprogramma van de NATO Science & Technology Organisation (STO), zoals op het terrein van kunstmatige intelligentie en autonome wapensystemen.

In EU-verband is het Europees Defensiefonds (EDF) een steeds belangrijker instrument
voor gezamenlijk defensieonderzoek en capaciteitenontwikkeling van de lidstaten. Nederland
zet dan ook in op verdere ontwikkeling en benutting van het EDF voor Defensie, kennisinstellingen
en defensiebedrijven. Nederland acht een bijdrage te kunnen leveren op het gebied
van de ontwikkeling van autonome systemen en onderschrijft het belang van betekenisvolle
menselijke controle in de besluitvormingsketen. De Europese Commissie ziet toe op
de ethische evaluatie van de projectvoorstellen. Het EDF verleent geen financiële
steun aan acties met betrekking tot producten en technologieën waarvan het gebruik,
de ontwikkeling of de productie krachtens internationaal recht verboden is. Acties
voor de ontwikkeling van dodelijke autonome wapens die niet de mogelijkheid bieden
om een zinvolle menselijke controle uit te oefenen over besluiten in verband met de
selectie en inzet ervan bij aanvallen die op mensen gericht zijn, komen evenmin in
aanmerking voor steun uit het fonds. Naast het EDF heeft Nederland in algemene zin
ook veel bilaterale samenwerkingen op gebied van innovatie en ontwikkeling met diverse
landen waaronder Canada, Duitsland, Frankrijk, Noorwegen, het Verenigd Koninkrijk,
de Verenigde Staten en Zweden.

Ondanks het grote belang dat het kabinet hecht aan samenwerking met bondgenoten, plaatst
het kabinet de kanttekening dat het onwenselijk is om voor bepaalde technologieën
en systemen, zowel qua kennis als industriële en operationele capaciteiten, volledig
afhankelijk te zijn van een andere mogendheid, zelfs als dat een bondgenoot is.7 In het kader van de eigen soevereiniteit en de bescherming van de nationale veiligheid
kunnen dus andere afwegingen gemaakt worden.

Exportcontrole en investeringsscreening

Nauwe samenwerking met EU-lidstaten bij de voorbereiding, implementatie en uitvoering
vormt de kern van het Nederlandse exportcontrolebeleid. Net als andere militaire goederen
zijn wapensystemen met autonome kenmerken onderhevig aan de strikte toetsing van de
acht criteria van het EU Gemeenschappelijk Standpunt inzake wapenexport.8 Op de uitvoer van dual-use technologie en goederen is de EU dual-use verordening van toepassing.9 De controlelijst van deze verordening wordt samengesteld op basis van consensusbesluiten
in de vier exportcontroleregimes. Op het gebied van autonome wapensystemen zijn het
Wassenaar Arrangement en het Missile Technology Control Regime de aangewezen regimes. Vanuit de controlelijsten van deze regimes is technologie en
software, gerelateerd aan potentiële overbrengingsmiddelen van massavernietigingswapens
en/of conventionele wapensystemen reeds vergunningplichtig en daarmee gecontroleerd
door de dual-use verordening, ongeacht het niveau van autonomie.

Er zijn ook verschillende initiatieven om nationale veiligheidsrisico’s als gevolg
van investeringen beheersbaar te maken. Momenteel wordt er gewerkt aan een sectorspecifieke
investeringstoets op de defensie-industrie.10 In de zomer van 2021 is daarnaast het wetsvoorstel Veiligheidstoets investeringen,
fusies en overnames (Vifo) aangeboden aan de Tweede Kamer. Vifo heeft tot doel risico's
voor de nationale veiligheid als gevolg van investeringen, fusies, overnames van vitale
aanbieders en bedrijven die actief zijn op het gebied van sensitieve technologie beheersbaar
te maken. Voor de categorie sensitieve technologie wordt onder andere verwezen naar
de geldende Europese exportcontrolekaders op het gebied van militaire goederen en
goederen voor tweeërlei gebruik. Op basis van de EU screeningsverordening wisselen
lidstaten informatie uit over directe buitenlandse investeringen die raken aan de
nationale veiligheid of openbare orde.11 Binnen de Trade and Technology Council werkt de EU ook met de VS samen op het gebied van investeringstoetsing.

Breed overleg tussen overheden, industrie en kennisinstellingen

De AIV en CAVV bevelen het kabinet ook aan om zowel binnen de EU als binnen de NAVO
in te zetten op structureel overleg tussen overheden, kennisinstellingen en het bedrijfsleven
om gezamenlijk de industriële, juridische en ethische aspecten van autonome wapensystemen
adresseren. Het kabinet is op meerdere vlakken binnen de EU en NAVO al aanjager van
initiatieven hierop en neemt ook eigen initiatieven.

Nederland neemt actief deel aan de invulling van het EU strategische proces over het
verantwoordelijk gebruik van AI in een militaire context en zal waar mogelijk, de
juridische en ethische aspecten van autonome wapensystemen blijven agenderen en onderzoeken.
Ook acht Nederland het noodzakelijk dat militair gebruik van AI hoger op de mondiale
agenda komt en neemt daartoe het initiatief door een internationale conferentie te
organiseren. Hoewel het vorm te geven initiatief meer omvat dan autonome wapensystemen,
zal Nederland het AIV/CAVV advies en de opkomst van autonome wapensystemen waar mogelijk
betrekken. Over de conferentie en het opbouwen van een politieke agenda wordt uw Kamer
separaat geïnformeerd.

Zoals hierboven is toegelicht neemt het kabinet aanbeveling 6 grotendeels over en
zijn sommige aspecten al onderdeel van staand beleid. Nederland benut actief de mogelijkheden
voor samenwerking met bondgenoten, het bedrijfsleven en andere partners bij de ontwikkeling
en productie van autonome systemen (waarbij betekenisvolle menselijke controle goed
is belegd), exportcontrole en een investeringsscreening ten aanzien van dual-use technologieën.

Aanbeveling 7: «Stimuleer NAVO-bondgenoten om gezamenlijk een belangrijke rol te spelen
in het nastreven van interoperabiliteit en standaardisatie op het gebied van disruptieve
technologie en gedeeltelijk autonome systemen.»

Zoals de NAVO ook zelf benadrukt zijn interoperabiliteit en standaardisatie randvoorwaarden
voor effectief militair optreden. Nederland gaat nog sterker pleiten voor interoperabiliteit
en standaardisatie zodat we optimaal samen kunnen werken. NAVO- en ook EU-processen
moeten op elkaar zijn afgestemd zodat capaciteitsontwikkeling en investeringen maximaal
renderen. Nederland verwelkomt dan ook het voornemen van de secretaris-generaal van
de NAVO, Jens Stoltenberg, voor een Defence Innovation Initiative ter bevordering van interoperabiliteit en als een katalysator voor trans-Atlantische
samenwerking op defensie-innovatie, specifiek op het terrein van disruptieve technologieën.
Ook de NATO STO speelt hier een belangrijke rol. Binnen de STO werken zo’n 5000 wetenschappers
aan gemeenschappelijke onderzoeksprogramma’s op gebied van disruptieve technologieën.
Het kabinet benadrukt dat de toepassing van disruptieve technologieën een langdurige
inspanning vergt, zowel qua technologieontwikkeling als het verzekeren van interoperabiliteit
en het streven naar standaardisatie.

Ook levert de NAVO een belangrijke bijdrage aan de discussie over nieuwe technologieën
en bevordert daarbij een coherente benadering tussen bondgenoten. Nederland blijft,
net zoals bij de totstandkoming van de EDTR, binnen de NAVO om aandacht vragen voor
de wapenbeheersingsaspecten van nieuwe technologieën. Dat laat onverlet dat Nederland
de toepassing van nieuwe technologieën in het militaire domein, in lijn met het NAVO-beleid,
noodzakelijk acht om «technological edge» te behouden. Daarbij blijft handhaving van betekenisvolle menselijke controle op
autonome wapensystemen vanzelfsprekend het uitgangspunt.

Aanbeveling 8: «Maak het concept van explainable AI (kunstmatige intelligentie die
uitlegbaar is) tot uitgangspunt van het Nederlandse beleid bij ontwikkeling, aanschaf
en gebruik van gedeeltelijk autonome wapensystemen.»

Volgens de Wetenschappelijke Raad voor Regeringsbeleid (WRR) is kunstmatige intelligentie
een systeemtechnologie die ons leven fundamenteel gaat veranderen.12 De overheid zou kaders moeten scheppen waarbinnen AI zich ten goede kan ontwikkelen.
De oproep van de AIV en CAVV dat kunstmatige intelligentie die ten grondslag ligt
aan gedeeltelijk autonome wapensystemen uitlegbaar moet zijn, past dan ook binnen
de Rijksbrede opgave op het gebied van AI. Concreet gesteld betekent dit dat onderliggende
wiskundige modellen en data die daaraan ten grondslag liggen te alle tijden traceerbaar
en uitlegbaar moet zijn. Daarnaast moet in de gehele besluitvormingsketen duidelijk
zijn waar en hoe de betekenisvolle menselijke controle is belegd en wie waarvoor verantwoordelijk
is. De AIV en CAVV adviseren dat de krijgsmacht hierin getraind wordt.

Het kabinet omarmt deze aanbeveling en verwijst in dit kader in zijn algemeenheid
naar de kabinetsreactie op het advies van de WRR dat naar verwachting in het najaar
verschijnt en richtinggevend zal zijn op dit terrein. Op militair vlak heeft Defensie
deze onderwerpen als expliciet aandachtsveld aangemerkt. Rollen, verantwoordelijkheden
en besluitvorming op gebied van AI moeten beter ingebed worden in de organisatie.
Defensie ontwikkelt al normenkaders en ontwerprichtlijnen om de werking van een algoritme,
de gemaakte keuzes, de valideerbaarheid en de implementatie en het gebruik ervan te
documenteren. Ook is het uitgangspunt reeds dat algoritmen middels een audit toetsbaar
zijn aan normen en een verificatiekader. Aan te schaffen commercieel ontwikkelde toepassingen
moeten voldoen aan de kaders en richtlijnen van Defensie. Om de hiervoor benodigde
kennisbasis te ontwikkelen, worden met kennisinstellingen onderzoeksprogramma’s uitgevoerd,
waaronder naar man-machine-teaming en naar methoden voor verificatie van autonome systemen. Tevens wordt in meerdere
NATO-STO activiteiten samengewerkt met internationale kennisinstellingen.13 Ook zal Defensie het personeelsbeleid moeten ontwikkelen en aanpassen op het werken
met AI. De behoefte aan opleiding en training op alle niveaus wordt onderkend. Defensie
geeft hieraan concrete invulling door o.a. een masterclass Data en Cyber voor de Defensietop
en een algemene leergang Data.

Aanbeveling 9: «Maak afspraken met het bedrijfsleven en wetenschappelijke instellingen
over de ontwikkeling en aanbesteding van gedeeltelijk autonome wapensystemen.»

De AIV en CAVV onderschrijven het belang van mens-machine-interactie om nader invulling
te kunnen geven aan het begrip betekenisvolle menselijke controle. Daarbij moet breder
gekeken worden dan enkel het moment van inzet van een autonoom wapen. De AIV en CAVV
beargumenteren dat de ethische afwegingen en juridische criteria in de ontwerpfase
van het wapensysteem vorm moeten krijgen. Met ontwikkelaars en fabrikanten zouden
volgens de AIV en CAVV afspraken gemaakt moeten worden over de controleerbaarheid
van cruciale criteria. De AIV en CAVV adviseren voorts de bevordering, door de overheid,
van een cultuur van gedeelde verantwoordelijkheid en wijst ook op de uitgangspunten
van verantwoord ondernemen. Ten slotte wordt gesteld dat de overheid concrete richtlijnen,
verificatietools en certificeringen moet ontwikkelen. Zoals in de reactie onder aanbeveling 8
is aangegeven wordt samen met (inter)nationale partijen kennis op dit gebied opgebouwd.
Ook werkt de Nederlandse Defensie Academie aan een systeem voor verificatie, validatie
en accreditatie. Het kabinet onderschrijft aanbeveling 9 en verwijst verder naar de
reactie onder aanbevelingen 6 en 8.

Aanbeveling 10: «Actualiseer dit advies.»

Het kabinet neemt tenslotte aanbeveling 10 over en zal om actualisering van dit advies
verzoeken bij een volgend sleutelmoment.

Conclusie

Deze kabinetsreactie vormt het nieuwe uitgangspunt van de beleidspositie van het kabinet
inzake autonome wapensystemen. Zoals hierboven door het kabinet is uiteengezet, neemt
het kabinet de aanbevelingen van de AIV en CAVV grotendeels over. Het kabinet acht
gedeeltelijk autonome wapensystemen onmisbaar voor een technologisch hoogwaardige
krijgsmacht ten behoeve van de verdediging van Nederland en het bondgenootschappelijk
grondgebied. Het gebruik en de proliferatie van onbemande en autonome wapensystemen
neemt zowel bij bondgenoten als opponenten toe. Dit beeld wordt bevestigd tijdens
recente en actuele conflicten. Het gebruik van dergelijke systemen leidt tot kortere
reactietijden en toenemende onvoorspelbaarheid van de dreiging. De verdediging hiertegen
vraagt om informatie gestuurd optreden, verregaande automatisering en interoperabiliteit
binnen de NAVO. Ook neemt het belang toe dat eenheden en vitale infrastructuur zichzelf
kunnen beschermen tegen deze dreigingen, zodat vrijheid van handelen behouden blijft.
Omgekeerd bieden onbemande en autonome wapensystemen een grote meerwaarde aan de informatiepositie
en de escalatiedominantie van de krijgsmacht. Het kabinet onderkent met de AIV en
CAVV ook de risico’s en nadelen van deze systemen. Ten behoeve van de (inter)nationale
veiligheid zal het kabinet de razendsnelle ontwikkelingen op het gebied van autonome
wapensystemen nauwgezet blijven volgen, waarbij het kabinet zich in internationaal
verband hard zal blijven maken voor de verantwoorde ontwikkeling en gebruik van autonome
wapensystemen. Om dit te waarborgen onderstreept het kabinet het belang om bestaande
rechtsregels te concretiseren. Uitgangspunt is dat autonome wapens conform het internationaal
recht gebruikt dienen te worden en dat het oordeelsvermogen van de mens bij de inzet
van autonome wapensystemen behouden blijft. Wapensystemen die niet conform het internationaal recht gebruikt kunnen worden, moeten expliciet verboden worden, bijvoorbeeld
middels een protocol bij de CCW. Tot slot zal het kabinet een breed en open gesprek
over autonome wapensystemen blijven voeren met kennisinstituten, het maatschappelijk
middenveld, overheidsinstanties, het parlement en de industrie.

De Minister van Buitenlandse Zaken,
W.B. Hoekstra

De Minister van Defensie,
K.H. Ollongren