Brief regering : Beleidsreactie TNO-rapport IND risicomodel erkende referenten

Nr. 3126
BRIEF VAN DE STAATSSECRETARIS VAN JUSTITIE EN VEILIGHEID

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 26 juni 2023

In het dertigledendebat d.d. 15 september 2022 (Handelingen II 2021/22, nr. 109, item 11) over het in mei 2021 buiten gebruik gestelde risicomodel erkende referenten1 heb ik u toegezegd om de uitkomsten van het TNO-rapport over het nieuwe risicomodel
en de reactie van de Immigratie- en Naturalisatiedienst (IND) daarop met u te delen.
Hierbij voldoe ik aan deze toezegging en stuur ik u het rapport toe dat TNO op 28 oktober
2022 heeft opgeleverd. In verband met de enorme drukte bij de verschillende ketenpartners
heeft de afstemming langer geduurd dan gebruikelijk.

De uitkomsten van het onderzoek en aanbevelingen van TNO geven aan dat de robuustheid
van het risicomodel en de risico’s op bias nog onvoldoende kunnen worden vastgesteld.
Dit heeft de IND doen besluiten om het risicomodel nog niet in gebruik te nemen. De
uitkomsten en adviezen geven de IND verder veel waardevolle inzichten die worden uitgewerkt
om een zorgvuldige en betrouwbare inzet van het risicomodel te kunnen borgen. Daartoe
heeft de IND de samenwerking met TNO verlengd.

In deze brief zal ik aangeven op welke wijze de IND de uitkomsten van het TNO-rapport
waardeert.

Risicomodel erkende referenten

Nederland kent een snelle, efficiënte en toegankelijke procedure om toegang te verlenen
aan kennismigranten. Die procedure staat open voor rechtspersonen die door de IND
als referent zijn erkend, en aldus zijn beoordeeld als betrouwbare partner. Een erkende
organisatie beoordeelt voorafgaand aan de indiening van een verblijfsaanvraag voor
een kennismigrant of alle benodigde gegevens en bescheiden aanwezig zijn, of aan de
toelatingsvoorwaarden wordt voldaan en stelt een verklaring op waaruit dit blijkt.
De IND beslist op deze aanvragen in beginsel binnen de streeftermijn van twee weken.
De IND houdt toezicht op de organisaties die erkend zijn om te beoordelen of deze
nog aan de voorwaarden voor erkenning voldoen en of zij hun verplichtingen goed nakomen.
Indien nodig kan de IND handhavend optreden. In het verleden vond toezicht op de erkende
referent plaats op basis van een risicomodel dat de IND in mei 2021 buiten gebruik
heeft gesteld. Op dit moment heeft de IND geen risicomodel in gebruik.

Voor een efficiënte inzet van de schaarse capaciteit ten behoeve van de toezicht-
en handhavingstaken is een risicogestuurde werkwijze bij de IND wenselijk. Daarmee
is de IND in staat om met beperkte capaciteit een zo groot mogelijke reductie van
risico’s te bereiken. Voor dit doel heeft de IND het afgelopen jaar een nieuw risicomodel
ontwikkeld. Alvorens dit nieuwe risicomodel in gebruik te nemen, wil de IND de mogelijke
risico’s op het gebied van bias en de robuustheid van het model in kaart hebben gebracht.
Hiertoe is een samenwerking met het TNO AI Oversight Lab aangegaan, waarbij TNO is
gevraagd om het nieuwe risicomodel te onderzoeken op robuustheid en mogelijke bias.

Resultaten onderzoek TNO

De onderzoeksresultaten van het TNO-onderzoek concluderen kort samengevat dat de robuustheid
van het risicomodel en de risico’s op bias onvoldoende kunnen worden vastgesteld.
TNO beveelt de IND aan om verder te werken aan de robuustheid van het model en daarnaast
– door middel van een steekproef – aanvullende data te verzamelen om het nut en de
consequenties van het gebruik van het risicomodel beter te onderzoeken.

Bias

In het onderzoek naar bias is gekeken naar mogelijke risico’s op onrechtvaardige vertekeningen,
waardoor onbedoeld (in)directe vooroordelen en discriminatie tegen bepaalde groepen
of mensen ontstaan. Daarom heeft TNO in het kader van het bias onderzoek naar de uitkomsten
van het risicomodel een tweetal hypotheses onderzocht.

Hypothese 1: Er is geen relatie tussen de voorspellingen van het risicomodel en de nationaliteit
van de kennismigranten van de erkende referent.

Hypothese 2: Het risicomodel suggereert proportioneel even vaak verder onderzoek voor erkende
referenten met een meerderheid van kennismigranten van een specifieke nationaliteit
dan andere erkende referenten.

TNO heeft zowel bij hypothese 1 als hypothese 2 geen statistisch bewijs gevonden dat
de voorspellingen van het risicomodel nationaliteit afhankelijk zijn. Bij hypothese
2 is wel een risico gesignaleerd dat de voorspellingen van het risicomodel anders
kunnen zijn voor erkende referenten met een meerderheid aan kennismigranten van deze
specifieke nationaliteit. TNO spreekt van een risico dat is gesignaleerd op basis
van de kwantitatieve resultaten. Deze resultaten kunnen niet als statistisch bewijs
worden geïnterpreteerd dat het risicomodel in gebruik daadwerkelijk een voorkeur zal
hebben voor erkende referenten met een meerderheid van deze specifieke kennismigranten.

De data die voor de beantwoording van de hypothesen 1 en 2 beschikbaar was, is echter
ontoereikend om een nadere statistisch en wetenschappelijk onderbouwde uitspraak over
deze hypothesen te kunnen doen. Om die reden heeft de IND ertoe besloten om het nieuwe
risicomodel nog niet in gebruik te nemen en alsnog aanvullend data-onderzoek uit te
voeren. Het CBS is gevraagd de IND hierin te adviseren.

Robuustheid

TNO heeft ook onderzoek gedaan naar de robuustheid van het nieuwe risicomodel. Met
een robuust risicomodel wordt bedoeld dat de nauwkeurigheid en betrouwbaarheid van
het model zorgvuldig zijn vastgesteld. Dat wil zeggen dat het vermogen om correcte
voorspellingen (hoog, midden of laag risico) te maken is onderzocht met een gedegen
evaluatieproces.

De robuustheid van het model kan volgens TNO nog onvoldoende worden vastgesteld omdat
bij de ontwikkeling van het model is uitgegaan van een aanname die niet wetenschappelijk
is getoetst. Dit betreft de aanname dat erkende referenten waar in het verleden geen
handhavingsinterventie heeft plaatsgevonden voldoen aan de gestelde voorwaarden en
verplichtingen. Door aanvullend data-onderzoek uit te voeren wordt de IND in staat
gesteld om te beoordelen of deze aanname terecht is.

Vervolgproces

De IND neemt de aanbevelingen van TNO ter harte en gaat hiermee aan de slag. Het risicomodel
zal niet in gebruik worden genomen alvorens de aanbevolen acties zijn uitgevoerd en
hebben aangetoond dat de nauwkeurigheid en betrouwbaarheid van het model en het gebruik
van het model zorgvuldig zijn vastgesteld en bewust rekening wordt gehouden met risico’s
op bias en de impact op verschillende groepen.

De IND en TNO zetten de samenwerking omtrent betrouwbaar gebruik van AI-algoritmen
in 2023 voort. Met als doel dat de IND beter in staat wordt gesteld om te komen tot
een gedegen gebruik van algoritmes ter ondersteuning van de uitvoeringspraktijk. Hierbij
wordt zowel naar technische als naar organisatorische aspecten gekeken.

Voorafgaand aan de eventuele invoering van een nieuw risicomodel zal ik uw Kamer informeren
ten aanzien van de resultaten van de voortgezette samenwerking met TNO.

De Staatssecretaris van Justitie en Veiligheid,
E. van der Burg