Antwoord schriftelijke vragen : Antwoord op vragen van de leden Kathmann en Mutluer over het onbetrouwbare algoritme dat jongeren als crimineel bestempelt
Vragen van de leden Kathmann en Mutluer (beiden GroenLinks-PvdA) aan de Minister van Justitie en Veiligheid en de Staatssecretaris van Binnenlandse Zaken en Koninkrijksrelatie over het onbetrouwbare algoritme dat jongeren als crimineel bestempelt (ingezonden 24 januari 2025).
Antwoord van Staatssecretaris Struycken (Justitie en Veiligheid), mede namens de Staatssecretaris
            van Binnenlandse Zaken en Koninkrijksrelaties (ontvangen 6 maart 2025). Zie ook Aanhangsel
            Handelingen, vergaderjaar 2024–2025, nr. 1296.
         
Vraag 1
            
Bent u bekend met het bericht «Onbetrouwbaar algoritme bestempelt jongeren als toekomstig
               crimineel» (Follow the Money, 20 januari)?1
Antwoord 1
            
Ja.
Vraag 2
            
Kunt u volledig uitleggen wat het doel en de functie is van het Preselect Recidive-algoritme?
               Hoe hangt dit samen met andere risicotaxatie-instrumenten?
            
Antwoord 2
            
Met het risicotaxatie-instrument Preselect Recidive wordt van jongeren die door de
               politie als verdachte worden verhoord een eerste inschatting gemaakt van het risico
               op herhaling. Deze inschatting wordt gemaakt met behulp van een wetenschappelijk gevalideerd
               analysemodel met informatie die bekend is bij de politie. In dit model zitten variabelen
               als eerdere politiecontacten, gepleegde delict(en) en leeftijd en geslacht van de
               jongere. De uitkomst van de Preselect Recidive wordt gebruikt bij de afweging in het
               zogenaamde afstemmingsoverleg «ZSM» ten aanzien van de vraag of verdere risicotaxatie
               voor de jongere noodzakelijk is. Er is bij de toepassing van de Preselect Recidive
               dus altijd sprake van een besluit door mensen, niet door een algoritme, waarbij ook
               andere informatie over de jongere wordt gebruikt. In het artikel van Follow the Money wordt de indruk gewekt dat de uitkomst van dit instrument bepalend is voor het vervolgtraject
               van een jeugdige verdachte. Dit is niet het geval. Het instrument wordt meegewogen
               bij de vraag of verdere risicotaxatie voor de jongere nodig is.
            
Voor een verdere toelichting op het doel en de functie van risicotaxatie-instrumenten
               in het algemeen en van de Preselect Recidive in het bijzonder, verwijs ik naar de
               brief van 6 maart 2025, waarin ik op verzoek van de vaste commissie voor Justitie
               en Veiligheid een reactie heb gegeven op het artikel van Follow the Money.In het antwoord op vraag 3 ga ik in op andere risicotaxatie-instrumenten en de samenhang
               met de Preselect Recidive.
            
Vraag 3
            
Welke soortgelijke instrumenten worden ook ingezet in de jeugdstrafrechtketen? Kunt
               u toelichten welke rol deze spelen, de relevante documentatie delen, en de systemen
               opnemen in het Algoritmeregister?
            
Antwoord 3
            
Diverse risicotaxatie-instrumenten uit de jeugdstrafrechtketen zijn gebundeld in het
               Landelijk Instrumentarium Jeugdstrafrechtketen (LIJ). Het gaat daarbij, naast de Preselect
               Recidive, om de volgende instrumenten:
            
– Halt-signaleringsinstrument.Het Halt-signaleringsinstrument (Halt-SI) wordt door Halt ingezet om een zo compleet
                     mogelijk beeld te krijgen van de jongere en diens omstandigheden. De uitkomsten geven
                     inzicht in het recidiverisico, risicofactoren voor recidive en een eventueel zorgelijke
                     psychosociale ontwikkeling bij een jongere. De uitkomst wordt gebruikt om vast te
                     stellen of doorverwijzing naar hulpverlening nodig is en om te bepalen welke modules
                     en leeropdrachten ingezet moeten worden.
                  
– Ritax.Met behulp van de Ritax wordt het Dynamisch Risico Profiel (DRP) in kaart gebracht.
                     Dit risicoprofiel geeft een overzicht van de dynamische risico- en beschermende factoren
                     die van invloed zijn op de kans dat de jongere opnieuw met politie en justitie in
                     aanraking komt. Door de Raad voor de Kinderbescherming wordt Ritax gebruikt om een
                     advies te formuleren ten aanzien van het vervolgtraject van een jeugdige verdachte.
                     Aan de hand van het DRP kan worden onderzocht of schorsing van de voorlopige hechtenis
                     van de jongere mogelijk is. Ook kan bekeken worden welke gedragsinterventie of jeugdreclasseringstoezicht
                     passend is. De jeugdreclassering gebruikt de Ritax voor het opstellen van een plan
                     van aanpak voor de jongere, een tussenevaluatie en een eindevaluatie.
                  
– Module Zorg. De Module Zorg is onderdeel van de Ritax. Naast het inschatten van relevante risico-
                     en beschermende factoren, worden in de Module Zorg signalen van zorgwekkende opgroei-
                     en opvoedsituaties in kaart gebracht. De Module Zorg heeft een signaalfunctie voor
                     ketenpartners.
                  
Een uitgebreide omschrijving van de inhoud en werking van de verschillende instrumenten
               is te vinden in de Handleiding LIJ (zie bijlage 1).
            
Een van de doelstellingen van het LIJ als geheel is informatiedeling en een eenduidige
               werkwijze van ketenpartners. Ketenpartners bouwen waar mogelijk voort op informatie
               die al eerder in de keten verzameld is. Dit scheelt tijd en voorkomt dat jongeren
               en ouders steeds weer dezelfde vragen moeten beantwoorden.
            
Er zijn Rijksbrede afspraken om eind 2025 ten minste alle hoog risico AI-systemen
               in het Algoritmeregister te publiceren. Ik wil transparant zijn over de risicotaxatie-instrumenten
               uit de jeugdstrafrechtketen en deze in het Algoritmeregister publiceren. De Ritax,
               het meest uitgebreide instrument uit het LIJ, is in 2023 door de Raad voor de Kinderbescherming
               opgenomen in het Algoritmeregister. Deze publicatie wordt voor eind 2025 aangevuld
               met de aanvullende Module Zorg. De Politie voert de Preselect Recidive in 2025 op
               in het Algoritmeregister. Voor Halt-SI wordt door JenV, in samenwerking met Halt,
               bezien of dit een hoog risico of impactvol algoritme betreft. Indien dit het geval
               is worden met Halt afspraken gemaakt over opname in het Algoritmeregister in 2025.
            
Vraag 4
            
Hoe worden het Dynamisch Risico Profiel (DRP) en het Algemeen Recidive Risico (ARR)
               berekend? Welke rol spelen deze profielen in het jeugdrecht?
            
Antwoord 4
            
Het Algemeen Recidive Risico
Het ARR is de uitkomst van het instrument Preselect Recidive. Het ARR geeft de geschatte
               kans dat een jongere opnieuw met politie en justitie in aanraking komt vanwege het
               plegen van een delict. Voor het vaststellen van het ARR («laag», «midden» of «hoog»)
               wordt gebruik gemaakt van statische (onveranderbare) risicofactoren. De variabelen
               uit het model zijn te vinden in hoofdstuk 3 van de Handleiding LIJ, deze wordt voor
               de volledigheid meegezonden (zie bijlage 1).
            
Het ARR wordt gebruikt bij de afweging in het zogenaamde afstemmingsoverleg ZSM ten
               aanzien van de vraag of verdere risicotaxatie voor de jongere noodzakelijk is. Naast
               het gepleegde delict en het ARR wordt hierbij ook gebruik gemaakt van andere informatie
               over de jongere die op dat moment bij de ketenpartners bekend is. Het ARR is daarmee
               altijd ondersteunend aan menselijke besluitvorming. De rol van de Preselect Recidive
               en het ARR in de jeugdstrafrechtketen wordt toegelicht in de beantwoording van vraag
               17, in de genoemde brief van 6 maart 2025 en de Handleiding LIJ (bijlage 1).
            
Het Dynamisch Risico Profiel
Het DRP is de uitkomst van de Ritax en wordt berekend door een optelsom van risico-
               en beschermende factoren van een jongere, gemeten op negen (leef)domeinen, zoals gezin,
               geestelijke gezondheid en agressie. Ieder domein kent diverse items, waarbij de professional
               vraagt naar onderwerpen zoals «Ernst/heftigheid van conflicten tussen gezinsleden»,
               «Stemming» en «Meldingen van gewelddadig gedrag». De totaalscores per domein (domeinscore)
               worden berekend door de scores van de verschillende items uit de betreffende domeinen
               bij elkaar op te tellen. Het DRP vormt samen met het ARR een indicator om toe te leiden
               naar passende interventies die door de Raad voor de Kinderbescherming of de Jeugdreclassering
               worden geadviseerd aan OM, de rechter en/of ten behoeve van het plan van aanpak voor
               toezicht en begeleiding van de Jeugdreclassering.
            
Voor een verdere uitleg over de berekening van het DRP verwijs ik u naar de Handleiding
               LIJ die voor de volledigheid wordt meegezonden (bijlage 1). De rol van de Ritax en
               het DRP in de jeugdstrafrechtketen wordt toegelicht onder vraag 3.
            
Vraag 5
            
Klopt het dat u overwogen hebt Preselect uit werking te nemen? Waarom heeft het gebruik
               van het algoritme toch doorgang gevonden? Geldt dit ook voor soortgelijke instrumenten?
            
Antwoord 5
            
Ten tijde van oplevering van het meeste recente validatieonderzoek (2023), is met
               ketenpartners besproken of het instrument nog voldoende betrouwbaar was voor toepassing
               in de praktijk. Destijds is geconcludeerd dat dit het geval was. Wel werd van belang
               geacht dat doorontwikkeling zo snel mogelijk plaatsvindt vanwege een afname in de
               voorspelkracht (zie vraag 27 voor een toelichting op het doorontwikkeltraject van
               de Preselect Recidive). Voor deze afweging is onder meer gekeken naar de impact op
               de jeugdstrafrechtketen, en daarmee de jongeren, indien het instrument tijdelijk niet
               meer gebruikt wordt en het voldoen aan de geldende wet- en regelgeving rondom toepassing
               van dergelijke instrumenten. Ook de afgenomen voorspelkracht van het instrument is
               meegewogen. Aangezien deze nog steeds acceptabel is volgens internationale standaarden,
               is geoordeeld dat het instrument nog steeds van meerwaarde is voor de praktijk (zie
               toelichting in de alinea hieronder over het gestructureerd professioneel oordeel).
            
In de eerder genoemde brief van 6 maart 2025 beschrijf ik daarnaast dat de huidige
               versie van Preselect Recidive grotendeels voldoet aan de vijf voorwaarden zoals gesteld
               door de Autoriteit Persoonsgegevens (AP) en hierdoor nog op een verantwoorde wijze
               kan worden gebruikt tot de nieuwe versie wordt ingevoerd. In de afweging om de Preselect
               Recidive te blijven gebruiken wordt ook de waarde van dit instrument voor de praktijk
               meegenomen. Uit onderzoek blijkt namelijk dat een voorspelling op basis van een gestructureerd
               professioneel oordeel (een combinatie van de professionele blik en een instrument)
               beter is dan een voorspelling op basis van een ongestructureerde klinische blik (zie
               vraag 17). Zonder een instrument ontstaat er een risico op tunnelvisie, waarmee de
               rechtsgelijkheid in het geding komt.
            
Voor de overige instrumenten van het LIJ wordt ook periodiek een validatieonderzoek
               uitgevoerd. Indien de resultaten van deze onderzoeken hier aanleiding toe geven, of
               wijzigingen in wet- en regelgeving, worden de instrumenten herzien.
            
Vraag 6
            
Waaruit blijkt dat Preselect voldoet aan wetenschappelijke normen en betrouwbaar genoeg
               is om gebruikt te worden in besluitvorming die kwetsbare jongeren aangaat?
            
Antwoord 6
            
Wetenschappelijke normen voor risicotaxatie-instrumenten kunnen betrekking hebben
               op: (a) theoretische onderbouwing, (b) betrouwbaarheid en (c) de predictieve validiteit.
            
a. Preselect Recidive heeft een stevige theoretische basis: de variabelen die onderdeel
                     uitmaken van het instrument zijn ruimschoots theoretisch en empirisch onderbouwd in
                     de wetenschappelijke literatuur.2
b. De betrouwbaarheid van instrumenten kan afnemen door een verschil in inschatting tussen
                     personen die het instrument hanteren. Dit speelt niet bij de Preselect Recidive omdat
                     dit instrument automatisch vanuit de politiesystemen gevuld wordt. De uitkomst van
                     de Preselect Recidive wordt wel met betekenisvolle menselijke tussenkomst toegepast.
                  
c. De predictieve validiteit van een instrument heeft betrekking op hoe vaak een juiste
                     voorspelling wordt gemaakt met een instrument. De predictieve validiteit van Preselect
                     Recidive is in meerdere studies onderzocht en is vergelijkbaar met instrumenten die
                     wereldwijd worden ingezet. De predictieve validiteit van de Preselect Recidive was
                     bij ontwikkeling hoog volgens internationale standaarden.3 In het laatste validatieonderzoek was dit acceptabel, en daarmee één van de redenen
                     voor doorontwikkeling (zie het antwoord vraag 27).
                  
Vraag 7
            
Kunt u alle documentatie over de ontwikkeling, technische werking en toepassing van
               dit algoritme delen met de Kamer?
            
Antwoord 7
            
Ik verwijs naar de Handleiding LIJ in bijlage 1. Hierin staat de ontwikkeling/opbouw,
               werking en toepassing van het algoritme beschreven (hoofdstuk 1 en 3).
            
Daarnaast verwijs ik naar diverse publicaties van Van der Put (Universiteit van Amsterdam).
               In deze publicaties staat de (statistische) ontwikkeling van de Preselect Recidive
               uitgewerkt:
            
– Van der Put, C. E (2012). Preselect Recidive.4
– van der Put, C. E. (2014). Youth actuarial risk assessment tool (Y-ARAT) the development
                     of an actuarial risk assessment instrument for predicting general offense recidivism
                     on the basis of police records. Assessment, 21(3), 340–351.5
– Van der Put, C.E. (2015). Ontwikkeling en validatie Preselect Recidive. Beschikbaar
                     via:6
– Van der Put, C.E. (2023). Validatie Preselect Recidive.7
Vraag 8
            
Is er een Privacy Impact Assessment (PIA) uitgevoerd voor het gebruik van Preselect?
               Wat waren de resultaten van deze PIA en is daar opvolging aan gegeven? Wanneer is
               voor het laatst een PIA uitgevoerd op Preselect en wanneer is de eerstvolgende PIA
               voorzien?
            
Antwoord 8
            
In 2025 wordt een gegevensbeschermingseffectbeoordeling (GEB/DPIA) uitgevoerd, als
               onderdeel van het implementatieproces van de herziene Preselect Recidive. Zie ook
               het antwoord op vraag 27 voor een toelichting op de herziening van de Preselect Recidive.
               Eerder is nog geen (D)PIA uitgevoerd voor de Preselect Recidive. De risicotaxatie-instrumenten
               die de politie gebruikt zijn ten tijde van ingebruikname getoetst in het kader van
               de toen geldende wettelijke privacykaders. De Preselect Recidive dateert uit 2013.
               Een (D)PIA, sinds 2018 verplicht, wordt door politie uitgevoerd in geval van de ingebruikname
               van een nieuw of vernieuwd instrument. De politie heeft in 2023 wel een toets gedaan
               op de kwaliteit van bronnen die gebruikt worden voor hun risicotaxatie-instrumenten
               in brede zin. Hier kwamen geen onregelmatigheden uit naar voren die aanleiding gaven
               tot aanpassing van de Preselect Recidive.
            
Vraag 9
            
Welke instanties maken gebruik van Preselect? Kunt u per instantie uitleggen met welk
               doel het algoritme wordt toegepast?
            
Antwoord 9
            
Ik verwijs u naar mijn antwoord op vraag 3 en de genoemde brief van 6 maart 2025.
Vraag 10
            
Hoe zorgt u ervoor dat instanties die Preselect momenteel gebruiken om voorspellende
               lijsten met verdachte jongeren op te stellen, deze werkwijze zo snel mogelijk stopzetten?
            
Antwoord 10
            
Preselect Recidive is ontwikkeld om in te schatten of aanvullende risicotaxatie nodig
               is voor een jeugdige verdachte in het strafrecht. De Preselect Recidive mag uitsluitend
               gebruikt worden op het ZSM-overleg en niet voor andere doeleinden. Waar eerder in
               de praktijk is gesignaleerd dat risicotaxatie-instrumenten of scores werden hergebruikt
               of toegepast in niet daarvoor bedoelde processen, zijn door de politie maatregelen
               genomen om dit te stoppen. Met politie worden periodiek overleggen gevoerd over onder
               andere de juiste toepassing van de Preselect Recidive.
            
Vraag 11
            
Is er één standaard vastgesteld voor het verantwoorde gebruik van Preselect? Zo ja,
               kunt u deze delen? Zo niet, kunt u deze zo snel mogelijk ontwikkelen?
            
Antwoord 11
            
Ja, er is één standaard vastgesteld voor het verantwoorde gebruik van de Preselect
               Recidive. Ik verwijs u naar de Handleiding LIJ (bijlage 1) voor een gedetailleerde
               beschrijving.
            
Vraag 12
            
Op basis van welke factoren berekent Preselect een score voor jongeren? Kunt u een
               lijst maken van alle bronnen die het algoritme raadpleegt?
            
Antwoord 12
            
De Preselect Recidive wordt gevuld op basis van het landelijke bedrijfsprocessensysteem
               van de Politie (BVI). Hieruit wordt informatie gehaald zoals het totaal aantal incidenten
               waarbij de jongere de rol van verdachte heeft, de leeftijd van de jongere ten tijde
               van het eerste delict en het totaal aantal incidenten waarbij de jongere de rol van
               betrokkene heeft. Voor een volledig overzicht verwijs ik u naar hoofdstuk 3 van de
               Handleiding LIJ.
            
Vraag 13
            
Worden registraties van verdenkingen die nooit zijn bewezen of hebben geleid tot vrijspraak
               ook meegerekend in de risicoscore van een jongere?
            
Antwoord 13
            
Bij een sepot onterecht verdachte of vrijspraak wordt de registratie niet meer meegerekend in de risicoscore van de
               jongere. Tevens worden registraties die ouder zijn dan vijf jaar verwijderd (conform
               artikel 8, zesde lid Wet politiegegevens) en hierdoor niet meegenomen in de berekening.
            
Vraag 14
            
Hoe voorkomt u dat er ongelijke behandeling plaatsvindt bij hetzelfde misdrijf door
               het gebruik van het algoritme?
            
Antwoord 14
            
Met de Preselect Recidive wordt op basis van een wetenschappelijk getoetst en genormeerd
               model een inschatting gemaakt of verdere risicotaxatie noodzakelijk is bij de jeugdige
               verdachte. Deze inschatting wordt gemaakt op basis van diverse factoren uit het politieregistratiesysteem
               (zie hoofdstuk 3 van de Handleiding LIJ voor de lijst met variabelen). Bij jongeren
               die eenzelfde delict plegen, maar op andere variabelen die voorspellend zijn voor
               recidive anders scoren (bijvoorbeeld het aantal eerdere registraties van de betreffende
               jongere in de rol van verdachte), volgt mogelijk een andere uitkomst van de Preselect
               Recidive. Hierbij is er geen sprake van een ongelijke behandeling ten nadele van de
               jongere, maar van een afweging over de meest passende interventie om het risico op
               recidive te beperken. De afweging over het vervolg en het advies van de Preselect
               Recidive hierbij is maatwerk, de uitkomst van het instrument is ondersteunend aan
               menselijke beoordeling. Bovendien versterkt juist de combinatie van de professionele
               blik en een objectief gestructureerd instrument een uniforme werkwijze en daarmee
               gelijkere bejegening. De toepassing van een instrument verkleint de kans dat het eigen
               interpretatiekader van professionals een (grote) rol speelt in het besluit over het
               vervolgtraject van de jeugdige verdachte.
            
Vraag 15
            
Vindt u het terecht dat variabelen als «omstander» of «huisgenoot» als risicofactor
               kunnen worden beschouwd in het Preselect-algoritme? Zo ja, kunt u aangeven hoe u dat
               relateert aan het concept «afgeleide schuld»?
            
Antwoord 15
            
Als een ARR-score wordt opgesteld, dan is de jongere inmiddels zelf in de rol van
               verdachte bekend bij politie. De Preselect Recidive wordt dus alleen afgenomen als
               een jeugdige zelf verdacht wordt van een strafbaar feit. Daarnaast weten we uit de
               wetenschappelijke literatuur dat blootstelling aan crimineel gedrag dan wel (ervaren)
               druk om mee te participeren risicofactoren zijn voor recidive. Dat blijkt ook uit
               onderzoeken uitgevoerd op politiegegevens. In het huidige model zijn deze variabelen
               (aantal registraties rol betrokken («omstander») en aantal registraties medebewoners
               rol verdachte («huisgenoot»)) opgenomen.
            
Voor de instrumenten van het LIJ wordt daarbij altijd kritisch gekeken naar de samenstelling
               van de instrumenten. Indien blijkt dat variabelen uit het model achterwege gelaten
               kunnen of moeten worden dan gebeurt dit ook. Voor alle variabelen uit het model wordt
               dit heroverwogen in de doorontwikkeling van de Preselect Recidive. Daarbij wordt ook
               afgewogen of er belangrijke informatie wordt gemist voor een passende behandeling.8
Het concept afgeleide schuld9 speelt hier geen rol: de Preselect Recidive geeft een advies over de noodzaak van
               aanvullende risicotaxatie en niet over schuldbepaling dan wel de benodigde strafmaat.
               Bovendien spelen variabelen als «omstander» of «huisgenoot» pas een rol als de jongere
               zelf wordt verdacht van een strafbaar feit en de Preselect Recidive wordt toegepast.
            
Vraag 16
            
Op welke data is Preselect getraind? Is deze data zuiver en voldoende representatief?
               Is er gecontroleerd voor (onbewuste en/of systematische) vooroordelen in de trainingsdata?
            
Antwoord 16
            
De Preselect Recidive maakt gebruik van statische (onveranderbare) risicofactoren.
               Bij het bepalen van deze factoren is gebruik gemaakt van twee (willekeurige) steekproeven
               in de data, waarbij de ene steekproef is gebruikt om Preselect Recidive op te ontwikkelen
               en de andere steekproef om deze te valideren.10 Deze data zijn afkomstig uit het landelijke bedrijfsprocessensysteem van de politie
               (BVI).
            
De kwaliteit van een dataset is altijd afhankelijk van de kwaliteit van ingevoerde
               data. Dat is voor de Preselect Recidive niet anders dan voor andere instrumenten.
               Pakkans en prevalentie van de doelgroep spelen ook een rol bij de representativiteit
               van de data. Daarom worden instrumenten van het LIJ periodiek geëvalueerd en ook tussentijds
               wordt continue afgewogen of er voldoende gerechtvaardigd belang en empirische onderbouwing
               is van het model.
            
Vraag 17
            
Deelt u de zorgen dat een algoritme in grote mate sturend kan zijn voor de betrokken
               (politie)medewerker die een casus beoordeelt? Hoe wordt waardevolle menselijke tussenkomst
               gegarandeerd?
            
Antwoord 17
            
Ik begrijp de zorg want het instrument geeft inderdaad mede richting aan het besluit,
               maar met betekenisvolle menselijke tussenkomst en het gebruik van diverse informatiebronnen
               ondervangen we dat er automatische en eenzijdige besluitvorming plaatsvindt. Dat gebeurt
               als volgt.
            
Betekenisvolle menselijke tussenkomst is een essentieel onderdeel in de opvolging
               van de Preselect Recidive. De inschatting van laag, midden of hoog risico (het ARR)
               is een van de informatiebronnen waar de het afstemmingsoverleg ZSM gebruik van maakt.
               In dit overleg wordt met de diverse betrokken professionals door het Openbaar Ministerie
               op basis van deze verschillende informatiebronnen besloten welk vervolg de jeugdige
               verdachte krijgt. Uit onderzoek blijkt dat een voorspelling op basis van een gestructureerd
               professioneel oordeel (een combinatie van de professionele blik en een instrument)
               beter is dan een voorspelling op basis van een ongestructureerde klinische blik.11 Daarmee is de combinatie die op het ZSM-overleg wordt gehanteerd, namelijk een professioneel
               oordeel aangevuld met de analyse door een instrument, een meer betrouwbare manier
               waarop een besluit genomen kan worden dan uitsluitend op basis van het oordeel van
               de professional.
            
Vraag 18
            
Met welke regelmaat wordt de werking en het gebruik van Preselect onafhankelijk doorgelicht?
               Kunt u alle bij u bekende onderzoeken naar dit algoritme delen met de Kamer?
            
Antwoord 18
            
De doelstelling van het LIJ is om instrumenten eens in de vijf jaar te valideren.
               Deze termijn biedt de mogelijkheid om tot voldoende respondenten (jongeren) te komen
               waarbij het instrument is afgenomen, om vervolgens valide uitspraken te kunnen doen.
               Ook wordt hiermee aangesloten bij de termijn van drie tot vijf jaar voor recidivemetingen,
               zoals gehanteerd door het WODC en/of het CBS. Daarnaast worden alle instrumenten of
               aanpassingen daaraan steeds voorgelegd aan een onafhankelijke toetsingscommissie.
               Voor de Preselect Recidive heeft dit langer geduurd, vanwege vertraging in het leveren
               van de benodigde data. Zie onder vraag 7 welke documenten ik hierover met u deel.
            
Vraag 19
            
Wat is het percentage valspositieven dat Preselect oplevert? Hoe vaak komt het voor
               dat een jongere ten onrechte een te hoge of lage score wordt toebedeeld?
            
Antwoord 19
            
Het bepalen van valspositieven of -negatieven is complex, omdat:
– de Preselect Recidive geen «ja/nee» uitkomst heeft, maar een indeling in drie groepen
                     (laag, midden en hoog risico) aangezien ook voor de groep met een laag risico de inschatting
                     is dat er nog enige kans op recidive is, en;
                  
– het bepalen van causaliteit ingewikkeld is omdat hiervoor gecontroleerd moet worden
                     voor een eventueel ingezette interventie.
                  
De score wordt altijd bezien in het geheel van andere beschikbare informatie en heeft
               geen één-op-één-relatie met de gekozen interventie. Aan de Preselect Recidive score
               is geen direct gevolg gekoppeld; zie ook het antwoord op vraag 17.
            
Vraag 20
            
Waarom staat het algoritme niet opgenomen in het Algoritmeregister? Kunt u alsnog
               het algoritme zo snel als mogelijk volledig transparant in het Algoritmeregister opnemen?
            
Antwoord 20
            
In 2025 registreert de politie het algoritme van de Preselect Recidive in het Algoritmeregister.
Vraag 21
            
Gaat u ouders, jongeren en jeugdrechtadvocaten voortaan altijd informeren als en hoe
               Preselect is toegepast in de besluitvorming? Op welke termijn en op welke manier gaat
               u dit doen?
            
Antwoord 21
            
Ja, dat zal ik in 2025 doorvoeren voor alle jongeren bij wie de Preselect Recidive
               wordt afgenomen. Nu gebeurt dat al bij een deel van de jongeren, namelijk bij de jongeren
               voor wie de Raad voor de Kinderbescherming een onderzoek doet. Ik wil voor deze ontwikkeling
               aanhaken bij al bestaande voorzieningen om jongeren, ouder(s)/verzorger(s) en andere
               betrokken zo laagdrempelig mogelijk te informeren.
            
Vraag 22
            
Bent u bereid om een inschatting te (laten) maken of jongeren onrechtmatig of incorrect
               zijn geprofileerd door het gebruik van Preselect? Kunt u de eventuele gevolgen die
               dit heeft gehad ook inschatten?
            
Antwoord 22
            
Door voor de instrumenten uit het LIJ periodiek te toetsen of aanpassing nodig is,
               breng ik in kaart of de instrumenten werken zoals beoogd en voldoen aan wet- en regelgeving.
               In het IAMA dat uitgevoerd wordt voor de herziene Preselect Recidive is bovendien
               specifiek aandacht voor het naleven van de grondrechten en daarmee onder andere het
               risico op profilering bij de inzet van algoritmes. Waar nodig stuur ik bij. Het is
               echter inherent aan risicotaxatie-instrumenten dat deze geen perfecte schatting geven.
               De Preselect Recidive wordt daarom nooit gebruikt als automatische doorverwijzing,
               maar er is altijd sprake van betekenisvolle menselijke tussenkomst. Bovendien kan
               er op verschillende momenten in de jeugdstrafrechtketen bijgestuurd worden indien
               het ingezette traject toch te zwaar of te licht blijkt.12 Hiermee wordt ook voorzien in bijsturing op casusniveau. Een inschatting geven is
               daarnaast complex, omdat de Preselect Recidive in de besluitvorming niet de enige
               factor is die wordt meegewogen.
            
Vraag 23
            
Gaat u jongeren, ouders en jeugdrechtadvocaten in staat stellen om bezwaar te maken
               als zij vermoeden dat het algoritme heeft geleid tot een verkeerde uitkomst?
            
Antwoord 23
            
Zoals ook is toegelicht in het antwoord op vraag 17, liggen verschillende informatiebronnen
               ten grondslag aan de beslissing welk vervolg een jeugdige verdachte krijgt. Er is
               dus geen besluitvorming op basis van enkel de uitkomst van de Preselect Recidive.
               Ik zie daarom geen aanleiding om het bezwaar maken tegen een beslissing vanwege de
               uitkomst van de Preselect Recidive mogelijk te maken.
            
Vraag 24
            
Deelt u de conclusie van de vier wetenschappers van de Radboud Universiteit dat «de
               voorspellende waarde van Preselect beperkt [is] en voor jongeren riskante gevolgen
               [kan] hebben»?
            
Antwoord 24
            
De voorspellende waarde van Preselect is vergelijkbaar met instrumenten die wereldwijd
               worden toegepast om recidive te voorspellen; zie ook het antwoord op vraag 6. Omdat
               de voorspellende waarde nooit perfect is, is de uitkomst van het instrument nooit
               leidend. Preselect Recidive wordt gebruikt om te adviseren of aanvullende risicotaxatie
               nodig is. Daarmee deel ik de conclusie niet dat dit riskante gevolgen kan hebben voor
               een jeugdige verdachte, maar juist helpt te komen tot een goed passende interventie.
            
Vraag 25
            
Kunt u het onderzoek van de Universiteit van Amsterdam uit 2023, waaruit naar eigen
               zeggen blijkt dat de voorspellende waarde van Preselect laag is, delen met de Kamer?
            
Antwoord 25
            
Ja, zie mijn antwoord op vraag 7 voor de gevraagde publicatie.
Vraag 26
            
Hoe is er opvolging gegeven om de tekortkomingen die de Algemene Rekenkamer in 2022
               constateerde bij de inzet van algoritmes in het jeugdrecht? Zijn alle aanbevelingen
               geïmplementeerd?13
               14
Antwoord 26
            
Voor het antwoord op de vraag verwijs ik u naar het «Verantwoordingsonderzoek 2023
               Ministerie van Justitie en Veiligheid» van de Algemene Rekenkamer.15 Hieruit is gebleken dat de aanbevelingen naar tevredenheid van de Algemene Rekenkamer
               zijn opgevolgd en dat het aandachtspunt16 dat de Algemene Rekenkamer meegaf, is komen te vervallen. De aanbevelingen en vereisten
               die hieruit naar voren kwamen, worden nu standaard meegenomen in de ontwikkeling rondom
               alle instrumenten van het LIJ waaronder de Preselect Recidive.
            
Vraag 27
            
Op welke manier wordt Preselect nu doorontwikkeld? Kunt u de Kamer blijvend informeren
               over het gebruik en de doorontwikkeling van het algoritme?
            
Antwoord 27
            
Voor de Preselect Recidive is het meest recente valideringsonderzoek in 2023 uitgevoerd.
               Met dit onderzoek is getoetst of het instrument nog werkt zoals beoogd. Hieruit bleek
               dat een aanpassing van het model zoals ontwikkeld in 2013 noodzakelijk was, vooral
               op de volgende punten:
            
– het verhogen van de predictieve validiteit (voorspelkracht) door een aanpassing van
                     het onderliggend statistische model;
                  
– het opnieuw inschatten van een juiste subgroep-indeling (wanneer wordt de kans op
                     recidive op laag, midden of hoog geschat), en;
                  
– onderzoeken in hoeverre de variabelen uit het model nog (empirisch) verantwoord zijn.
Vervolgens heeft de Universiteit van Amsterdam in opdracht van mijn ministerie in
               2024 een vervolgonderzoek uitgevoerd naar de benodigde aanpassingen. Dit onderzoek
               dient als uitgangspunt voor de verbeteringen die in 2025 worden doorgevoerd, zoals
               hierboven genoemd. Daartoe behoort het aanscherpen van de bestaande kwaliteitscyclus,
               zoals de standaard periodieke evaluaties, het uitvoeren van een Data protection impact assessment (DPIA) en een Impact Assessment Mensenrechten en Algoritmes (IAMA), het herinrichten
               van taken en verantwoordelijkheden en het verbeteren van de informatievoorziening
               aan jongeren, ouder(s)/verzorger(s). Over de voortgang van de doorontwikkeling zal
               ik de Kamer in de tweede helft van 2025 informeren.
            
Vraag 28
            
Kunt u deze vragen afzonderlijk van elkaar en zo spoedig mogelijk beantwoorden?
Antwoord 28
            
Met bovenstaande beantwoording verwacht ik aan uw verzoek te hebben voldaan.
Ondertekenaars
- 
              
                  Eerste ondertekenaar
T.H.D. Struycken, staatssecretaris van Justitie en Veiligheid - 
              
                  Mede namens
F.Z. Szabó, staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties 
Bijlagen
Gerelateerde documenten
Hier vindt u documenten die gerelateerd zijn aan bovenstaand Kamerstuk.