Brief regering : Evaluaties Prognosemodel Justitiële Ketens (PMJ)

Nr. 753 BRIEF VAN DE MINISTER VAN JUSTITIE EN VEILIGHEID

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 12 november 2019

In de technische briefing aan de vaste commissie voor Justitie en Veiligheid op 1 oktober
jl. over het Prognosemodel Justitiële Ketens (PMJ) hebben leden van uw Kamer gevraagd
naar een overzicht van de evaluaties van dit model en de voorlopers daarvan (Jukebox
1 en 2). Zoals toegezegd tijdens de briefing wil ik langs deze weg de Kamer hierover
informeren.

Korte voorgeschiedenis

In 1989 zijn voor het eerst prognoses opgesteld voor de intramurale sanctiecapaciteit.
In de periode 1989–1996 vond deze exercitie vierjaarlijks plaats onder leiding van
een ambtelijke projectgroep. In 1997–1998 heeft de werkgroep «Prognose sanctiecapaciteit»
de organisatie van prognoses onderzocht en een prognose gemaakt voor de intra- en
extramurale sanctiecapaciteit. In opdracht van de werkgroep is het Jukebox 1 model
ontwikkeld. Dit model bevat geregistreerde criminaliteit, ophelderingen, schuldigverklaringen,
capaciteitsbehoefte gevangeniswezen en taakstraffen voor meerderjarigen. Al bij de
ontwikkeling van het Jukebox-model werd opgemerkt (Werkgroep Prognose Sanctiecapaciteit,
1997, bijlage 3.1, p. 5)1:«Overigens is het duidelijk dat, qua voorspelkracht, van geen enkel model wonderen
zijn te verwachten.»

In 2001 wordt het model uitgebreid met een module voor minderjarigen (Jukebox-2).
In 2003 is het model uitgebreid naar vrijwel de gehele veiligheidsketen en kreeg het
de huidige naam Prognosemodel Justitiële Ketens (PMJ). In 2004 is het model uitgebreid
met civiele rechtspraak, bestuursrechtspraak en rechtsbijstand in civielrechtelijke
en bestuursrechtelijke zaken. Sindsdien zijn er geen grote uitbreidingen of wijzigingen
geweest. Wel zijn er gaandeweg kleinere justitieonderdelen toegevoegd. Ook zijn er
belangrijke wijzigingen binnen het justitieveld doorgevoerd in het model, zoals onder
andere de geleidelijke overheveling van civiele plaatsen in de JJI naar VWS (2008–2010),
de invoering van de OM-strafbeschikking (rond 2010), het recht op een advocaat voorafgaande
aan het verhoor (Salduz), de introductie van werkomgevingen bij het OM (2018), etc.

Overzicht van evaluaties

Hoewel de naam en omvang van het model in de loop der jaren is veranderd, is de methodiek
sinds 1998 niet wezenlijk veranderd. Daarom zijn de conclusies van eerdere evaluaties
tot op zekere hoogte ook nog geldig voor de huidige versie van het model. Sommige
evaluaties hebben betrekking op het model, andere op het proces eromheen. Een deel
van deze evaluaties zijn ook destijds aan de Tweede Kamer aangeboden. Hieronder staat
een overzicht van alle evaluaties. Achteraan tussen haakjes staat op welk model de
evaluatie betrekking heeft:

• KPMG/BEA (1998). «De plausibiliteit van het prognosemodel sanctiecapaciteit». Hoofddorp:
KPMG/BEA. (Jukebox 1);

• Theeuwes, J.J.M. en J.M. de Winter (1998). «Econometrische evaluatie prognose sanctiecapaciteit».
Amsterdam: Stichting voor Economisch Onderzoek. (Jukebox 1);

• Spapens, A.C., Hoogeveen, C.E. &. Tits, M. van (2001). «Evaluatie van het model Jukebox
2. Plausibiliteit van de variabelen en verklaringsrelaties in het model». Tilburg:
IVA. (Jukebox 2);

• Bomhoff, E.J., Voort van der Kleij, G.T. van der, Sadiraj, K. (2002). «Tekort aan
cellen». Breukelen: NYFER. (Jukebox 1);

• DSRS (2002). «Prognoses sanctiecapaciteit. Evaluatie van het proces». Den Haag: Ministerie
van Justitie, Directoraat-Generaal Preventie, Jeugd en Sancties, Directie Sancties,
Reclassering en Slachtofferzorg. (Jukebox 1 en 2);

• Biermans, M., Leeuwen, M. van (2003).»SWOT-analyse modellen Veiligheidsketen». (Jukebox
1 en 2 en andere modellen die niet bij het WODC zijn ondergebracht, i.h.b. strafrechtketenmodel
(bij DFEZ), TBS-model (bij DJI), Vreemdelingenketenmodel (bij PCV), SDS-model (bij
DAJS));

• Goudriaan, R. (2004). «Beoordeling prognosemodel voor de veiligheidsketen». Den Haag:
APE. (PMJ-strafrecht);

• Felsö, F., Scheele, D., Bremer, S., Baarsma, B. (2006). «Evaluatie Prognosemodellen
Justitiële Ketens: Civiel en Bestuur». Amsterdam: SEO. (PMJ civiel en bestuur);

• Bont, P.F.H., Homburg, G.H.J., Rij, C. van (2009). «Evaluatie PMJ-systeem: van beleidsneutraal
naar beleidsrijk». Amsterdam: Regioplan. (PMJ);

• Moolenaar, D.E.G., Tulder, F.P. van, Gammeren-Zoeteweij, M. van (2009). «Terug naar
de toekomst. Het beroep op Justitie, 1997–2007: raming en realisatie». Den Haag: WODC/Rvdr,
cahier 2009–6. (PMJ);

• Everhardt, T., Vonk, J., Wilms, P. (2016). «Review PMJ ramingen. Second opinion van
de beleidsneutrale ramingen». Den Haag: APE. (PMJ);

• Moolenaar, D.E.G, Tulder, F.P. van, Decae, R., Smit, P.R., Diephuis, B. (2018) Terug
naar de toekomst II. Het beroep op justitiële voorzieningen 2008–2017: raming en realisatie.»
Den Haag: WODC/Rvdr, cahier 2018–6. (PMJ).

De conclusie van de meest recente externe evaluatie van Everhardt et al. (2016) luidde
dat «er geen aanwijzingen zijn dat het model fundamenteel zou moeten worden herzien
vanwege nieuwe econometrische en/of criminologische inzichten. (...) Het model zit
econometrisch goed in elkaar.» Wel adviseerden zij om de analyse van de voorspelfouten
uit 2009 te herhalen en de mogelijkheid van hoogfrequente data te onderzoeken. Het
resultaat daarvan is te lezen in Moolenaar et al. (2018). Zij concluderen:

• Er is geen sprake van structurele overschatting. Wel heeft het PMJ-model de neiging
om toekomstige trends conservatief in te schatten. Dat wil zeggen dat bij een opwaartse
trend het model doorgaans de groei minder sterk inschat dan feitelijk het geval zal
zijn, terwijl bij een neerwaartse trend het model de daling minder sterk zal inschatten
dan feitelijk het geval zal zijn.

• De voorspelfouten van PMJ zijn tot en met het eerste of tweede begrotingsjaar (drie
tot vier jaar vooruit) kleiner of vrijwel gelijk aan die van alternatieve eenvoudige
tijdreeksmodellen. Daarna is het beeld diffuus.

• Het PMJ-model voorspelt geen breuken in tijdreeksen.

• De kwaliteit van de ramingen van beleidseffecten is twijfelachtig.

• Het PMJ heeft als voordeel dat het de samenhang bevordert tussen de ramingen van diverse
onderdelen van de justitiële keten, en dat het simulaties van bepaalde beleidseffecten
en van snel wijzigende economische omstandigheden mogelijk maakt.

• Het gebruik van hoogfrequente data (bv. kwartaaldata) heeft als voordeel dat er meer
recente meetpunten zijn die het model mogelijk robuuster maken. Het nadeel is echter
dat met de introductie van kwartaalcijfers ook seizoenseffecten worden geïntroduceerd.
Dit stelt specifieke eisen aan de modellering en vergt een ingrijpende aanpassing
van het model. Het is dus geen kwestie van het huidige model op kwartaaldata draaien.
Bovendien is het onzeker of kwartaalcijfers wel beschikbaar zijn voor alle onderdelen
van het model, met name voor de exogene factoren.

Het volledige model is gepubliceerd in bijlage 4 van Moolenaar et al (2018). Naast
een forse dosis domeinkennis is ook wiskundige en statistische kennis vereist om alle
details te kunnen begrijpen. Voor de achtergrondfactoren maakt het PMJ grotendeels
gebruik van openbare databronnen, die door iedereen te raadplegen zijn. De gebruikte
data voor de te voorspellen justitieonderdelen zijn geaggregeerde data afkomstig van
de desbetreffende justitieonderdelen, die niet privacy gevoelig zijn en dus opvraagbaar
bij het WODC.

De Minister van Justitie en Veiligheid,
F.B.J. Grapperhaus