Brief regering : Beleidsreactie op het onderzoeksrapport ‘Counterterrorism evaluation, taking stock and looking ahead’

Nr. 471 BRIEF VAN DE MINISTER VAN JUSTITIE EN VEILIGHEID

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 30 oktober 2018

Hierbij bied ik uw Kamer het onderzoeksrapport «Counterterrorism evaluation, taking
stock and looking ahead» aan1. Het rapport is opgesteld door RAND Europe in opdracht van het Wetenschappelijk Onderzoeks-
en Documentatie Centrum (WODC). Ik dank de onderzoekers voor hun grondige en inzichtelijke
studie naar zowel Nederlandse als buitenlandse evaluaties van contraterrorisme (CT)-beleid.
Dit rapport kan een bijdrage leveren aan de verdere ontwikkeling van CT-evaluaties
en daarmee aan de ontwikkeling van het CT-beleid.

Belang van evalueren

De noodzaak tot evalueren is evident, want wat mij betreft vormen onderzoek en evaluatie
een onlosmakelijk onderdeel van beleidscycli. Daarbij is het niet alleen belangrijk
om te evalueren achteraf, maar juist ook tijdens de beleidsuitvoering, zodat eventueel
kan worden bijgestuurd in beleid en maatregelen.

Om die reden is in het recente verleden vanuit mijn departement en in samenwerking
met de ketenpartners geïnvesteerd in evaluaties. Zo is de Contra Terrorisme Strategie
2011–2015 geëvalueerd door de Universiteit van Utrecht2 en is het Actieprogramma Integrale Aanpak Jihadisme geëvalueerd door de Inspectie
Veiligheid en Justitie.3

Bij de uitvoering van deze eerdere evaluaties, is men gestuit op een aantal gelijkluidende
knelpunten als die in het onderzoek van Rand zijn geïdentificeerd. De belangrijkste
daarvan is dat effectonderzoek bij contraterrorismebeleid lastig blijkt. Causaliteit
is bijna niet aan te tonen als gevolg van een gebrek cases, controlegroepen en vanwege
de complexe dynamiek van het beleidsterrein.

De CT-strategie 2016–2020 zal ook geëvalueerd worden. De lessen uit het nu voorliggende
onderzoek worden daar in meegenomen.

Toelichting opzet rapport

Zoals het rapport van RAND Europe aangeeft, heeft het CT-beleid in de afgelopen jaren
een hele ontwikkeling doorgemaakt. Waar het beleid en de maatregelen aanvankelijk
vooral waren gericht op het voorkomen van aanslagen zoals die op 11 september 2001
in de Verenigde Staten, is de overheid zich na verloop van tijd meer gaan richten
op een zogenaamde «brede benadering» van de problematiek. In dit kader kwam er meer
aandacht voor het versterken van de weerbaarheid tegen gewelddadig extremistische
ideologieën en het aan de wortel aanpakken van gewelddadig extremisme. Dit wordt ook
wel preventie en tegengaan van gewelddadig extremisme genoemd (PCVE).

Nederland heeft in de afgelopen jaren beperkt te maken gehad met terrorisme of gewelddadig
extremisme. In hoeverre maatregelen en beleid succesvol bijdragen aan het tegengaan
van terrorisme en gewelddadig extremisme probeert de regering inzichtelijk te maken
middels evaluaties van beleid.

Het onderzoek van Rand Europe richt zich op twee aspecten. Allereerst biedt het onderzoek
inzicht in de wijze waarop binnen- en buitenlandse evaluaties van beleid gericht op
CT en PCVE in de afgelopen vijf jaar zijn opgezet en uitgevoerd. Ten tweede brengt
het onderzoek op basis van de analyse van de geïnventariseerde evaluaties enkele lessen
voort ten aanzien van het evalueren van CT- en PCVE-beleid.

Wijze van evalueren

Uit het onderzoek blijkt dat de evaluaties die zijn gedaan niet volgens een vast stramien
zijn uitgevoerd. Er zijn evaluaties die zich richten op de effecten van CT- en PCVE-programma’s
of initiatieven op individuen, groepen of de sociale omgeving en er zijn evaluaties
die zich richten op de effecten van beleid en/of strategieën. Sommige evaluaties richten
zich specifiek op alleen CT- of alleen PCVE-maatregelen, terwijl anderen beide combineren.

In de meeste geïnventariseerde evaluaties kunnen geen robuuste uitspraken worden gedaan
over de relatie tussen de interventies en de geobserveerde effecten. Door het ontbreken
van een nulmeting en een «counterfactual» (zoals een controlegroep) kan niet worden
vastgesteld of de opgetreden verandering heeft plaatsgevonden als gevolg van de interventie.
Of er dus sprake is van een causale relatie is ongewis. Ten aanzien van de overgrote
meerderheid van de geïnventariseerde evaluaties geldt dat überhaupt geen evaluatiekader,
scoringssysteem of indicatoren worden toegepast die de voortgang, de implementatie
en de effecten van de maatregelen bijhouden.

Lessen

Het onderzoeksrapport leert dat het complexe karakter van CT- en PCV-maatregelen gevolgen
heeft voor de evaluatie ervan. Hierbij kan worden gedacht aan het ontbreken van een
brede consensus over de definities van de begrippen die horen bij CT en PCVE en de
uitdagingen die dit met zich meebrengt voor evaluatieonderzoek. Daarnaast blijkt het
volgens de onderzoekers moeilijk om veiligheidsbelangen af te wegen tegen andere belangen.
Bovendien is het landschap van belanghebbenden complex en is de kennis over de maatregelen
die worden geëvalueerd beperkt.

Ook van belang zijn onder andere het gebrek aan criteria voor het meten van de effectiviteit
van de maatregelen op de lange termijn. Daarnaast blijkt het lastig om sociale normen
en verwachtingen meetbaar te maken. Zo is het bijvoorbeeld mogelijk dat deelnemers
aan een programma behalve door de interventie zelf ook door veranderingen in hun sociale
omgeving worden beïnvloed. Daarnaast bestaat er een gebrek aan robuuste methoden om
te meten in hoeverre doelgroepen zijn blootgesteld aan interventies, zoals de mate
waarin zij iets hebben meegekregen van een bewustwordingscampagne.

De onderzoekers stellen dat er moeilijkheden ontstaan bij het evalueren van maatregelen
indien daarbij geen gebruik wordt gemaakt van een «theory of change» of interventielogica
waarin de logische oorzaak-gevolgketen van de beoogde (en verwachte) effecten uiteen
wordt gezet. Ook geven veel geïnventariseerde evaluaties volgens de onderzoekers blijk
van moeite met het isoleren van de effecten van beleid, een programma of een ander
type interventie en dus met het garanderen dat deze alleen kunnen worden toegedicht
(geattribueerd) aan de interventie. Bovendien blijkt het gebruik van onderzoeksmethoden
die de meest valide en betrouwbare resultaten beloven, zoals «(quasi) gerandomiseerd
onderzoek met een controlegroep en longitudinale studies, volgens de onderzoekers
moeilijk te verenigen met de beleidspraktijk van CT en PCVE.

Tevens benoemen de onderzoekers enkele praktische knelpunten bij de uitvoering van
evaluaties, zoals een gebrek aan financiële middelen, tijd en expertise.

Aanbevelingen

Bovenstaande conclusies leiden tot een aantal aanbevelingen. Zo stellen de onderzoekers
om te blijven investeren in het (laten) evalueren van CT- en PCVE-maatregelen. Ze
geven aan dat het verkrijgen van inzicht in de effectiviteit van beleid tijd, expertise,
vaardigheden, mankracht en dus financiële middelen vergt. Ook moet geïnvesteerd blijven
worden in onderzoek gericht op de inventarisatie en analyse van dit type evaluaties.

Daarbij is het wel van belang dat voldaan wordt aan vereisten van kwaliteit en robuustheid.
Hierbij kan worden gedacht aan het verzamelen en analyseren van empirische data over
de implementatie en de effecten van de maatregel in kwestie, het gebruik van verschillende
methodologieën en het op een adequate manier betrekken van belanghebbenden bij het
onderzoek. Om deze kwaliteitsslag te kunnen maken, zullen evaluatoren meer transparantie
en duidelijkheid moeten bieden in het rapporteren over de evaluatiemethoden die worden
gebruikt. Hun opdrachtgevers moeten daarvoor dan wel de gelegenheid geven.

De onderzoekers geven aan dat waar mogelijk (quasi-) experimentele evaluatieontwerpen
moeten worden aangemoedigd. Ook wordt aanbevolen om in toekomstig onderzoek naar de
evaluatiepraktijk binnen de CT- en PCVE-beleidsterreinen een nadruk te leggen op het
ontwikkelen van nieuwe evaluatieontwerpen, -methodes en analytische kaders, om zo
de CT- en PCVE-evaluaties theoretisch beter te onderbouwen en robuuste uitspraken
over causaliteit mogelijk te maken.

De onderzoekers geven aan dat belangrijke informatie en gegevens beter beschikbaar
moeten komen voor evaluatieonderzoek, ook als deze informatie mogelijk gevoelig of
vertrouwelijk is. Deze situatie kan worden verbeterd door (1) het creëren van mogelijkheden
voor onderzoekers om op een veilige en vertrouwelijke wijze toegang te krijgen tot
gevoelige informatie over CT en PCVE-initiatieven; (2) het verbeteren van de mogelijkheden
voor het delen en uitwisselen van gegevens tussen onderzoekers; en (3) regelmatig
nulmetingen uit te voeren en gegevens te verzamelen over de implementatie en uitkomsten
van de maatregelen.

Vervolg

Ik onderschrijf de aanbeveling van de onderzoekers dat blijvend geïnvesteerd moet
worden in het (laten) evalueren van CI- en PCVE-maatregelen. Juist vanwege het veranderlijke
karakter van de dreiging, vind ik het van belang dat continue moet worden bezien of
de maatregelen die worden ingezet gelijke pas houden met de aard van de dreiging.

De beleidsmaatregelen op het gebied van CT en PCVE in Nederland zijn voor een belangrijk
deel gebaseerd op de nationale CT Strategie 2016–20204. Zoals gebruikelijk, vindt in 2019 een uitgebreide evaluatie plaats, die als input
kan dienen bij het vormgeven van de nieuwe CT Strategie. In die evaluatie neem ik
de aanbevelingen die de onderzoekers van RAND Europe doen, mee.

Tevens zal ik het onderzoek onder de aandacht brengen bij onze Europese en internationale
partners op het gebied van terrorismebestrijding. Ook in internationaal verband is
het belangrijk om evaluatieonderzoeken met elkaar te delen en elkaar te informeren
over casuïstiek.

Ik wil de geleerde lessen uit het onderzoek van RAND Europe echter breder implementeren
dan alleen in het beleid op het gebied van CT en PVCE.

Ik stimuleer de partners in het veiligheidsnetwerk op verschillende nationale veiligheidsonderwerpen
om te evalueren en ter ondersteuning van dit beleidsvoornemen stel ik eind 2019 een
handreiking beschikbaar die hiertoe praktische handvatten biedt.

Elementen die door de onderzoekers van RAND Europe worden genoemd, die ik in de handreiking
wil meenemen, zijn:

• het inzetten op een brede consensus over de definitie van essentiële begrippen;

• het aansluiten bij de wetenschappelijke inzichten over het valide en betrouwbaar evalueren
van beleid;

• het transparant maken van de diverse belangen, om die vervolgens te kunnen afwegen;

• adequate operationaliseringen en indicatoren voor effectmetingen van beleid;

Een lastig onderwerp in de beleidsevaluatie, dat ook door de onderzoekers van RAND
Europe wordt genoemd, is het delen van vertrouwelijke informatie. Ik ga dat onderwerp
in mijn afstemming met de ketenpartners adresseren en inzetten op een oplossing voor
het kunnen delen van (vertrouwelijke) informatie, bijvoorbeeld door middel van compartimentering.

Indien daartoe noodzaak blijkt, moet binnen het evaluatiekader ook ruimte zijn voor
diepgaandere vergelijkende analyse.

De handreiking kan worden toegepast binnen de evaluatie van de CT Strategie in 2019.
Ik maak bij het vaststellen van dit kader niet alleen dankbaar gebruik van de inzichten
van RAND Europe, maar ik beoog mij daarin ook te laten bijstaan door het WODC.

Het is mijn ambitie om beleidsevaluatie breed te verankeren en te bewerkstelligen
dat in toekomstige beleidsevaluaties robuuste uitspraken mogelijk zijn over de effectiviteit
en efficiëntie van beleid, waaronder dat op het gebied van CT en PVCE.

De Minister van Justitie en Veiligheid,
F.B.J. Grapperhaus