Brief regering : Voortgangsrapportage Operatie Inzicht in Kwaliteit

Nr. 156
BRIEF VAN DE MINISTER VAN FINANCIËN

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 30 september 2019

In mijn brief van 6 juli 20181 schetste ik u de contouren van de in het regeerakkoord aangekondigde operatie «Inzicht
in Kwaliteit» (hierna: de operatie). Op 4 februari 2019 stuurde ik u de eerste voortgangsrapportage
van de operatie2. Langs deze weg stuur ik u de tweede voortgangsrapportage.3

Woord vooraf: een goed startpunt en hardnekkige dilemma’s

Burgers hebben recht op een doeltreffende en doelmatige besteding van schaarse publieke
middelen. Zo eenvoudig als het is om het hierover eens te worden, zo ingewikkeld is
het om dit in de praktijk te realiseren. Het kabinet is de operatie Inzicht in Kwaliteit
gestart met als doel om meer inzicht te krijgen in de resultaten van beleid en deze
inzichten meer te benutten om de maatschappelijke toegevoegde waarde van beleid te
vergroten. Zoals beschreven in de eerste voortgangsrapportage doet de operatie dit
op twee manieren: door op een serie beleidsterreinen bij te dragen aan het vergroten
van bruikbaar inzicht (de departementale initiatieven) en door het Rijksbrede «evaluatiestelsel»
te versterken en zo ook structureel meer inzicht te verkrijgen en benutten.

Ons startpunt daarbij is goed. Er wordt in Nederland veel geëvalueerd, verbeterd en
verantwoord. We hebben een sterke set Rijksbrede regels, processen en onafhankelijke
instituties. Veel partijen binnen en buiten de rijksoverheid nemen zelf initiatief
om meer, beter en anders te evalueren. Internationaal wordt Nederland vaak gezien
als voorbeeld van een land dat het stelsel op hoofdlijnen goed voor elkaar heeft.

Ondanks dat zijn we niet tevreden. Het verkrijgen en benutten van inzicht in de kwaliteit
van beleid is omgeven met hardnekkige dilemma’s. Zo is het definiëren en meten van
resultaten bij overheidstaken vaak razend ingewikkeld. Vervolgens uitspraken doen
over doeltreffendheid en doelmatigheid is nog ingewikkelder doordat de omstandigheden
voor goed onderzoek vaak beperkt aanwezig zijn. Hoe beoordeel je «doeltreffendheid»
wanneer de overheid een van de vele betrokken partijen is, verschillende partijen
verschillende doelen voor ogen hebben, deze doelen regelmatig wijzigen en verschillende
publieke belangen soms met elkaar botsen? In hoeverre zijn scherpe conclusies mogelijk
wanneer de specifieke onderzoeksaanpak en lange adem die daar voor nodig kan zijn
niet altijd past in de beleidscyclus?

De prikkels om als beleidsmaker kritisch onderzoek te doen naar de kwaliteit van beleid
kunnen ook beperkt zijn. We willen inzicht benutten voor zowel «verantwoording» als
«verbetering», maar de vrees voor het eerste maakt dat inzichten die nodig zijn voor
het tweede minder aandacht krijgen. De complexiteit van definiëren en meten maakt
dat «beperkt inzicht» een relatief geaccepteerd antwoord is. Dit geldt niet voor «voortschrijdend
inzicht». De conclusie dat er ruimte voor verbetering is brengt in het publieke debat
soms eerder risico’s dan kansen met zich mee. Waarom zou je beleid dan kritisch evalueren?
Dit dilemma wordt vergroot doordat in het publieke debat «hogere uitgaven» vaak gelijk
worden gesteld aan «groter belang en hogere kwaliteit».

Deze dilemma’s zijn niet nieuw – en ook niet uniek voor Nederland. Geen enkel land
heeft ze volledig «opgelost» – en ook de operatie Inzicht in Kwaliteit zal ze niet
oplossen. Ook na de operatie zal er niet alleen «evidence-based beleid» zijn en kunnen
we niet voor elke euro exact aangeven wat een burger er voor terug heeft gekregen
en waarom dit de beste besteding was.

Maar dat is geen reden om niet ambitieus te zijn. We kunnen dan misschien geen «perfect
inzicht» krijgen, we kunnen ons wel maximaal inspannen om zoveel mogelijk inzicht
te verkrijgen, in ieder geval meer dan nu. En we willen daarbij niet op zoek zijn
naar «korte klappen» om daarna weer over te gaan tot de orde van de dag, maar naar
een duurzame versterking van onze manier van werken. Het verkrijgen en benutten van
zo veel mogelijk inzicht is dan, meer dan nu, een vanzelfsprekendheid.

Ambitie: drie veranderopgaven, die inzet vragen van alle betrokkenen

Bij de start heb ik bewust gekozen om de vraag wanneer de operatie succesvol is werkende
weg te specificeren. De operatie is een leerproces – en de vraag wanneer we succesvol
zijn in het verkrijgen en benutten van inzicht is zelf ook onderwerp van discussie.
Dit geldt nog steeds, maar de lessen uit de operatie wijzen tot nu toe consequent
op drie «veranderopgaven»: veranderingen in de manier waarop we als rijksoverheid
werken aan het vergroten en benutten van inzicht die noodzakelijk zijn om echt een
stap vooruit te zetten.

1. Inzicht krijgen gedurende de hele beleidscyclus en daarbij focussen op wat wél kan. Meer dan nu moeten we monitoren en evalueren niet zien als «activiteit achteraf»,
maar als een continu proces om in de hele beleidscyclus inzicht te vergroten. Dit
betekent aan de voorkant investeren in een goede probleemanalyse, alle beschikbare
kennis activeren en vooruitkijken naar toekomstige besluitvorming door alvast alternatieven
in kaart te brengen. Het betekent herkennen wanneer bepaalde kennis nog mist, meer
gebruik maken van beleidsexperimenten en prioriteren welke kennisbehoefte het meest
urgent is. Het betekent ook aandacht voor heldere doelstellingen en bijbehorende indicatoren.

2. Inzicht benutten voor verbetering, met voortschrijdend inzicht als vanzelfsprekendheid. Meer dan nu kunnen we beschikbare inzichten benutten voor verbetering. Onze maatschappelijke
opgaven zijn van dien aard dat beleid nooit in één keer «perfect» is. Actief werken
aan het vergroten van inzicht in de effecten, verbetermogelijkheden en eventuele alternatieven
– en waar nodig bijsturen – is daarbij essentieel. Meer dan nu zou dit ook op deze
manier gewaardeerd moeten worden. Voortschrijdend inzicht – en waar nodig ook het
stopzetten of terugdraaien van niet-werkend beleid – is dan geen teken van «falen»,
maar een logisch onderdeel van een proces van continue verbetering.

3. Inzicht krijgen en benutten in samenwerking, met open vizier, over grenzen heen. Hoge maatschappelijke toegevoegde waarde leveren is vooral bij complexe vraagstukken
vaak een gezamenlijke verantwoordelijkheid. Meer dan nu moeten we daarbij ook «buiten
onze eigen silo» kijken en openstaan voor verschillende perspectieven en inzichten
(vanuit verschillende beleidsterreinen, de uitvoering, de burgers en bedrijven waarvoor
beleid bedoeld is, de wetenschap etc.).

Voor alle drie geldt dat er nu al goede voorbeelden zijn, maar dat ze nog maar beperkt
onderdeel zijn van de «normale manier van werken». Wil de operatie succesvol zijn
dan moeten we Rijksbreed op alle terreinen verbetering realiseren. In de rest van
deze brief geef ik hier nadere invulling aan.

Ik benadruk graag één overeenkomst tussen alle genoemde veranderopgaven: het kabinet
kan ze niet alleen realiseren. De manier waarop de rijksoverheid momenteel werkt aan
leren, verbeteren en verantwoorden is een optelsom van veel verschillende factoren.
Het veranderen van de manier van werken vraagt ook om een lange adem en een samenspel
van verschillende actoren. Uw Kamer, de Algemene Rekenkamer en de Raad van State kunnen
elk vanuit hun eigen rol het meer verkrijgen en benutten van inzicht stimuleren –
en goed gedrag vanuit departementen belonen. Planbureaus, kennisinstellingen en andere
onafhankelijke partijen kunnen bijdragen aan het identificeren en wegnemen van witte
vlekken in de kennisbasis en beleidsmakers scherp houden. Mijn departement moet kritisch
kijken naar de opzet en werking van het «evaluatiestelsel» en de eigen toezichtsrol.
Departementen kunnen zelf kunnen binnen hun eigen invloedssfeer het verkrijgen en
benutten van inzicht stimuleren. Hiervoor bestaat geen blauwdruk, maar is wel op meerdere
vlakken inzet nodig: in hoeverre begrijpen alle medewerkers het belang van goed evalueren?
Laten leidinggevenden consequent en voor de organisatie zichtbaar het goede voorbeeldgedrag
zien? Zijn departementale processen en routines maximaal ondersteunend aan het verkrijgen
en benutten van inzicht? En worden de kennis en vaardigheden die hiervoor nodig zijn
voldoende geborgd? Ik ben hierover met alle betrokken partijen in gesprek.

In dit licht wil ik ook bijzondere waardering uitspreken voor uw leden Snels en Sneller
– vanuit uw Kamer rapporteurs voor Inzicht in Kwaliteit. Niet alleen houden zij mij
en mijn collega’s scherp bij de uitvoering van de operatie, zij hebben ook het initiatief
genomen om zelf onderzoek te doen naar het gebruik van «CW3.1»4, waaronder de rol die uw Kamer daarin speelt. De aandacht die zij voor dit onderwerp
vragen is een belangrijke voorwaarde voor succes.

Ik zie meer goede voorbeelden – binnen en buiten de operatie – die illustreren waar
we naar toewerken. Zonder enige suggestie van uitputtendheid wil ik er een paar benoemen.
Het Ministerie van Onderwijs, Cultuur en Wetenschap heeft in 2017 een onderzoek laten
uitvoeren naar mogelijkheden om het aantal boetes te verminderen dat wordt uitgedeeld
voor het niet tijdig stopzetten van een studentenreisproduct.5 Dit heeft direct geleid tot verschillende maatregelen die op korte termijn hebben
gezorgd voor een forse afname in het aantal boetes: in de eerste vijf maanden van
dit jaar nog maar 4,1 miljoen euro in plaats van 13,2 miljoen euro in de zelfde periode
vorig jaar.6

Een ander voorbeeld is het recente Interdepartementaal Beleidsonderzoek Luchtkwaliteit.
In dit IBO zijn aanbevelingen gedaan voor de verbetering van de luchtkwaliteit en
de uitkomsten zijn direct meegenomen in Hoofdlijnenbrief Schone Lucht Akkoord. Als
gevolg hiervan is ook daadwerkelijk beleid afgeschaft, namelijk de subsidie op palletkachels.
Beide voorbeelden illustreren de kracht van onderzoek op het juiste moment en waarvan
de uitkomsten direct doorwerken in beleid.

Een heel andere aanpak vormt de «lerende evaluatie» van het natuurpact. Dit is een
nieuw onderzoeksproces van het Planbureau voor de Leefomgeving waarbij de evaluatie
tijdens het beleidsproces plaatsvindt zodat er veel ruimte is om te leren en tussentijds
bij te sturen. Uit recent onderzoek van de Vrije Universiteit blijkt dat dit niet
alleen tot beter toepasbare inzichten heeft geleid, maar ook tot effectievere samenwerking.7

Hoofdpunten voortgang

De voortgang van de operatie heeft zich gericht op drie terreinen die ik hieronder
en in de bijlagen bij deze brief nader toelicht.

1. Departementale initiatieven. In de eerste voortgangsrapportage informeerde ik u over de 18 initiatieven die door
de verschillende departementen worden opgepakt in het kader van Inzicht in Kwaliteit.
Inmiddels zijn alle initiatieven van start. Bijlage 1 geeft per initiatief een overzicht van de voortgang, stand van zaken en vervolgstappen8. Mijn collega-bewindslieden zijn ook graag bereid om waar nodig nadere toelichting
te geven op hun departementale initiatieven. Daarnaast geeft bijlage 1 een overzicht
van de eerste overkoepelende lessen die de initiatieven tot nu toe opgeleverd hebben
over het effectief verkrijgen en benutten van inzicht. Deze lessen vormen de basis
voor kennisdeling en versterking van het stelsel.

2. Monitor CW3.1. Met de eerste voortgangsrapportage deelde ik ook mijn eerste monitor van de toepassing
van artikel 3.1 van de Comptabiliteitswet. Ik concludeerde toen dat er nog ruimte
voor verbetering zit in de toepassing van CW3.1. In mijn brief van 3 juni j.l.9 heb ik uw Kamer reeds geïnformeerd over mijn aanpak om de toepassing te verbeteren
middels ondersteuning en kennisdeling en door extra toezicht op voorstellen voor nieuw
of gewijzigd beleid met significante financiële gevolgen. Als bijlage 2 stuur ik u mijn tweede monitor waarbij is gekeken naar alle voorstellen met significante
financiële gevolgen die in de periode december 2018 tot en met juni 2019 aan uw Kamer
zijn gestuurd10. Ik zie daarin verbetering als het gaat om de feitelijke naleving van de verplichting
op de meeste aspecten, maar constateer ook dat een evaluatieparagraaf soms nog ontbreekt
en er ruimte is voor verbetering van de kwaliteit van de toelichtingen. Het recente
onderzoek van uw leden Snels en Sneller11 komt tot een vergelijkbare conclusie. Ik zal de Kamer separaat een reactie sturen
op hun aanbevelingen, maar kan hier alvast benoemen dat ik deze als een belangrijke
steun in de rug zie en ze gedeeltelijk ook al in de praktijk breng.

3. Ontwikkellijnen voor evaluatiestelsel. In de eerste voortgangsrapportage deelde ik een aanzet tot een richtpunt voor het
evaluatiestelsel. De afgelopen maanden hebben vele betrokkenen meegedacht over dit
richtpunt. Dit vormt de basis voor de eerder beschreven veranderopgaven. Ik heb daarbij
specifiek ook gewerkt aan de ontwikkeling die in het evaluatiestelsel nodig is om
deze veranderopgaven te ondersteunen. Ik zie vijf «ontwikkellijnen» voor het evaluatiestelsel
die binnen de operatie zullen worden opgepakt:

I. Verbeteren strategische evaluatie- en onderzoeksplanning van departementen;

II. Verbeteren onderbouwing en evalueerbaarheid bij beleidsvoorbereiding;

III. Periodiek beleidsalternatieven in kaart brengen voor grote vraagstukken;

IV. Gestructureerd werken aan verbetering werkwijze binnen bestaande kaders;

V. Meer aandacht voor ondersteuning voor en kennisdeling tussen departementen.

Deze ontwikkellijnen schetsen een richting die de operatie Inzicht in Kwaliteit het
komende jaar – in samenwerking met betrokkenen binnen en buiten de rijksoverheid –
wil uitwerken en uitproberen. Mijn verwachting is dat dit een belangrijke bijdrage
kan leveren aan het vergroten en benutten van inzicht. Waar nuttig en nodig kan dit
op termijn leiden tot aanpassing of aanscherping van regels en verplichtingen, zoals
de Regeling Periodiek Evaluatieonderzoek.

Vervolgstappen

De operatie werkt ook in het vervolg verder aan departementale initiatieven en versterking
van het evaluatiestelsel. In de volgende voortgangsrapportage (medio februari 2020)
verwacht ik – naast een overzicht van de stand van zaken van alle initiatieven – vanuit
een aantal initiatieven ook reeds eerste beleidsinhoudelijke inzichten.

Bij het versterken van het evaluatiestelsel werk ik aan vervolgstappen op de vijf
genoemde ontwikkellijnen:

I. Verbeteren strategische evaluatie en onderzoeksplanning van departementen

• Om de relevantie en het gebruik van evaluaties te vergroten hanteren meerdere departementen
een vorm van strategische evaluatieplanning (bijv. BZ en EZK), een kennisagenda waarin
ook aandacht is voor evaluatievragen (SZW) of experimenteren hiermee (bijv. VWS, OCW
en JenV). In alle gevallen is de intentie om proactief een weloverwogen keuze te maken
welke beleidsvraagstukken, wanneer, en op welke manier geëvalueerd worden.

• Samen met de betreffende departementen gaan we vanuit de Operatie in pilots nadere
invulling geven aan de vraag hoe een goede strategische evaluatie- en onderzoeksplanning
eruit moet ziet en op welke manier toezicht hierop vanuit Financiën het beste georganiseerd
kan worden. Potentieel kan dit op termijn een rol krijgen als alternatief voor het
huidige instrument beleidsdoorlichting.

• De doelstelling is om in de evaluatie- en onderzoeksbijlage bij de ontwerpbegroting
van 2021 een eerste kwaliteitsslag te hebben gemaakt waarbij alle departementen een
integraal overzicht bieden van hun strategische evaluatie- en onderzoeksplanning.

II. Verbeteren onderbouwing en evalueerbaarheid in de beleidsvoorbereiding

• Meer inzicht in de toegevoegde waarde van beleid begint aan de voorkant van de beleidscyclus.
Vanuit mijn stelselverantwoordelijkheid houd ik toezicht op de onderbouwing (CW.3.1)
en evaluatieparagraaf (motie van de leden Van Weyenberg en Dijkgraaf (Kamerstuk 34 725, nr. 8)) van nieuwe beleidsvoorstellen.

• Een goede toepassing van CW3.1 is een leerproces waar ik ook de komende tijd op blijf
inzetten. Dit betekent naast het aanreiken van goede voorbeelden, voortzetten van
de monitoring ook het blijven investeren in kennisdeling.

• De komende maanden verken ik daarnaast mogelijkheden voor verbetering van het (gebruik
van het) Integraal afwegingskader voor beleid en regelgeving (het IAK, zie ook www.naarhetiak.nl). Ik werk daarin samen met andere departementen die daarin een rol spelen (m.n. JenV
en EZK) en betrek daarbij ook het advies van de OESO die in opdracht van EZK onderzoek
doet naar de vraag in hoeverre het Nederlandse systeem van Impact Assessment verbeterd
kan worden.

• Mijn doelstelling daarbij is om het huidige ex-ante instrumentarium te verbeteren
en gebruik te bevorderen. Komend jaar verwacht ik hier een aanpak voor te kunnen presenteren.

III. Periodiek beleidsalternatieven in kaart brengen voor grote vraagstukken

• De belangrijkste vervolgstap op dit gebied vormen de Brede Maatschappelijke Heroverwegingen
(BMH) die het kabinet is gestart naar aanleiding van de motie Sneller. Ik heb uw Kamer
daarover in mijn brief van 11 juli j.l.12 reeds geïnformeerd en verwacht dat dit een belangrijke bijdrage zal leveren aan inzicht
in de kwaliteit van beleidsalternatieven voor de toekomst.

• Parallel kijkt de operatie ook naar de vraag hoe dit type onderzoek, waaronder ook
de IBO’s vallen, beter structureel geborgd kan worden. Om hierbij optimaal gebruik
te kunnen maken van lessen uit de BMH, die medio februari 2020 afgerond worden, komt
de volgende voortgangsrapportage hiervoor te vroeg. Ik verwacht het antwoord op deze
vraag in de voortgangsrapportage van september 2020 op te nemen.

IV. Gestructureerd werken aan verbetering werkwijze binnen bestaande kaders

• Het IBO- en BMH-instrument richten zich primair op de vraag: «doen we de goede dingen?»
Bij het vergroten van maatschappelijke toegevoegde waarde is een minstens even relevante
vraag: «doen we de dingen goed? Om hier op een gestructureerde manier inzicht in te
krijgen voert het Verenigd Koninkrijk sinds een jaar Public Value Reviews uit. Dit is een ander type doorlichting waarbij de werkwijze binnen een beleidsterrein wordt doorgelicht op een groot aantal factoren die bevorderlijk
zijn voor hoge toegevoegde waarde.13

• Komend jaar start ik pilots om te onderzoeken of en hoe deze alternatieve vorm om
beleidsterreinen door te lichten ook in Nederland kan bijdragen aan verbetering binnen
én tussen beleidsterreinen. De eerste pilot start nog in 2019 en zal zich richten
op het beleidsterrein Circulaire Economie. Mijn collega, de Staatssecretaris van Infrastructuur
en Waterstaat, zal u hier op korte termijn aanvullende informatie over sturen.

V. Ondersteunen departementen bij kennisdeling, vaardighedenopbouw en gedragsverandering

Komende maanden continueer en start ik meerdere activiteiten om departementen te ondersteunen
bij het vergroten en beter benutten van inzicht, waaronder:

• Een congres op 4 november 2019. Dit congres zal in het teken staan van inspiratie
en kennisdeling voor betrokkenen vanuit alle departementen.

• Inzicht in internationale best practices op het terrein van evalueren en evaluatievermogen.
De basis hiervan wordt gevormd door een analyse hiervan die de Europese Commissie
op mijn verzoek laat uitvoeren en waarvan ik de resultaten dit najaar verwacht.

• Een handreiking met goede voorbeelden, methoden en technieken voor het verkrijgen
van inzicht in complexe vraagstukken in een imperfecte onderzoeksomgeving op verschillende
momenten in de beleidscyclus. Deze handreiking biedt ook de basis voor de doorontwikkeling
van trainingen en opleidingen op het gebied van evaluatie.

• Inzicht in goede voorbeelden en benodigdheden binnen departementen om een cultuur
van leren en evalueren te bevorderen als handreiking voor departementen om hier zelf
aan te werken.

Ik ga graag in gesprek over deze voortgangsrapportage en vervolgstappen met uw Kamer
– en in het bijzonder met uw leden Sneller en Snels als rapporteurs. Alleen samen
kunnen we meer inzicht krijgen in de maatschappelijke toegevoegde waarde van beleid
en deze inzichten beter benutten – zowel op concrete beleidsterreinen als structureel
in het evaluatiestelsel.

De Minister van Financiën,
W.B. Hoekstra