Brief regering : Voortgangsrapportage Operatie Inzicht in Kwaliteit

Nr. 126
BRIEF VAN DE MINISTER VAN FINANCIËN

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 4 februari 2019

In mijn brief van 6 juli 2018 (Kamerstuk 31 865, nr. 118) schetste ik u de contouren van de in het regeerakkoord (bijlage bij Kamerstuk 34 700, nr. 34) aangekondigde operatie «Inzicht in Kwaliteit» (hierna: de operatie). Daarin kondigde
ik aan uw Kamer halfjaarlijks te informeren over de voortgang van de operatie. Met
deze brief stuur ik u de eerste voortgangsrapportage1.

Woord vooraf

Het doel van de operatie is om meer inzicht te krijgen in de resultaten van beleid
en daarnaar te handelen, waardoor de maatschappelijke toegevoegde waarde van publieke
inspanningen wordt vergroot. Aanleiding is de breed gedeelde opvatting dat burgers
recht hebben op een doeltreffende en doelmatige besteding van schaarse publieke middelen
– en de constatering dat we dat nu niet altijd volledig weten.

In mijn antwoord op vragen van de vaste commissie voor Financiën van 5 oktober 2018
(Kamerstuk 31 865, nr. 121) heb ik meer toelichting gegeven op de aanpak van de operatie. De operatie kent een
tweeledige aanpak: ik werk met alle departementen aan concrete initiatieven om inzicht
in de toegevoegde waarde van specifiek beleid te vergroten, en ik werk samen met departementen
aan het versterken van het onderliggende evaluatiestelsel2 om inzicht en toegevoegde waarde structureel te vergroten.

In deze toelichting plaatste ik ook een kanttekening bij de aanpak van de operatie:
het structureel versterken van het evaluatiestelsel is een complexe opgave waarbij
het risico op een «papieren exercitie» op de loer ligt. We beginnen daarbij zeker
niet op nul. Internationaal staat dit huidige evaluatiestelsel goed aangeschreven.
Alle departementen en andere betrokkenen werken al aan het creëren van inzicht in
de toegevoegde waarde van beleid. Onze gezamenlijke ambitie is alleen nog hoger. Om
dit te realiseren zijn geen pasklare oplossingen voorhanden.

In deze voortgangsrapportage informeer ik u over de nadere invulling van de departementale
initiatieven en de eerste inzichten die ik heb opgedaan over het functioneren van
het huidige evaluatiestelsel. Daarnaast informeer ik u over een ander onderwerp dat
binnen de scope van de operatie valt: de eerste bevindingen en vervolgstappen uit
het monitoren van artikel 3.1 van de Comptabiliteitswet. Dit artikel stelt dat beleidsvoorstellen,
-voornemens en -toezeggingen naar uw Kamer vergezeld moeten gaan van – onder andere
– toelichting op de verwachte doeltreffendheid en doelmatigheid.

Hoofdpunten

De inhoud van deze voortgangsrapportage bestaat uit vijf punten die deels in deze
brief en deels in de bijbehorende bijlagen worden toegelicht:

1. Met alle departementen zijn initiatieven geselecteerd. Deze initiatieven zijn geselecteerd op grond van drie criteria: [a] de overtuiging
dat meer inzicht op dit terrein het mogelijk maakt om maatschappelijke toegevoegde
waarde te verhogen; [b] het potentiële leereffect voor de operatie in de zoektocht
naar structurele versterking van het evaluatiestelsel; en [c] de diversiteit van het
totale portfolio aan initiatieven om het totale leereffect te maximaliseren. Bijlage 1 bevat de lijst met initiatieven en een toelichting op de selectiecriteria en vervolgstappen3.

2. Om richting te geven aan het nadenken over het versterken van het evaluatiestelsel
is een belangrijke vraag wanneer het evaluatiestelsel succesvol is en daarmee wat het richtpunt voor de operatie is. Uitgangspunt is dat het evaluatiestelsel
als doel heeft om gedurende het hele beleidsproces bruikbare inzichten te genereren
over de (verwachte) kosten en resultaten van beleid en mogelijke verbetering daarvan.
Deze inzichten moeten bruikbaar zijn voor twee doeleinden: verbeteren en verantwoorden.
Dit uitgangspunt vraagt wel om verdere uitwerking, met name hoe vanuit dit uitgangspunt
een succesvol functionerend stelsel eruitziet. Verderop in deze brief geef ik een eerste aanzet tot een antwoord – als startpunt voor verdere discussie.

3. De afgelopen maanden is gestart met een overkoepelende analyse van het evaluatiestelsel. Deze analyse bestaat momenteel uit twee delen: [a] een feitelijke beschrijving van
het huidige stelsel; [b] een eerste inzicht in de mate waarin het stelsel momenteel
functioneert. Beide onderdelen zijn gebaseerd op synthese-onderzoek van bestaande
bronnen en literatuur, aangevuld met interviews en een uitvraag binnen departementen.
Voor het tweede deel heb ik een onafhankelijke partij (Stichting Economisch Onderzoek)
gevraagd om aanvullend feitenonderzoek te doen naar specifiek het instrument beleidsdoorlichting4. Hieronder benoem ik kort de voornaamste inzichten, die in bijlage 2 en 3 worden toegelicht5. Voor al deze inzichten geldt dat dit tussenresultaten zijn waar ik nog geen conclusies
aan verbind. De komende tijd zal ik samen met de departementen op basis van deze tussenresultaten
en lessen uit de rest van de operatie voorstellen uitwerken om het stelsel te versterken.

a. Feitelijke beschrijving evaluatiestelsel

• Het evaluatiestelsel bestaat uit diverse losstaande wetten, regels en instrumenten
waarmee verschillende actoren werken aan het vergroten van inzicht en maatschappelijke
toegevoegde waarde.

• Een set Rijksbrede instrumenten speelt een centrale rol in dit stelsel. In de fase
van beleidsvoorbereiding gaat het om instrumenten als het Integraal Afwegingskader
(IAK), de Maatschappelijke Kosten Baten Analyse (MKBA) en de publieke business case
en in de fase van uitvoering en verantwoording om bijvoorbeeld evaluaties van wetgeving,
subsidies, doorlichtingen van agentschappen en beleidsdoorlichtingen. Daarnaast worden
er jaarlijks Interdepartementale Beleidsonderzoeken (IBO’s) uitgevoerd waarmee beleidsopties
worden geïnventariseerd en zijn in het verleden Brede Heroverwegingen uitgevoerd om
besparingsopties in kaart te brengen.

• Departementen maken uiteenlopende keuzes bij de praktische invulling van het evaluatiestelsel.

b. Functioneren evaluatiestelsel in de praktijk

• Het Nederlandse evaluatiestelsel staat internationaal goed aangeschreven: evaluatie
is wettelijk geborgd, veel beleidsterreinen worden geëvalueerd en er is een sterke
traditie van onafhankelijke instituties die de overheid scherp houden.

• Het grootste deel van de evaluaties gaat over specifieke instrumenten en individuele
beleidsmaatregelen. De grote diversiteit maakt een overkoepelende conclusie moeilijk,
maar het algemene beeld is dat deze evaluaties bruikbare inzichten geven in gerealiseerde
prestaties en mogelijkheden voor procesmatige verbeteringen.

• Bij Rijksbrede instrumenten lijkt ruimte voor verbetering: instrumenten die primair
gericht zijn op «verbetering van beleid» zoals IBO’s en Heroverwegingen, leveren daarvoor
veelal bruikbare inzichten op, maar worden selectief ingezet. Rijksbrede instrumenten
die primair gericht zijn op verantwoording, zoals beleidsdoorlichtingen, geven vaak
wel inzicht in geleverde prestaties, maar slagen beperkt in het genereren van inzichten
in de gerealiseerde doeltreffendheid en doelmatigheid.

• Verdiepend onderzoek van SEO naar het instrument beleidsdoorlichting laat zien dat
bijna tweederde van de beleidsdoorlichtingen uitspraken worden gedaan over de doeltreffendheid
en in eenderde (ook) over doelmatigheid, en dat de meeste beleidsdoorlichtingen aanbevelingen
bevatten om de doeltreffendheid en doelmatigheid te verbeteren. De conclusies over
doeltreffendheid en doelmatigheid zijn wel van wisselende kwaliteit. Volgens SEO zou
– ook wanneer rekening wordt gehouden met complexiteit van onderzoek naar veel beleidsterreinen
– meer inzicht mogelijk moeten zijn.

• Ministeries krijgen wisselende prikkels om structureel goed te evalueren. Ondanks
formele evaluatieverplichtingen verschilt de mate waarin er op departementen sprake
is van een vanzelfsprekende «evaluatiecultuur». In de praktijk werkt belemmerend dat
de winst van een positieve evaluatie-uitkomst doorgaans kleiner is dan het afbreukrisico
bij een slechte uitkomst.

4. Een stap die al gezet is in het verder versterken van het evaluatiestelsel is het
in werking treden van de herziene Comptabiliteitswet op 1 januari 2018. Ik ben begonnen
met het monitoren van artikel 3.1 CW. Hierin valt onder andere op dat er nog ruimte voor verbetering zit in de toepassing
en dat voor een zinvolle toepassing van 3.1 CW nadere afbakening van de reikwijdte
van het artikel behulpzaam is. Ik zal hiertoe samen met departementen een voorstel
uitwerken en daarbij ook nadrukkelijk de Kamer als «afnemer» van de informatie betrekken.
Bijlage 4 bevat eerste lessen uit deze monitor6. Op basis van de lessen uit deze monitor zal ik het komende jaar bijzondere aandacht
hebben voor de toepassing van artikel 3.1 CW. In de komende voortgangsrapportage zal
ik hierover wederom rapporteren. Om de gewenste kwaliteitsverbetering te bevorderen
zal mijn ministerie tevens het onderling leren tussen ministeries blijven stimuleren
door intervisie in interdepartementaal verband.

5. Naast het opstarten van de initiatieven, de overkoepelende analyse van het evaluatiestelsel
en het monitoren van artikel 3.1 CW heb ik samen met collega’s bij departementen de
afgelopen tijd eerste praktische stappen gezet om het evaluatiestelsel verder te versterken:

a. De schrijfwijzer 3.1 CW is inmiddels vervangen door aanvullingen in het Integraal
Afwegingskader (IAK) op de punten doeltreffendheid en doelmatigheid. In hetzelfde
IAK is ook invulling gegeven aan de motie Van Weyenberg/Dijkgraaf om bij substantiële
beleidswijzigingen aan te geven of en hoe deze geëvalueerd gaan worden;

b. Vanuit de operatie faciliteren we kennisdeling tussen departementen in de vorm van
themabijeenkomsten en organiseren we in het voorjaar een congres om een grotere groep
ambtenaren, onderzoekers en stakeholders te betrekken bij deze kennisdeling;

c. Ook individuele departementen werken aan concrete verbeteringen om het evaluatiestelsel
te versterken. Zo werkt OCW aan het ontsluiten van data over scholen om het horizontaal
toezicht te versterken en subsidieert BZK onderzoek naar de productiviteit van de
Nederlandse publieke sector (zie bijvoorbeeld www.trendsinpubliekesector.nl). Mijn eigen departement kent sinds kort – in navolging van de Ministeries van EZK
en LNV – een Commissie Beleidsevaluatie om de interne aandacht voor en kwaliteit van
beleidsevaluaties te vergroten. Bijlagen 1 en 2 bevatten meer voorbeelden van wat
departementen allemaal doen.

Deze opsomming vormt een kleine selectie van de diverse «good practices» die reeds in de praktijk worden gebracht. Samen met de departementale initiatieven
is dit input om de komende maanden te werken aan structurele versterking van het stelsel.

Richtpunt voor de operatie

Een belangrijke vraag om te beantwoorden is wanneer het evaluatiestelsel «succesvol»
is – en daarmee wat het richtpunt voor de operatie is. Uitgangspunt is dat het evaluatiestelsel
als doel heeft om gedurende het hele beleidsproces bruikbare inzichten te genereren
over de (verwachte) resultaten en kosten van beleid en mogelijke verbetering daarvan.
Deze inzichten moeten bruikbaar zijn voor twee doeleinden: verbeteren en verantwoorden.
Tussen deze doeleinden bestaat in de praktijk soms spanning, maar ze zijn beide essentieel
om de toegevoegde waarde van beleid zo groot mogelijk te maken.

De vervolgvraag – na dit algemene uitgangspunt – is: wanneer is het stelsel succesvol
in het generen van bruikbare inzichten? Hier is in mijn optiek geen generiek antwoord
op mogelijk. Welke mate van inzicht als succes kan worden gezien hangt van meerdere
factoren af, zoals:

• De kenmerken van het beleidsterrein (Bijvoorbeeld: leent het beleidsterrein zich voor
onderzoek met behulp van nulmetingen en controlegroepen, of is dat onmogelijk of onwenselijk?);

• De fase van de beleidscyclus (Bijvoorbeeld: staan we voor een nieuw probleem waar
nog weinig onderzoek naar gedaan is maar wel een beleidskeuze moet worden gemaakt,
of evalueren we een langlopende maatregel?);

• De omvang van de maatregel (Bijvoorbeeld: is de inzet van evaluatie-instrumenten in
proportie met de omvang van de maatregel?).

Het antwoord op deze vragen verschilt per beleidsterrein en per moment. Het doel van
het stelsel zou moeten zijn om zo veel inzicht te genereren als realistisch mogelijk
en doelmatig is gegeven de kenmerken van het beleidsterrein en fase in het beleidsproces.
Hoewel een absolute standaard voor «bruikbaar inzicht» daarmee niet mogelijk is, kunnen
we voor het hele evaluatiestelsel wel een richtpunt geven van een specifieke werkwijze in alle stappen van de beleidscyclus en bijbehorende houding en gedrag stimuleren die maakt dat zo veel mogelijk bruikbaar inzicht gegenereerd zal worden.

Als schot voor de boeg voor dit richtpunt, onafhankelijk van de specifieke instrumenten die vandaag de dag gebruikt worden, heb ik het volgende ideaalbeeld voor ogen:

• Bij substantiële beleidsvoornemens wordt aan de voorkant maximaal nagedacht over het
maatschappelijke doel en hoe het voorgestelde beleid hieraan bijdraagt, inclusief
gebalanceerde afweging van mogelijke alternatieven. Nieuw beleid is vaak ook een politieke
keuze. Ook bij besluiten die voortkomen uit politieke onderhandeling wordt de beleidstheorie
transparant gemaakt en worden verwachte directe en indirecte effecten op korte en
lange termijn zoveel mogelijk inzichtelijk gemaakt;

• Bij alle grote beleidsterreinen wordt zo veel mogelijk gewerkt met «monitoren en bijsturen».
Aan de voorkant wordt scherp nagedacht over wat voor deze monitoring nodig is, hoe
en wanneer hier lessen uit worden getrokken en wanneer verantwoording over resultaten
wordt afgelegd;

• Voor grote beleidsterreinen wordt periodiek de balans opgemaakt om na te denken over
grote en kleine verbeteringen. In verkiezingsprogramma’s en formaties kan voor alle
grote beleidsdossiers standaard teruggegrepen worden op actuele overzichten van weloverwogen
beleidsalternatieven – bij gelijkblijvende budgetten, maar ook als blijkt dat er meer
of minder middelen beschikbaar komen;

• Beleidsmedewerkers hebben de motivatie, kennis en creativiteit om keuzes maximaal
te onderbouwen en resultaten zo snel mogelijk inzichtelijk te maken. Ze krijgen tijd,
ruimte en waardering om zo veel mogelijk inzicht te krijgen in de toegevoegde waarde
van publieke inspanningen voor de maatschappij;

• In het politieke debat wordt expliciet gevraagd om onderbouwing van de maatschappelijke
toegevoegde waarde van beleid en wordt het beschikbare inzicht gebruikt als belangrijke
overweging bij het beoordelen en vormgeven van beleid.

Over de wenselijkheid van dit richtpunt en de verdere operationalisering ga ik de
komende maanden nader in gesprek met alle betrokken partijen. De vervolgstap is vervolgens
om te onderzoeken op welke punten de huidige praktijk afwijkt van het richtpunt en
welke interventies kunnen bijdragen om daarnaartoe te werken. Waar nodig zal daarbij
ruimte zijn voor maatwerk per departement. Ik verwacht met de departementale initiatieven
en verdere analyse van nationale en internationale voorbeelden zowel veel lessen op
te doen over dit richtpunt als over de benodigde randvoorwaarden om daar te komen.

Vervolgstappen

De operatie is een leerproces voor alle betrokkenen zonder pasklaar draaiboek voor
de komende jaren. Zeker is dat we ook in 2019 verder werken met de initiatieven waar
we de afgelopen maanden mee gestart zijn en daarbij streven naar zo veel mogelijk
concrete resultaten – zowel in de initiatieven als in het stelsel als geheel.

Ik zal na het zomerreces een volgende voortgangsrapportage sturen en verwacht daarin
in ieder geval de volgende punten terug te laten komen:

• Een statusupdate van de departementale initiatieven, met naast inzicht in de voortgang
per initiatief ook een overzicht van eerste lessen die we opgedaan hebben in deze
initiatieven;

• Een vervolg op de analyse van het evaluatiestelsel met in ieder geval aandacht voor
het ex-ante instrumentarium en internationale «good practices» voor het verder ontwikkelen van de evaluatiefunctie;

• Een eventuele aanscherping van het richtpunt van de operatie met eerste inzichten
over de belangrijkste veranderingen die nodig zijn om naar dit richtpunt toe te werken.

Ik ga graag in gesprek over deze voortgangsrapportage en vervolgstappen met uw Kamer
– en in het bijzonder met uw leden Sneller en Snels als rapporteurs – tijdens het
algemeen overleg over Rijksbrede ontwikkelingen in begroten en verantwoorden op 14 februari
2019. Alleen samen kunnen we deze operatie tot een succes maken en daarmee de maatschappelijke
toegevoegde waarde van publieke uitgaven zowel op de korte als lange termijn verhogen.

De Minister van Financiën,
W.B. Hoekstra