Brief regering : Ex durante evaluatie pilot Lerend evalueren van het ministerie van VWS

Nr. 212
BRIEF VAN DE MINISTER VAN VOLKSGEZONDHEID, WELZIJN EN SPORT

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 6 juli 2022

Hierbij ontvangt u de ex durante evaluatie van de pilot Lerend evalueren van het Ministerie
van VWS. Om als overheid effectief te zijn, is inzicht in de kwaliteit van het beleid
cruciaal. Dit inzicht wordt verkregen door evaluaties van beleid. Goed evaluatieonderzoek
is complex en vereist expertise en maatwerk, met name door de combinatie van de twee
hoofddoelen van evaluatieonderzoek: verantwoorden én leren.

In dit kader is het Ministerie van VWS in 2018 een pilot gestart met als doel werkende
weg het inzicht in de kwaliteit van het beleid en het effect hiervan op de samenleving
te verbeteren. Belangrijk hierbij is dat evaluaties onderdeel uitmaken van de beleidscyclus
van het Ministerie van VWS en zodoende alle betrokkenen actief leren van de resultaten
van de evaluaties. Een jaar later startte de rijksbrede operatie Inzicht in Kwaliteit1. Het doel van deze operatie is ook het vergroten van de maatschappelijk toegevoegde
waarde van overheidsbeleid. Het Ministerie van VWS was met de pilot hier al mee gestart,
de pilot is als geheel opgenomen in de operatie Inzicht in Kwaliteit.

In 2019 is er een Startevaluatie2 van de pilot uitgevoerd. Deze evaluatie heeft de kwaliteit en het leereffect van
de beleidsdoorlichtingen onderzocht die zijn uitgevoerd in de jaren voor de start
van de pilot. Ook zijn factoren beschreven die van invloed zijn op de kwaliteit van
het leren van evaluaties, bijvoorbeeld de aanwezigheid van een beleidstheorie, betrekken
van de praktijk of timing van de evaluatie. In de startevaluatie is geanalyseerd in
hoeverre deze factoren aanwezig waren bij de beleidsdoorlichtingen. Deze factoren
zijn in de ex durante evaluatie wederom geanalyseerd voor de individuele evaluaties
in de pilot. Deze ex durante evaluatie is uitgevoerd om te kunnen bepalen of de pilot
de gewenste resultaten oplevert en hoe het Ministerie van VWS lerend evalueren verder
kan versterken in de organisatie.

Aanpak evaluatie

In de evaluatie zijn twee lijnen onderscheiden, namelijk de kwaliteit van de individuele
evaluaties en de veranderkundige aspecten van het Ministerie van VWS als lerende organisatie.
Hiervoor zijn twee afzonderlijke rapportages opgesteld. De resultaten uit beide lijnen
geven belangrijke informatie om de kwaliteit en het gebruik van lopende en toekomstige
lerende evaluaties te verbeteren. Het onderzoek is uitgevoerd door een extern onderzoeksbureau
(Regioplan) en onderzoekers van het Ministerie van VWS. Het onderzoek is begeleid
door een stuurgroep met deskundigen en een onafhankelijke voorzitter. Op basis van
beide onderzoeken heeft de stuurgroep een appreciatie en aanbevelingen geformuleerd
voor het Ministerie van VWS. De beide rapportages en de appreciatie vindt u in de
bijlagen.

Doel pilot Lerend evalueren

Een belangrijk doel van de pilot is om werkende weg het inzicht in de doeltreffendheid
en doelmatigheid van het beleid te vergroten. Dit inzicht wordt onder meer verkregen
door te evalueren. Door niet alleen achteraf maar ook ex ante en ex durante te evalueren
kan het beleid eerder worden bijgestuurd, met als einddoel de maatschappelijke impact
van het beleid van het Ministerie van VWS te vergroten. Hierbij gaat het met name
om evaluaties van complexe beleidsvraagstukken op het brede terrein van het Ministerie
van VWS. Een ander essentieel aspect van de pilot is dat de praktijk (zoals de uitvoerende
instanties en de burgers) nadrukkelijk wordt betrokken. Dit omdat het van belang is
om in beeld te brengen wat de condities voor doeltreffendheid en doelmatigheid zijn,
wat de implicaties zouden zijn van alternatieve beleidskeuzes. Belangrijk hierbij
is om te onderzoeken hoe verschillende betrokkenen hier tegenaan kijken, juist ook
vanuit de praktijk. Dit inzicht vergroot de handelingsopties. Ten slotte is de pilot
er ook op gericht om binnen het Ministerie van VWS een nieuwe manier van omgaan met
beleidsonderzoek tot stand te brengen. Evalueren moet een vast en logisch onderdeel
worden van de beleidscyclus om zodoende het beleid te monitoren en te verbeteren.
Evalueren is een mogelijkheid om te reflecteren.

In deze brief worden eerst kort de conclusies van de rapportages weergegeven. Vervolgens
wordt toegelicht hoe het Ministerie van VWS de aanbevelingen uit de rapportages gaat
uitwerken om zo het lerend evalueren te versterken in de organisatie.

Conclusies ex durante evaluatie

De evaluatie bestaat uit twee delen; onderzoek naar de kwaliteit van de individuele
evaluaties en actieonderzoek naar de veranderkundige aspecten van het Ministerie van
VWS als lerende organisatie. Beide onderzoeken geven conclusies en aanbevelingen.
De stuurgroep heeft een appreciatie op de onderzoeken gegeven en komt ook met aanbevelingen.
Hieronder wordt kort per onderdeel de conclusies en aanbevelingen beschreven.

Regioplan heeft de kwaliteit van de individuele evaluaties onderzocht en stelt dat
de evaluaties vaak een kwalitatieve indruk van doeltreffendheid geven en in zeer beperkte
mate zicht op doelmatigheid. Er worden kleine stappen gezet richting het meer leren
van evalueren. Regioplan ziet dat er nog veel winst te behalen is door stappen te
zetten om het zicht op doeltreffend en doelmatigheid te versterken, om het op leren
gerichte karakter van evaluaties te vergroten en om benutting te versterken.

Uit het actieonderzoek blijkt dat er binnen het Ministerie van VWS over het algemeen
enthousiasme is over lerend evalueren. Het geeft ruimte en vrijheid om evaluaties
zo vorm te geven dat veldpartijen en de praktijk goed kunnen worden betrokken en dat
werkende weg beleid kan worden verbeterd. De focus van lerend evalueren op de maatschappelijke
impact helpt ook om de doelstelling van het beleid leidend te laten zijn in een evaluatie.
De ondersteuning vanuit de pilot wordt ook als waardevol aangemerkt. Aan de andere
kant wordt soms te veel vrijheid gegeven en bestaat er vaak nog onduidelijkheid over
de te hanteren methodieken en onbekendheid over begrippen zoals beleidstheorie. Een
gestructureerd evaluatieprogramma met verschillende methoden, mogelijkheden en een
goede ondersteuning zijn daarom essentieel.

De stuurgroep die de evaluatie heeft begeleid ziet een wisselend beeld. Enerzijds
heeft de pilot ervoor gezorgd dat het Ministerie van VWS het beleid vaker dan voor
de pilot is gaan evalueren en de vragen die worden gesteld, worden goed beantwoord.
Anderzijds mogen meer vrijheden bij evalueren niet leiden tot het negeren van vragen
over inzicht in doelmatigheid. Inzicht in doelmatigheid is niet alleen nodig om te
verantwoorden dat publieke middelen goed worden besteed, maar juist ook om te leren.

Versterken evaluatiefunctie bij het Ministerie van VWS

De pilot fase loopt eind dit jaar af. De resultaten van de ex durante evaluatie ondersteunen
de koers die het Ministerie van VWS met lerend evalueren heeft ingezet en ik wil deze
verder brengen.

Ook rijksbreed wordt het versterken van de evaluatiefunctie gestimuleerd. In het kader
van de operatie Inzicht in Kwaliteit is rijksbreed ingezet op een nieuwe manier van
evalueren. Zie de voortgangsrapportage van de operatie3. Dit heeft ook geleid tot een voorstel voor herziening van de Regeling periodieke
evaluatie (RPE)4, waarin de nieuwe departementale Strategische Evaluatieagenda (SEA) wordt verankerd.
De motivatie voor de herziening is dat door de betere aansluiting op de beleidscyclus,
de SEA tussentijdse bijsturing faciliteert van beleid op basis van opgedane inzichten
uit vooraf strategisch geplande evaluaties.

Deze ex durante evaluatie is ook een lerende evaluatie; dat betekent dat niet alleen
achteraf wordt onderzocht of de pilot effectief was, maar ik de aangereikte handvatten
uit het ex durante onderzoek ook zal benutten om de evaluatiefunctie bij het Ministerie
van VWS te versterken.

De aanbevelingen zijn samen te vatten in drie hoofdpunten.

1. Verbeteren kwaliteit van de individuele evaluaties: het gebruik van de beleidstheorie
bevorderen, het inzicht in doelmatigheid verhogen.

2. Verbeteren van het leren: verdere ontwikkeling Strategische Evaluatieagenda (SEA),
vooraf de leerbehoeften of leervragen onderbouwen, verbeteren gebruik resultaten evaluaties.

3. Lerende organisatie: investeren in (de ondersteuning van) beleidsmedewerkers, commitment
top departement.

Ad 1 Verbeteren kwaliteit van de individuele evaluaties

Uit de ex durante evaluatie komt naar voren dat er veel vrijheid is om de onderzoeksvragen
te formuleren. Het advies is hier meer op te sturen, ik neem dit advies over.

Het op een goede wijze invulling geven aan de geboden ruimte is een groeiproces. Belangrijke
ontwikkelstappen zijn kennis en ervaring op doen met achtergronden, begripsvorming
en voor het Ministerie van VWS nieuwe methoden voor evaluatieonderzoek.

Ik ga een expertisecentrum opzetten om zodoende meer ondersteuning en sturing te bieden
bij evaluaties. Het expertisecentrum is een kennisplatform dat ondersteuning biedt
in de verschillende fasen van het opzetten en uitvoeren van onderzoek: oriëntatie
op kennis- en evaluatiebehoefte, opstellen leervragen en taakopdracht, organiseren
onderzoek, uitvoeren onderzoek en opvolging adviezen. Daarnaast krijgt het expertisecentrum
ook een toetsende taak; een taakopdracht moet verplicht worden besproken. Daarbij
wordt getoetst of er een beleidstheorie is of wordt ontwikkeld, zijn de leervragen
helder en hoe de doelmatigheid van beleid wordt onderzocht. Het expertisecentrum bestaat
uit medewerkers vanuit verschillende disciplines van het VWS-concern en waar nodig
ook externe deskundigen.

Ad 2 Verbeteren van het leren

De rapportages bevatten verschillende aanbevelingen om het leren van evalueren te
versterken. Ik ga verder met de doorontwikkeling van de Strategische Evaluatieagenda
(SEA). Evalueren moet een integraal onderdeel worden van het beleidsproces en vooraf
moet duidelijk zijn wat we willen leren. De praktijk wordt ook nadrukkelijk betrokken,
zowel bij het formuleren van de leerbehoefte als de uitvoering van het onderzoek.

Om de SEA verder te onderbouwen komt er een onderzoekprogrammering waarin lerende
evaluaties en andere (meer reguliere) evaluaties een plek hebben, zodat verschillende
typen evaluaties elkaar kunnen verrijken. In de evaluatie eerste ervaringen met de
Strategische Evaluatieagenda (SEA)5 uitgevoerd in opdracht van het Ministerie van Financiën, wordt het Ministerie van
VWS op dit onderdeel als goed voorbeeld genoemd. De belangrijke begrotingsartikelen en beleidsprioriteiten komen helder en navolgbaar
terug in de SEA-thema’s. Daarnaast is er een duidelijke prioritering in de thema’s
aangebracht (p.13).

De SEA wordt versterkt door het formuleren van inzichtbehoeften. De inzichtbehoeften
vormen het fundament voor het maken van strategische keuzes rond het programmeren
van (ex-ante, ex-durante en ex-post) evaluatieonderzoeken. De inzichtbehoeften komen
onder meer voort uit (een prioritering van) kennislacunes, naderende besluitvormingsmomenten
en vaststaande (verplichte) evaluatiemomenten6.

Lerend evalueren is een integraal onderdeel van het beleidsproces en daarmee onderdeel
van de kerntaak van beleid. Via deze manier van werken wordt bereikt dat er nadrukkelijk
wordt gekeken naar de maatschappelijke impact van beleid, ervaringen en dat hier lessen
uit worden getrokken. Hierdoor ontstaat een continu proces van leren en verbeteren.
Zo komen in de lerende evaluatie leren en verantwoorden samen. Dit leidt tot een lerende
organisatie waarin het Ministerie van VWS haar eigen handelen durft te confronteren
met de effecten ervan in de samenleving en daarvan leert.

Bij iedere evaluatie zal vooraf meer aandacht komen voor de leerbehoeften van de verschillende
betrokkenen, en hoe de inzichten uit het onderzoek benut moeten worden. Door ook de
perspectieven van de verschillende stakeholders te betrekken komt er beter inzicht
op de implicatie van het beleid in de praktijk. Door de leerbehoeften vooraf goed
te formuleren worden de onderzoeksvragen meer gericht op leren en op het handelingsperspectief
van de betrokkenen.

Ook wil ik meer aandacht geven aan onbedoelde en onverwachte effecten van beleid.
Juist van de onbedoelde en onverwachte effecten is te leren. Evaluatieresultaten zijn
geen afreken momenten maar leerlessen voor verbetering of doorstart.

Ad 3 Lerende organisatie

De evaluatie geeft als aanbeveling door te gaan met lerend evalueren en voldoende
middelen beschikbaar te stellen voor de ondersteuning, begeleiding en benutting ervan.
Betrokkenheid van (top) management is daarbij belangrijk.

Evalueren wordt verder ingebed in de beleidscyclus, mede door de nieuwe regelgeving
zoals de invoeringstoets bij nieuw beleid die is opgenomen in het integraal afwegingskader
(IAK) en de verplichting van het monitoren en evalueren van beleid zoals opgenomen
in de Comptabiliteitswet (art. 3.1.).

Gedurende het jaar zal structureel door de ambtelijke top worden gevolgd hoe de evaluaties
vorderen en hoe de adviezen uit evaluaties worden opgepakt. Op deze wijze wordt meer
aandacht gegeven aan evalueren en ontstaat een bestuursstijl gericht op ruimte voor
reflectie en evalueren.

Het voorbeeldgedrag van leidinggevenden is belangrijk om verandering te stimuleren
en is voor de verantwoordelijk beleidsmedewerker een ondersteuning om lerend te evalueren.
De praktische ondersteuning bij een evaluatie wordt verder versterkt door het op te
richten expertisecentrum. De al bestaande ondersteuning zoals onderlinge kennisuitwisseling,
opleidingen en de toolbox (praktische en methodologische ondersteuning bij het uitvoeren
van een evaluatie) wordt voortgezet.

Slot

De ex durante evaluatie geeft het Ministerie van VWS voldoende vertrouwen om verder
te gaan met lerend evalueren. In de rijksbrede Evaluatie van de SEA7 wordt het Ministerie van VWS als good practise genoemd voor lerend evalueren. Hiervoor
wordt onder andere genoemd dat de aandacht voor evalueren eerder in het beleidsproces
is komen te liggen. De keuze voor samenhangende beleidsonderwerpen zorgt voor meer
integraal evaluatieonderzoek. En door de praktijk bij evaluaties te betrekken, worden
ervaringen van mensen («leefwereld») gekoppeld aan de regelgeving van het zorgstelsel
(«systeemwereld»).

Ik wil het lerend evalueren binnen het Ministerie van VWS verder versterken en de
aanbevelingen uit de ex durante evaluatie zijn hierbij goede handvatten. Lerend evalueren
is daarmee geen pilot meer maar is een vast onderdeel van de beleidscyclus geworden.
Dit wordt mede ondersteund door het voorstel van herziene regelgeving voor de RPE8.

Deze versterking van de evaluatiefunctie vraagt ook de komende jaren tijd, energie
en aandacht van het Ministerie van VWS. Ik zal u op de hoogte houden van de ontwikkeling.
In de begroting 2023 van het Ministerie van VWS wordt de SEA opgenomen waarbij ingezet
wordt op goede onderbouwing en strategische invulling qua onderwerpen en in de tijd.

Over twee jaar wordt opnieuw onderzoek uitgevoerd naar lerend evalueren binnen het
Ministerie van VWS.

De Minister van Volksgezondheid, Welzijn en Sport,
E.J. Kuipers