Brief regering : Startevaluatie pilot Lerend evalueren

Nr. 150
BRIEF VAN DE MINISTER VAN VOLKSGEZONDHEID, WELZIJN EN SPORT

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 25 juni 2019

Hierbij ontvangt u de rapportage van de startevaluatie van de pilot Lerend evalueren
van het Ministerie van VWS1. De startevaluatie is uitgevoerd om te leren van ervaringen met beleidsdoorlichting
uit het verleden en in de toekomst te kunnen bepalen of de pilot het gewenste resultaat
oplevert.

Een belangrijk doel van de pilot is om werkendeweg het inzicht in de doeltreffendheid
en doelmatigheid van het beleid te vergroten en om op basis daarvan het beleid te
verbeteren. De pilot Lerend evalueren werkt met een meerjarenprogramma van evaluaties
voor de periode 2018–2022. De evaluaties hebben betrekking op beleidsvraagstukken
op het brede beleidsterrein van VWS. In de uitvoering daarvan wordt nadrukkelijk de
praktijk betrokken en wordt geëxperimenteerd met voor VWS vernieuwende evaluatiemethoden.
De programmering van de evaluaties omvat naast ex post evaluaties ook ex ante en ex
durante onderzoeken zodat er een betere aansluiting is op de beleidscyclus.

Om te kunnen bepalen of de pilot het gewenste resultaat heeft, is voorzien in een
startevaluatie in 2018–2019, een evaluatie in 2020–2021 en een eindevaluatie in 2022.
Hierbij is het belangrijkste evaluatiecriterium of het inzicht in de doeltreffendheid
en de doelmatigheid van het beleid is toegenomen en of dit inzicht daadwerkelijk wordt
gebruikt om het beleid te verbeteren.

VWS en Financiën hebben de startevaluatie gezamenlijk uitgevoerd onder leiding van
een onafhankelijk voorzitter. Het onderzoek is begeleid door een commissie van twee
onafhankelijke wetenschappers op het gebied van evalueren, directeuren van VWS, een
medewerker van Financiën en twee medewerkers van de Algemene Rekenkamer als toehoorders.

Voor de startevaluatie is gebruikt gemaakt van de contouren van de pilot zoals opgenomen
in de brief aan de Tweede Kamer bij de start van de pilot Lerend evalueren2. Hieruit zijn factoren naar voren gekomen die invloed hebben op de kwaliteit (mate
van inzicht in doeltreffendheid en doelmatigheid) en het leren van evaluaties. In
deze startevaluatie is voor acht eerder uitgevoerde beleidsdoorlichtingen geanalyseerd
in hoeverre deze factoren aanwezig waren.

Bevindingen evaluaties 2014–2017

De onafhankelijkheid van de onderzoeken was goed geborgd; meestal door een onafhankelijk
voorzitter van de begeleidingscommissie van het onderzoek. Er was voldoende kennis
van evalueren aanwezig bij de onderzoekers en de betrokken beleidsmedewerkers. De
onderzoeksmethode was passend bij de betreffende beleidsdoorlichting, de vragen van
de Regeling Periodiek Evaluatieonderzoek zijn gebruikt als kader.

Er zijn ook factoren waar minder goed op werd gescoord. Bij geen van de doorlichtingen
bleek dat de beleidstheorie vooraf goed was uitgeschreven, wel was het mogelijk om
deze achteraf te reconstrueren. De beleidsdoorlichtingen betroffen vaak een aantal
individuele beleidsinstrumenten op één begrotingsartikel die niet noodzakelijk een
samenhangend beleidsvraagstuk omvatten. Daardoor was het moeilijk een synthese van
het beleid uit te voeren. De beleidsdoorlichtingen gaven beperkt inzicht in de doeltreffendheid
en doelmatigheid van het beleid en hadden daardoor onvoldoende toegevoegde waarde
om van te leren.

De beperkte toegevoegde waarde van de uitgevoerde beleidsdoorlichtingen was voor VWS
de aanleiding van het initiatief voor de pilot Lerend evalueren. De pilot onderzoekt
hoe de kwaliteit van de evaluatiepraktijk en het leervermogen van de organisatie kan
worden verbeterd. De factoren die hier invloed op hebben zijn nu expliciet gemaakt
en zijn voor de pilot aangrijpingspunten voor verbetering.

De resultaten van deze startevaluatie zijn in lijn met andere onderzoeken. De Algemene
Rekenkamer3, de Studiegroep Begrotingsruimte4 en de Tweede Kamer5 hebben ook geconcludeerd dat de kwaliteit van beleidsdoorlichtingen kan worden verbeterd.
In 2018 is rijksbreed de Operatie Inzicht in Kwaliteit gestart6. De operatie heeft tot doel om de maatschappelijke toegevoegde waarde van publiek
geld te vergroten door meer inzicht in de impact van beleid te krijgen en daar naar
te handelen. De pilot van VWS maakt nu onderdeel uit van deze operatie.

Leren door evalueren

Deze startevaluatie geeft als onderdeel van de pilot Lerend evalueren belangrijke
input voor het leerproces. Het uitvoeren van dit onderzoek door VWS heeft in dit kader
een aantal leerpunten opgeleverd:

• Het vooraf expliciet maken van het doel en de (verwachte) werking van voorgenomen
beleid is van belang om goed te kunnen evalueren.

• Het ontwikkelen van een passende evaluatiemethodiek vergt veel aandacht en tijd. Deze
investering in de voorkant van het onderzoek, betaalt zich echter ruimschoots terug
in transparante uitkomsten.

• Het betrekken van externe deskundigen bij het begeleiden van het onderzoek en een
onafhankelijk voorzitter verbeteren de methodiek en borgt de onafhankelijkheid.

• Om daadwerkelijk te kunnen leren en het beleid te verbeteren is een lerende organisatie
van belang. Factoren die hierbij een rol spelen zijn: het management ondersteunt het
om kritisch te kunnen reflecteren op het gevoerde beleid en de lessen van evaluaties
worden daadwerkelijk gebruikt om het beleid aan te passen.

Vooruitblik

De pilot Lerend evalueren heeft als doel de kwaliteit van de beleidsevaluaties te
verhogen en er meer van te leren. De pilot zet in op het verbeteren van de factoren
die de kwaliteit beïnvloeden om dit doel te bereiken, zoals meer aandacht voor het
vooraf expliciteren van de beleidstheorie. De inhoud staat centraal en wordt niet
begrensd door de begrotingsindeling van VWS. In de aanpak van de pilot wordt daarnaast
gewerkt met een praktijkgericht en interactief ondersteuningsprogramma voor de betrokken
beleidsmedewerkers en onderzoekers.

Ik zal uw Kamer jaarlijks in september voor Prinsjesdag informeren over de voortgang
van de pilot. Daarbij worden de taakopdrachten van de evaluatieonderzoeken van het
komende jaar aangeboden. Hiermee wordt u in de gelegenheid gesteld om bij de opzet
van deze onderzoeken vragen te stellen die vervolgens betrokken kunnen worden bij
de uitvoering van de evaluaties. Net zoals in deze brief zal bij alle afgeronde evaluaties
een aparte passage worden besteed aan de leerlessen zoals deze bij de uitvoering van
de evaluatie en onder vlag van Lerend evalueren zijn opgedaan.

Deze startevaluatie geeft de stand van zaken weer tot de start van de pilot in 2018
en maakt daarnaast de beleidstheorie van de pilot Lerend evalueren expliciet. De startevaluatie
maakt het mogelijk om op hoofdlijnen een vergelijking te maken met evaluaties die
worden uitgevoerd tijdens de pilot. Het inzicht dat wordt verkregen met de individuele
evaluaties binnen de pilot en de wijze waarop dit inzicht wordt gebruikt, zal laten
zien of de Pilot succesvol is en of de beleidstheorie zoals beschreven in deze startevaluatie
ook in de praktijk werkt. U ontvangt de taakopdracht voor de ex-durante evaluatie
volgend jaar.

Ik ben graag bereid met uw Kamer hierover van gedachten te wisselen.

De Minister van Volksgezondheid, Welzijn en Sport,
H.M. de Jonge