Brief regering : Voortgang Pilot beleidsevaluaties VWS 2018-2019

Nr. 153 BRIEF VAN DE MINISTER VAN VOLKSGEZONDHEID, WELZIJN EN SPORT

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 10 september 2019

Hierbij informeer ik u, mede namens de Minister voor Medische Zorg en Sport en de
Staatssecretaris van Volksgezondheid, Welzijn en Sport, over de voortgang van de pilot
Lerend evalueren. Dit in vervolg op de stand van zakenbrief zoals deze op verzoek
van de vaste commissie voor VWS afgelopen mei naar uw Kamer is gestuurd.1 Zoals bekend maakt de pilot onderdeel uit van de Rijksbrede Operatie Inzicht in Kwaliteit
met als doel meer inzicht krijgen in de resultaten van beleid en daar naar handelen
om de maatschappelijke toegevoegde waarde van beleid te vergroten.2

De pilot Lerend evalueren is inmiddels goed op gang gekomen en de eerste (tussen)resultaten
zijn beschikbaar. In de uitvoering van de pilot wordt de praktijk zoals de uitvoerende
instanties en de burgers nadrukkelijk betrokken, wordt het beleid ook ex ante en ex
durante geëvalueerd en worden vernieuwende onderzoeksmethodieken toegepast. In deze
brief geef ik een update van het meerjarenprogramma en ga nader in op algemene lessen
die wij trekken uit de negen afgeronde evaluaties. In de bijlage bij deze brief worden
de uitkomsten van deze afgeronde evaluaties specifiek besproken3. Tevens stuur ik twee taakopdrachten van evaluatieonderzoeken die de komende periode
gaan starten.

Het evaluatieprogramma van VWS

De pilot Lerend evalueren bevat een meerjarenprogramma van de evaluaties voor de periode
2018–2022. De evaluatieonderzoeken hebben betrekking op beleidsvraagstukken op het
brede beleidsterrein van VWS. Hierbij staat de inhoud centraal. De reikwijdte van
de evaluatieonderzoeken wordt niet begrensd door de begrotingsindeling. In de evaluatieonderzoeken
worden alle relevante uitgaven betrokken, zowel de begrotingsuitgaven van VWS als
de uitgaven die vallen onder het Uitgavenplafond Zorg. Bij de totstandkoming van het
meerjarenprogramma zijn verschillende criteria gehanteerd zoals de maatschappelijke
urgentie, het handelingsperspectief van VWS en de budgettaire omvang.

In het meerjarenprogramma heb ik één aanpassing doorgevoerd. Voor de evaluatie Samenhang
Wpg, Jeugdwet en Wmo zal ik meer tijd nemen voor de vormgeving van de taakopdracht.
Hierdoor wordt overlap met andere evaluaties voorkomen. Ik voeg de invoering van de
maatschappelijke diensttijd (MDT) toe aan het evaluatieprogramma van de pilot. Ik
vind dit nuttig omdat VWS in dit traject een aantal van de principes van lerend evalueren
(zoals het uitnodigen tot kennisontwikkeling, kennisdeling en kennistoepassing) in
praktijk probeert te brengen. Het is verstandig om deze werkwijze tegen het licht
te houden en daar lessen uit te trekken.

Het meerjarenprogramma met de evaluaties van VWS voor de periode 2018–2022 ziet er
daarmee als volgt uit.

Zoals u in bovenstaande tabel kunt zien staan er veel verwijzingen naar (tussen)evaluaties
die inmiddels naar uw Kamer zijn gezonden. Deze rapportages gaan zowel in op het inzicht
in de effecten van het beleid uit de praktijk als op de leerlessen als onderdeel van
de pilot. In de bijlage worden de afgeronde individuele evaluaties nader besproken.

Voor 2020 worden drie nieuwe evaluatieonderzoeken gestart. Hieronder worden deze kort
toegelicht. De taakopdrachten van twee onderzoeken zijn in de bijlage bij deze brief
opgenomen.

Evaluatie «De juiste zorg op de juiste plek» (nr. 07)

In 2019 t/m 2022 zal voor de evaluatie «De juiste zorg op de juiste plek» (JZOJP)
een ex durante evaluatie plaatsvinden en in 2022 de ex post evaluatie. Het doel van
de evaluatie is om de voortgang en de transformatie naar de JZOJP zo goed mogelijk
inzichtelijk te maken op regionaal niveau, zodat mensen gaan ervaren dat de zorg en
ondersteuning beter aansluit op hun behoefte. Maar ook om inzicht te krijgen van de
ontwikkelingen op landelijk niveau, om zo nodig het beleid tussentijds bij te sturen.

Evaluatie Arbeidsmarkt en opleiden (nr. 17)

In 2018 is het Actieprogramma Werken in de Zorg uitgebracht met als doel nu en in
de toekomst goede zorg en welzijn te kunnen blijven bieden. De ambitie is om het arbeidstekort
in 2022 zo ver mogelijk teruggebracht te hebben. Het gaat daarbij niet alleen om voldoende
mensen, maar ook meer tevreden en beter toegeruste medewerkers. Om het effect van
de inspanningen van het actieprogramma inzichtelijk te maken wordt een ex durante
evaluatie in 2020 opgestart welke doorloopt door tot en met 2021. In de uitvoering
wordt een lerend perspectief gehanteerd. De evaluatie kijkt naar de mate van voortgang,
verbetering en innovatie van het Actieprogramma Werken in de Zorg. Centraal staat
de vraag hoe het doeltreffender en doelmatiger kan.

Evaluatie Goed bestuur (nr. 16)

De evaluatie Goed bestuur is voorzien in 2020. De taakopdracht over de aanpak van
dit evaluatieonderzoek ontvangt u voor het einde van dit jaar.

VWS als lerende organisatie; de eerste algemene bevindingen

Evaluatieonderzoek is vaak complex en vereist expertise en maatwerk, vooral door de
combinatie van de twee hoofddoelen van evaluatieonderzoek: verantwoorden én leren.
Met de pilot is VWS een leertraject gestart en ik vind het belangrijk om onze eerste
ervaringen met uw Kamer te delen.

Verschuiven aandacht voor evalueren richting beleidsontwikkeling

Een belangrijk doel van de pilot is om al werkende het inzicht in de doeltreffendheid
en doelmatigheid van het beleid te vergroten en om op basis daarvan het beleid te
verbeteren. De ervaring leert dat door deze pilot de aandacht voor evalueren steeds
eerder in het beleidsproces van VWS komt te liggen. Dit blijkt onder andere uit het
verschillende ex ante onderzoeken uit het meerjarenprogramma, bijvoorbeeld Uitkomstgerichte
zorg (nr. 12) en Langer thuis (nr. 14). De uitdaging is om deze verschuiving de komende
periode ook breder binnen VWS door te zetten. Een belangrijk aandachtspunt hierbij
is het vooraf vaststellen van de beleidstheorie. Dit helpt bij het verderop in het
onderzoekstraject beter kunnen onderzoeken van de mate van doeltreffendheid en doelmatigheid
van het gevoerde beleid. Goede voorbeelden hiervan zijn de evaluatie Gezond, veilig
en kansrijk opgroeien (nr. 03d) en de startevaluatie van de pilot Lerend evalueren
(nr. 20) waarin de beleidstheorie van de pilot nader is geëxpliciteerd.4

Borgen van onafhankelijkheid

Voor goed evaluatieonderzoek is de betrokkenheid van onafhankelijke deskundigen om
de kwaliteit en onafhankelijkheid van beleidsevaluaties te waarborgen belangrijk.
In verschillende evaluatieonderzoeken van de pilot wordt met begeleidingscommissies
onder leiding van externe voorzitters gewerkt. Er zijn ook uitzonderingsgevallen.
Zo is voor de evaluatie Subsidies (nr. 19). gekozen om de evaluatie door VWS zelf
uit te voeren en zo voldoende medewerkers van VWS te betrekken om de impact van deze
evaluatie te vergroten. Om de onafhankelijkheid van het onderzoek zo veel mogelijk
te borgen is externe deskundigheid betrokken, heeft het Ministerie van Financiën deelgenomen
in de begeleidingscommissie en is een review uitgevoerd door de externe leden van
het Audit Committee van VWS.

Voor het borgen van de onafhankelijkheid is daarnaast door VWS in 2018 een Review
Board ingesteld met externe en interne deskundigen. De Review Board VWS reflecteert
op en geeft gevraagd en ongevraagd advies over de afzonderlijke onderzoeksopzetten,
de lopende evaluaties en concept-eindrapportages uit het Meerjarenprogramma 2018–2022.
De Review Board beziet daarbij of de praktijk (zoals ervaringen en inzichten van burgers
en professionals) wordt betrokken bij de evaluaties, waar mogelijk de internationale
context wordt meegenomen en waar vernieuwende onderzoeksmethodieken kunnen worden
toegepast. Tevens heeft de Review Board de functie van het signaleren van trends,
reflecteren op de opvolging van aanbevelingen en het leggen van verbanden tussen de
verschillende evaluaties. In het eerste jaar heeft de Board het accent gelegd op de
onderzoeksopzetten. De komende periode zal de focus verschuiven naar de uitvoering
van de lopende evaluaties en welke lessen VWS hieruit kan leren.

Onderzoeken van complexe maatschappelijke vraagstukken

Het meerjarenprogramma bevat diverse complexe maatschappelijk vraagstukken die betrekking
hebben op de houdbaarheid van de zorg voor nu en in de toekomst. Deze evaluaties zijn
cruciaal om over passende beleidsopties te kunnen beschikken. Kortom dit zijn vraagstukken
die niet alleen mij bezighouden maar in feite alle mensen die de zorg een warm hart
toe dragen. Een samenhangend beleidsonderwerp – ongeacht financieringsbron en begrotingsartikel –
zorgt voor meer integraal evaluatieonderzoek. Dat kan de bruikbaarheid van de resultaten
van de evaluatie vergroten. Voorbeelden van domein-overstijgende onderzoeken zijn
de evaluaties Cliëntondersteuning (nr. 13) en Langer thuis (nr. 14) die zowel delen
van de Wmo, Zvw als Wlz onderzoeken als ook het functioneren op »de koppelvlakken»
tussen deze stelselwetten.

Een andere manier om antwoorden op complexe beleidsvraagstukken te krijgen is door
te werken met pilotprojecten. Voor het ingewikkelde vraagstuk rondom Persoonsvolgende
zorg (nr. 15) is gekozen om twee regio´s in Nederland experimenteerruimte te geven.
Dit met de verwachting dat deze opgedane leerlessen vervolgens regionaal dan wel landelijk
onder voorwaarden kunnen worden toegepast. De lessen die uit de evaluatie van de Transitie
Autoriteit Jeugd (TAJ) (nr. 05) kunnen worden geleerd, zouden eveneens vertaald kunnen
worden naar andere onderdelen van het zorgstelsel of zelfs Rijksbreed met de focus
op de leervraag of een transitieautoriteit bij een stelselaanpassing «werkt».

Ervaring opdoen met nieuwe manieren van onderzoek

Binnen de pilot Lerend evalueren is ruimte om te experimenteren met voor VWS nieuwe
onderzoeksmethoden. Veranderen en vernieuwen is geen gemakkelijke opgave en daarom
is een toolbox »Leren door evalueren» ter ondersteuning bij de opzet van de onderzoeken
ontwikkeld. Het op een andere manier bekijken van het vraagstuk Langer thuis heeft
geleid tot een explorerend vooronderzoek (ex-ante) om inzicht te krijgen in de situatie
van langer thuiswonende ouderen (nr. 14). De focus lag hierbij op het gecombineerde
zorggebruik van deze ouderen uit de verschillende domeinen (Wlz, Zvw en Wmo), hoe
de zorg aansluit op de zorgbehoefte en hoe doelmatig deze wordt geleverd. Het op deze
wijze in beeld brengen van de doelgroep is een nieuwe werkwijze voor VWS. Daarbij
kan de opgedane kennis en expertise zorgbreed door VWS worden ingezet in zijn rol
als opdrachtgever bij het formuleren van vragen en het maken van data-analyses.

Andere voorbeelden van onderzoeksvormen waarmee de komende periode ervaring wordt
opgedaan zijn de methoden van actieleren voor de uitwerking van de maatschappelijke
diensttijd (nr. 01) en de Community of Practices voor de evaluatie van de Buurtsport coaches (nr. 03c). Actieleren is een continu
proces van leren door ervaren, reflecteren, verdiepen, doelgericht experimenteren
met als doel samen oplossingen en verbeteringen te ontdekken. Een community of practice
is een groep van leerpartners die zelfgestuurd van en met elkaar leren om beter te
worden in een gedeelde uitdaging.

Ontwikkelen en betrekken van nieuwe kennis en vaardigheden

Zoals ook door de 15e Studiegroep Begrotingsruimte aangestipt; evalueren is moeilijk en een vak apart.5 Daarom vind ik het belangrijk dat in de aanpak van de pilot gewerkt wordt met een
uitdagend, praktijkgericht en interactief ondersteuningsprogramma voor de betrokken
beleidsmedewerkers en onderzoekers. Door lerend te evalueren blijkt dat de rol van
de evaluator ook aan verandering onderhevig is. Was dat eerder meer een controllersfunctie
(verantwoorden), inmiddels ontwikkelt dat zich naar meer een samenspeler en soms zelfs
richting verandermanager om samen met de geëvalueerde tot betekenisvolle inzichten
te komen (leren). Om deze rol goed te kunnen vervullen is voor de evaluatie van de
Geneesmiddelenvisie (nr. 09) gewerkt met een duoschap voor de externe begeleiding.
Het ene adviesbureau was vertrouwd met de beleidsinhoud en de andere gericht op samenwerken.

Doordat nu de eerste evaluatieonderzoeken zijn afgerond zie ik dat een voorzichtige
vliegwielwerking binnen de VWS-organisatie in werking treedt doordat de opgedane kennis
en ervaringen actief worden doorgegeven aan de komende en lopende onderzoeken. Het
begeleidingsprogramma van VWS faciliteert deze kruisbestuiving bijvoorbeeld door het
organiseren van Meetups en werkbezoeken, het onderling in contact brengen van trekkers en onderling feedback
laten geven op elkaars trajecten. Ook de kennisactiviteiten vanuit de Operatie Inzicht
in Kwaliteit zijn hier behulpzaam bij. Voor goed beleid en goede uitvoering van beleid
is kennis nodig. Interessant in deze is de evaluatie van de VWS kennisfunctie als
onderdeel van het meerjarenprogramma. De resultaten van dit onderzoek zal ik in 2020
aan uw Kamer aanbieden (nr. 02).

Samen werken aan een evaluatiecultuur

De 15e Studiegroep Begrotingsruimte noemt het belang van de juiste prikkels om beleid kritisch
te evalueren. De Rijksbrede Operatie Inzicht in Kwaliteit, waarvan de pilot onderdeel
uitmaakt, geeft hier invulling aan. Met de pilot Lerend evalueren streeft VWS ernaar
om transparant te zijn over de effecten van beleid en daarvan te leren. Overigens
vind ik inzicht in de effecten van beleid in algemene zin van groot belang. Ik besteed
daarom ook veel aandacht aan het opnemen van indicatoren in de verschillende beleidsprogramma´s
en in de komende beleidsagenda als onderdeel van VWS begroting 2020. Voorbeelden van
beleidsonderwerpen die zowel in de VWS-beleidsagenda als deze pilot centraal staan
zijn Jeugdpreventie, Sport en bewegen, Waardig ouder worden en Werken in de zorg.

Evalueren als kort cyclisch proces

Een ander gevolg van de pilot is de versterkte aandacht voor het kort cyclisch evalueren.
Bij de evaluatie van de Geneesmiddelenvisie (nr. 09) zijn bij de beleidsuitvoering
de effecten gemonitord. Door sessies met het veld en betrokken overheidsinstanties
en bijeenkomsten met alleen beleidsmedewerkers, ontstonden er cycli van ophalen van
en reflecteren op effecten en ervaringen en het in beeld brengen van verbeterpunten.
Naast de zo verkregen inhoudelijke aanbevelingen, zie ik ook opbrengsten in betrokkenheid
en draagvlak in het veld en betrokken overheidsinstanties. Zo is «hands on» en met
de praktijk meer zicht gekregen in de effecten van beleid en zijn aanbevelingen gedaan
het beleid waar nuttig en nodig bij te sturen.

Betrekken van de praktijk

De zorg is van allemaal en voor ons allemaal. Ik vind het daarom belangrijk om in
de evaluaties die uitgevoerd worden de leerlessen op een begrijpelijke wijze te communiceren
door «te tellen en te vertellen». Door het betrekken van de praktijk kunnen ervaringen
van mensen («leefwereld») gekoppeld worden aan de regelgeving van het zorgstelsel
(«systeemwereld»). Uitdaging daarbij is om te zoeken naar «het goede verhaal» dat
representatief is voor een grote groep zorggebruikers.

In de uitvoering van de evaluaties is daarom veel aandacht voor alle betrokken stakeholders,
met nadrukkelijk ook aandacht voor degene die een andere mening zijn toegedaan. De
twee evaluaties op het gebied van jeugdpreventie (nrs. 03b,d) zijn hier goede voorbeelden
van. Door met elkaar in gesprek te gaan komen we te weten wat er goed gaat en wat
(nog) niet, en wat in dit geval gemeenten en uitvoeringspartijen nodig hebben om het
(nog) beter te doen voor de organiseerbaarheid van de zorg voor de jeugd.

De evaluatie pgb-Zvw (nr. 10) is een ander voorbeeld van een evaluatie waarbij de
praktijk actief heeft geparticipeerd. In de aanpak waren alle relevante veldpartijen
van meet af aan betrokken. Zo zijn diepte-interviews gehouden met budgethouders, zorgverzekeraars,
wijkverpleegkundigen en beroeps-, branche- en belangenorganisaties. Ook is kwantitatief
en financieel onderzoek gedaan op basis van gegevens van alle zorgverzekeraars, Vektis
en de Stichting Klachten en Geschillen Zorgverzekeringen (SKGZ). Met de uitkomsten
van de evaluatie is VWS direct met partijen om de tafel gegaan om tot nieuwe bestuurlijke
afspraken te komen. Deze afspraken zijn inmiddels gemaakt en geland in de zorgverzekeringspolissen
van 2019.

Verstevigen evaluatieprogramma’s in beleidscyclus

Tijdens het Wetgevingsoverleg Jaarverslag 20186 hebben wij gesproken over de presentatie van het meerjarenprogramma dat naar zorgdomein
is geordend. De suggestie is gedaan of een andere indeling, bijvoorbeeld op basis
van de levensloop zoals in de Staat van Volksgezondheid en Zorg, de presentatie van
het meerjarenprogramma zou kunnen verduidelijken. Ik heb daar naar gekeken en dat
blijkt niet het geval te zijn. Het blijkt vooral lastig om zorgbrede thema’s in te
delen in de ordening van de Staat van Volksgezondheid en Zorg. Ook zijn sommige onderwerpen
niet specifiek te relateren aan een bepaalde levensfase. Ik zie dan ook geen aanleiding
om de presentatie van het meerjarenprogramma aan te passen. Wel biedt de opzet van
de pilot ruimte om alternatieve beleidsthema’s op te nemen. Mocht u voor de programmering
2021–2022 suggesties hebben, dan ben ik graag bereid daarover met u van gedachten
te wisselen.

Zoals ik ook al eerder aan uw Kamer heb aangegeven, heeft een aantal van de evaluaties
in de opstartfase meer tijd nodig gehad dan vooraf voorzien. In de praktijk blijkt
dat bij de start van evaluaties tijd nodig is om te komen tot goede onderzoeksvragen,
in te zetten vernieuwende onderzoeksmethodieken en een aanpak om de uitvoeringspraktijk
actief te betrekken. Deze intensieve voorbereidingsfase komt de aanpak van de evaluatie
ten goede en zorgt voor meer bekendheid bij alle betrokkenen. Dit geldt bijvoorbeeld
voor de in de bijlage opgenomen taakopdracht van de evaluatie «De juiste zorg op de
juiste plek» (nr. 07) en de taakopdracht Goed bestuur (nr. 16) die later dit jaar
naar uw Kamer zullen worden verzonden.

Naast de planning van de beleidsevaluaties is VWS verantwoordelijk voor de uitvoering
van diverse evaluaties op het gebied van wetten, subsidieregelingen, ZBO’s en interdepartementale
(beleids)onderzoeken. Gezien het streven van de Operatie Inzicht in Kwaliteit om de
maatschappelijke impact te vergroten lijkt het interessant om te onderzoeken hoe deze
strategische evaluatieagenda’s al dan niet met elkaar «mee-ademen» dan wel elkaar
kunnen ondersteunen ook in relatie tot de vigerende beleidscyclus.

Transparant zijn over geleerde lessen

Met deze pilot wil ik op een passende wijze invulling geven aan de motie-Harbers c.s.7 om de Kamer meer te betrekken bij het evalueren van beleid. Naast het vooraf aanbieden
van de taakopdrachten van de komende evaluatieonderzoeken, vind ik het belangrijk
om na afronding ook duidelijkheid te geven over de bereikte resultaten van de evaluaties
als onderdeel van de pilot Lerend evalueren. Daarom wordt als vast onderdeel in de
kabinetsreactie op een afgerond evaluatieonderzoek in een aparte passage ingegaan
op de geleerde lessen. Ik zal vervolgens toezien op de opvolging van de aanbevelingen.

Het vervolg

Voor de komende periode staan de rapportages van de evaluaties Wanbetalers Zvw-premie
(nr. 11) (eind 2019) en Eenzaamheid (nr. 18) (voorjaar 2020) gepland. Ook de komende
periode blijf ik volle aandacht geven aan evaluatieonderzoeken in het kader van de
pilot Lerend evalueren. Ik beschouw deze onderzoeken als belangrijke handvatten om
samen met alle betrokkenen te kunnen reflecteren op het VWS-beleid en waar mogelijk
te verbeteren.

De Minister van Volksgezondheid, Welzijn en Sport, H.M. de Jonge