Lijst van vragen en antwoorden : Lijst van vragen en antwoorden over de voortgang Pilot beleidsevaluaties VWS 2018-2019

Nr. 161 LIJST VAN VRAGEN EN ANTWOORDEN

Vastgesteld 26 november 2019

De vaste commissie voor Volksgezondheid, Welzijn en Sport heeft een aantal vragen
voorgelegd aan de Minister van Volksgezondheid, Welzijn en Sport over de brief van
10 september 2019 inzake de voortgang Pilot beleidsevaluaties VWS 2018–2019 (Kamerstuk
31 865, nr. 153).

De Minister heeft deze vragen beantwoord bij brief van 25 november 2019. Vragen en
antwoorden zijn hierna afgedrukt.

De voorzitter van de commissie, Lodders

De adjunct-griffier van de commissie, Bakker

Vraag 1

Bent u voornemens in de toekomst nog andere evaluaties aan de pilot toe te voegen,
dan wel uit de programmering te halen? Zo ja, welke?

Antwoord 1

Deze pilot heeft als doel om werkendeweg het inzicht in de doeltreffendheid en doelmatigheid
van het beleid te vergroten en om op basis daarvan het beleid te verbeteren. De meerjarenprogrammering
VWS biedt dan ook ruimte, passend binnen het doel van de pilot, om aanvullende of
alternatieve beleidsthema’s op te nemen. Mocht u voor de programmering 2021–2022 suggesties
hebben, dan ben ik graag bereid daarover met u van gedachten te wisselen.

Vraag 2

Waarom is de evaluatie onder nummer 1, samenhang Wet publieke gezondheid (Wpg), Jeugdwet,
Wet maatschappelijke ondersteuning (Wmo) uit het overzicht van de programmering gehaald?
Kunt u toelichten waar deze evaluatie die voor het jaar 2020 gepland stond, zich op
zal richten (Kamerstuk 31 865, nr. 144)? Wanneer kan de Kamer alsnog de taakopdracht voor deze evaluatie tegemoet zien?

Antwoord 2

Voor de evaluatie Samenhang Wpg, Jeugdwet en Wmo zal ik meer tijd nemen voor de vormgeving
van de taakopdracht. De focus van de evaluatie is mede afhankelijk van lopende onderzoeken
en met het uitstel wordt zo overlap voorkomen. De planning is dat de taakopdracht
de tweede helft 2020 aan uw Kamer zal worden aangeboden.

Vraag 3

Zijn er naast de tien in de brief opgesomde positieve eerste bevindingen van het Ministerie
van VWS als lerende organisatie, ook zaken die tegenvallen in de pilot of anders lopen
dan gedacht?

Antwoord 3

Een aantal van de evaluaties had in de opstartfase meer tijd nodig dan vooraf voorzien.
In de praktijk blijkt dat bij de start van veel evaluaties tijd nodig is om te komen
tot goede onderzoeksvragen, in te zetten vernieuwende onderzoeksmethodieken en een
aanpak om de uitvoeringspraktijk actief te betrekken.

In het meerjarenprogramma van VWS is een verschuiving waarneembaar van meer aandacht
voor beleidsevaluaties aan de voorkant van het beleidsproces (zoals ex ante en ex
durante onderzoeken). Hierin zijn nog vervolgstappen mogelijk door ervoor te zorgen
dat het inzicht in de doeltreffendheid en doelmatigheid van beleidsvoornemens (bijvoorbeeld
in brieven aan de Kamer) wordt vergroot conform artikel CW 3.1.

Vraag 4

Kunt u nader concretiseren hoe en waar de door u gesignaleerde voorzichtige vliegwielwerking
binnen de VWS-organisatie zich manifesteert? Worden de ervaringen uit de VWS-pilot
ook gedeeld met andere ministeries, bijvoorbeeld in het kader van de Rijksbrede Operatie
Inzicht in Kwaliteit?

Antwoord 4

De eerste evaluatieonderzoeken in het kader van de pilot zijn inmiddels afgerond en
aan uw Kamer aangeboden. De opgedane kennis en ervaring wordt nu door VWS betrokken
bij de opzet en uitvoering van de nieuwe onderzoeken en tevens gemonitord in het kader
van de Evaluatie van de pilot Lerend evalueren (nr. 20). De pilot Lerend evalueren
van VWS maakt inmiddels onderdeel uit de operatie Inzicht in Kwaliteit. VWS heeft
frequent overleg met het Ministerie van Financiën en andere beleidsdepartementen over
de voortgang van de operatie, waarbij opgedane kennis en ervaringen worden uitgewisseld.

Vraag 5

Welke voorbeelden of voornemens zijn er om betrokkenen bij het beleid ook zelf actief
te betrekken bij de daadwerkelijke totstandkoming van een evaluatie?

Antwoord 5

Bij het ex durante onderzoek «Aanpak overgewicht jeugd» (nr. 03b) en het ex ante onderzoek
naar «Gezond, veilig en kansrijk opgroeien» (nr. 03d) is in lijn met de filosofie
van de pilot Lerend evalueren een open, onderzoekende aanpak gebruikt.1 Als vervolg op deze onderzoeken wordt ingezet om samen met lokale overheden en uitvoeringspartners
te werken aan het gezamenlijke verhaal over preventie voor de jeugd en toe te werken
naar ambities voor de lange termijn. De dialoog met gemeenten en andere lokale uitvoeringspartners
houdt zowel VWS als lokale partners een spiegel voor: faciliteert VWS daadwerkelijk
het lokale veld? En maken lokale partners optimaal gebruik van reeds bestaande best
practices en ondersteuningsmogelijkheden? Door in gesprek te gaan met elkaar komen
we te weten wat er goed gaat en wat (nog) niet, en wat gemeenten en uitvoeringspartijen
nodig hebben om het (nog) beter te doen.

Gedurende de looptijd van de Ex durante evaluatie geneesmiddelenvisie (nr. 09) van
een half jaar, hebben medewerkers van VWS, Zorginstutuut en NZa, veldpartijen en hun
achterbannen gesproken over het effect van de geneesmiddelenvisie en over bijsturing
ervan.2 Door sessies met het veld en overheidsinstanties af te wisselen met sessies waarbij
alleen beleidsmedewerkers aanwezig waren, ontstonden er cycli van ophalen, reflecteren
en nadenken over bijsturen van beleid. De gekozen vernieuwende vorm van evalueren
heeft in dit traject veel opgeleverd. Het bood de kans om velen – direct betrokkenen
uit het veld, patiënten en dossierdeskundigen bij VWS, maar ook mensen met meer afstand
tot de geneesmiddelenvisie – interactief te betrekken bij het verbeteren van de uitwerking
en uitvoering van het beleid.

Een belangrijk onderdeel van de evaluatie Evaluatie Zvw-pgb 2017 (nr. 10) was het
koppelen van de leefwereld aan de systeemwereld.3 Dit is gerealiseerd door alle betrokken veldpartijen van meet af aan te betrekken.
Zo zijn diepte-interviews gehouden met budgethouders, zorgverzekeraars, wijkverpleegkundigen
en beroeps-, branche- en belangenorganisaties. Ook is kwantitatief en financieel onderzoek
gedaan op basis van gegevens van alle zorgverzekeraars, Vektis en de Stichting Klachten
en Geschillen Zorgverzekeringen (SKGZ) over het jaar 2017.

Vraag 6

Kunt u voortaan in de kabinetsreactie bij een evaluatie, indien van toepassing, standaard
ook aandacht besteden aan de rol die betrokkenen hebben gespeeld bij de totstandkoming
van de evaluatie en aangeven wat hun oordeel is over de uitkomsten van de evaluatie?

Antwoord 6

Ja, ik vind het een goede suggestie om in de kabinetsreactie op een evaluatieonderzoek,
indien van toepassing, standaard aan te geven of en zo ja hoe verschillende partijen
betrokken zijn geweest.

Vraag 7

Wat zijn wat u betreft de belangrijkste lessen uit de tot nu toe uitgevoerde evaluaties?

Antwoord 7

Binnen de pilot wordt op verschillende manieren geëxperimenteerd en nieuwe ervaringen
opgedaan. In de voortgangsbrief zijn de verschillende bevindingen al kort toegelicht.
De belangrijkste leerlessen zijn:

1. Het vooraf expliciet maken van de beleidstheorie is van belang om goed te kunnen evalueren.

2. Het koppelen van de leefwereld van mensen met de systeemwereld levert aanvullende
inzichten op die van invloed zijn op de maatschappelijke impact van een maatregel.

3. Het vaker tussentijds evalueren en het creëren van momenten van bijsturing verhoogt
het inzicht en de uiteindelijke maatschappelijke impact van het beleid.

4. Bij de keuze van zelf uitvoeren van een evaluatie of uitbesteden aan een externe partij
is het van belang om mee te wegen hoe een zo groot mogelijk leereffect (een van de
doelstellingen van de pilot Lerend evalueren) voor VWS kan worden bereikt.

5. Stappen zetten in de ontwikkeling van een lerende organisatie vraagt om een cultuurverandering,
een open houding en kritisch reflectie.

Vraag 8

Kunt u voorbeelden geven van beleid dat is aangepast op basis van inzichten uit uitgevoerde
evaluaties in het kader van de pilot?

Antwoord 8

Het programma Maatschappelijke Diensttijd (MDT) is vanaf de grond opgezet (nr. 01).
MDT slaagt alleen als er breed draagvlak voor is en goed aansluit op de behoeftes
van jongeren, deelnemende organisaties en de samenleving.4 Er is daarom voor gekozen om het programma samen met jongeren en betrokken organisaties
via proeftuinen in de praktijk te ontwerpen. Om deze ervaringen zo goed en zo snel
mogelijk te kunnen benutten, is er een begeleidend onderzoeksprogramma ingezet waarbij
de proeftuinen tijdens de uitvoering worden geëvalueerd. Voor deze ex durante evaluatie
wordt door actieleren kwalitatief inzicht in de ontwikkeling van het instrument verkregen.5 Daarnaast vindt ook een kwantitatieve analyse plaats. De bevindingen en aanbevelingen
uit het onderzoek zijn/worden tussentijds verwerkt in het ontwerp van MDT en als voorwaarden
meegenomen in de volgende subsidieronden voor proeftuinen.

In het kader van de brief Waardig leven met zorg is in 2017 een experiment gestart
waarbij de zorg (meer) persoonsvolgend wordt (nr. 15). In regio Rotterdam gaat het
om de gehandicaptenzorg, in regio Zuid-Limburg om Verpleging en Verzorging.6 Het experiment heeft de volgende belangrijke nieuwe inzichten opgeleverd:

• De landelijke bekostigingsregels zijn gedurende het experiment aangepast, waardoor
deze geen belemmering meer vormen voor de totstandkoming van persoonsvolgende zorg.

• In het experiment kan een cliëntondersteuner Wlz eerder worden ingezet door zorgkantoren
bij de overgang van de Wmo naar de Wlz.

• Er is een goede samenwerking tot stand gekomen tussen instellingen binnen de deelnemende
regio’s, die daardoor elkaar beter weten te vinden en goed op de hoogte zijn van elkaars
aanbod. Daardoor wordt de cliënt beter aan passende zorg geholpen op een locatie die
zoveel mogelijk bij de wens van de cliënt aansluit.

• Binnen zorginstellingen, maar ook tussen zorginstellingen en zorgkantoren, is een
betere relatie ontstaan en van daaruit wordt gekeken hoe voor de cliënt zoveel mogelijk
de zorg op maat kan worden geleverd op de meest passende locatie.

Vraag 9

Kunt u in toekomstige voortgangsbrieven over de pilot ook een beknopt totaaloverzicht
geven van de belangrijkste lessen en van de aanbevelingen uit evaluaties die nog niet
zijn opgevolgd? Kunt u daarbij ook de reden om aanbevelingen niet op te volgen daarbij
beknopt vermelden?

Antwoord 9

Met deze pilot wil ik op een passende wijze invulling geven aan de motie-Harbers c.s.7 om de Kamer meer te betrekken bij het evalueren van beleid. Naast het vooraf aanbieden
van de taakopdrachten van de komende evaluatieonderzoeken, vind ik het belangrijk
om na afronding ook duidelijkheid te geven over de bereikte resultaten van de evaluaties
als onderdeel van de pilot Lerend evalueren. Daarom wordt als vast onderdeel in de
kabinetsreactie op een afgerond evaluatieonderzoek in een aparte passage ingegaan
op de geleerde lessen. In de bijlage bij de voortgangsbrief zijn zoveel mogelijk deze
beleidsalternatieven per evaluatie opgenomen. Ik zal toezien op de opvolging van de
aanbevelingen en u daarover in de voortgangsrapportages informeren.

Vraag 10

Hoe is in de pilot invulling gegeven aan het uitgangspunt dat u formuleerde in antwoord
op feitelijke vragen over de pilot in december 2018, dat in alle evaluaties ter advisering
verschillende (beleids)alternatieven worden uitgewerkt die meer doeltreffend en/of
meer doelmatig zijn? (Kamerstuk 31 865, nr. 124).

Antwoord 10

In alle evaluaties zijn aanbevelingen gedaan voor verbetering van de doeltreffendheid
en doelmatigheid van beleid. In de bijbehorende kabinetsreacties is opgenomen hoe
VWS hiermee om gaat.

Vraag 11

Kunt u een overzicht geven van meer doelmatige of doeltreffende beleidsalternatieven
die de inmiddels verschenen evaluaties hebben opgeleverd?

Antwoord 11

Alle evaluaties hebben beleidsalternatieven opgeleverd. In de ex durante evaluatie
van de pilot Lerend evalueren (nr. 20) worden deze beleidsaanbevelingen meegenomen;
wat is de aard van de aanbevelingen, worden ze overgenomen en vervolgens ook daadwerkelijk
geïmplementeerd? De eindrapportage van de ex durante evaluatie wordt in 2020 verwacht.

Vraag 12

Zijn er ook voorbeelden waarbij het beleid daadwerkelijk is veranderd als gevolg van
inzichten uit een evaluatie? Zo ja, welke?

Antwoord 12

Ja, hiervan zijn diverse voorbeelden. Zo zijn de aanbevelingen uit de Evaluatie Zvw-pgb
(nr. 10) overgenomen in de bestuurlijke akkoorden tussen de betreffende partijen.
Bij de experimenten persoonsvolgende zorg (nr. 15) zijn n.a.v. de tussenrapportage
de bekostigingsregels aangepast.8 Ook is er meer aandacht gekomen voor onafhankelijke cliëntondersteuning. De aanbevelingen
uit de Evaluatie subsidies (nr. 19) zijn uitgewerkt in het project Verbetering subsidiebeheer.9

Vraag 13

Kunt u in de toekomst standaard een overzicht opnemen in de voortgangsbrieven over
de pilot waaruit blijkt welke besparende of betere beleidsalternatieven naar voren
zijn gekomen in evaluaties, respectievelijk daadwerkelijk zijn geïmplementeerd?

Antwoord 13

Zie hiervoor het antwoord op vraag 9.

Vraag 14

Kunt u de volgende zin uit uw brief verduidelijken en concretiseren: «Gezien het streven
van de Operatie Inzicht in Kwaliteit om de maatschappelijke impact te vergroten lijkt
het interessant om te onderzoeken hoe deze strategische evaluatieagenda’s al dan niet
met elkaar «mee-ademen» dan wel elkaar kunnen ondersteunen ook in relatie tot de vigerende
beleidscyclus»?

Antwoord 14

In aansluiting op de operatie Inzicht in Kwaliteit onderschrijf ik het belang om de
strategische evaluatie- en onderzoeksplanning van departementen te verbeteren.10 De doelstelling van het Ministerie van Financiën is om in de evaluatie- en onderzoeksbijlage
bij de ontwerpbegroting van 2021 een eerste kwaliteitsslag te hebben gemaakt waarbij
alle departementen een integraal overzicht bieden van hun strategische evaluatie-
en onderzoeksplanning.

Vraag 15

Waarom heeft u het Rijksinstituut voor Volksgezondheid en Milieu (RIVM) gevraagd om
een aanpak en methodiek te ontwikkelen voor de beleidsevaluatie van de Juiste Zorg op de Juiste Plek (JZOJP)?

Antwoord 15

Het RIVM is een onafhankelijk kennisinstituut met ruime ervaring met evaluatieonderzoek
op het terrein van de zorg. Voorbeelden hiervan zijn de evaluatie van de proeftuinen
populatiemanagement, preventie in het zorgstelsel, integrale bekostiging van de geboortezorg
en Kansrijke Start.

Vraag 16

Wanneer kunt u de Kamer informeren over de aanpak en de methodiek die het RIVM nu
ontwikkelt?

Antwoord 16

Planning is dat het ontwerp van de lerende evaluatie door het RIVM in april 2020 wordt
opgeleverd. Het vormgeven van het ontwerp van de lerende evaluatie zal in nauwe samenhang
met de veldpartijen plaatsvinden. Het ontwerp vormt de uitgangsbasis van de lerende
evaluatie. Ik zal dit ontwerp aan uw Kamer toezenden.

Vraag 17

Wie stelt de onafhankelijke voorzitter aan? Is deze al bekend?

Antwoord 17

De Minister voor MZS heeft Wim van der Meeren11 gevraagd als onafhankelijk voorzitter van de begeleidingscommissie van de lerende
evaluatie.

Vraag 18

Kunt u nader toelichten hoe het doel van de evaluatie om lokale, regionale en landelijke
partijen te stimuleren, te ondersteunen en te inspireren, praktisch vormgegeven zal
worden?

Antwoord 18

De lerende evaluatie wordt tot april 2020 in afstemming met veldpartijen door het
RIVM vormgegeven. Hierin zal nader worden uitgewerkt hoe partijen op lokaal, regionaal
en landelijk niveau praktisch ondersteund worden door de evaluatie. Gedacht kan worden
aan bijvoorbeeld het opzetten van regionale «learning communities». In deze communities kan worden ingezet op het thematisch kort-cyclisch delen van
ervaringen en het verdiepen van inzicht met en van betrokken professionals en bestuurders
bij de ontwikkeling en realisatie van specifieke thema’s of interventies.

Vraag 19

Welke rol ziet u hierbij weggelegd voor respectievelijk de voorzitter, de begeleidingsgroep
en het RIVM als uitvoerder?

Antwoord 19

Het RIVM zal een aanpak en methodiek ontwikkelen en vervolgens aan de hand daarvan
de evaluatie uitvoeren. De begeleidingscommissie heeft als taak het bewaken van de
voortgang en kwaliteit van de evaluatie. De onafhankelijk voorzitter geeft leiding
aan deze commissie. De commissie geeft gevraagd en ongevraagd advies aan het RIVM,
waarbij de onafhankelijkheid van het RIVM wordt geborgd.

Vraag 20

Welke rol speelt u en het Ministerie van VWS in deze beleidsevaluatie?

Antwoord 20

Het Ministerie van VWS is opdrachtgever van het RIVM voor het uitvoeren van deze evaluatie.
Daarnaast stelt het Ministerie van VWS, in samenspraak met het RIVM, de begeleidingscommissie
samen en levert het secretariaat hiervoor. Uiteraard is het ministerie zelf ook onderdeel
van de lerende evaluatie. Met het inzicht dat wordt opgedaan gedurende de evaluatie
kan het ministerie ook bijsturen op het ingezette beleid. Het Ministerie van VWS biedt
immers het veld handvatten om de beweging naar JZOJP te verbreden en te versterken.

Vraag 21

Kunt u aangeven waarom u het belangrijk vindt dat gedurende het traject van de evaluatie
veldpartijen actief betrokken zijn? Aan welke partijen denkt u hierbij?

Antwoord 21

De JZOJP is een brede beweging die op meerdere niveaus plaatsvindt en waarbij meerdere
actoren zijn betrokken. Het doel van de evaluatie is om partijen, of dit nu lokaal,
regionaal of landelijk is, te stimuleren, te ondersteunen en te inspireren om de beweging
naar de JZOJP verder te brengen door inzicht te geven in de ontwikkelingen en ervaringen.
Dat betekent dus ook dat deze evaluatie in nauwe samenhang met deze partijen moet
worden opgesteld. Landelijk gaat het dan bijvoorbeeld om de partijen die betrokken
zijn bij de vijf hoofdlijnenakkoorden (GGZ, MSZ, wijkverpleging, huisartsenzorg en
paramedische zorg). Er bestaat bestuurlijk commitment met de zorgsector over de beweging
naar de JZOJP door middel van deze akkoorden. Naast deze partijen kunnen ook andere
experts betrokken worden bij de evaluatie. Gedacht kan worden aan experts op het gebied
van bijvoorbeeld digitalisering en eHealth.

Vraag 22

Welke rol krijgen veldpartijen precies in deze evaluatie? Hoe gaat u dit vormgeven?

Antwoord 22

Het is de bedoeling dat de evaluatie in nauwe samenhang met veldpartijen wordt opgezet
en uitgevoerd. Ik heb het RIVM hiertoe de opdracht gegeven. De lessen die volgen uit
de kort cyclische terugkoppeling worden teruggelegd op de tafels van de hoofdlijnakkoorden.
Mocht bijsturen of aanpassen van landelijk beleid nodig zijn dan kan het op deze bestuurlijke
tafels worden afgesproken.

Vraag 23

Waarom wordt pas later, in de ex post evaluatie, aandacht besteed aan de vraag of
de zorg beter aansluit op de behoeften en het functioneren van mensen?

Antwoord 23

Het functioneren van mensen is het uitgangspunt van de beweging JZOJP. Dit staat centraal
gedurende de gehele evaluatie. In de ex post evaluatie zal pas de ontwikkeling door
de jaren heen op dit punt inzichtelijk kunnen worden gemaakt.

Vraag 24

Kunnen in de evaluatie ex durante ook al uitkomstenindicatoren in beeld gebracht worden?

Antwoord 24

De ex durante evaluatie richt zich in eerste instantie op de randvoorwaarden en brengt,
indien mogelijk, geleidelijk aan de prestaties in beeld. De ex durante evaluatie gaat
vervolgens over in de ex post evaluatie waar ook naar uitkomstindicatoren wordt gekeken.
Mocht het passend zijn bij de ontwikkeling van de beweging naar de JZOJP, dan kunnen
uitkomstindicatoren meegenomen worden in de ex durante evaluatie.

Vraag 25

Wordt voor het meten van prestaties en uitkomsten nog een nulmeting uitgevoerd?

Antwoord 25

Zoals ik ook aangeef in de taakopdracht gaat het bij de JZOJP om een beweging die
al enige tijd gaande is, ook voordat de term JZOJP werd gebruikt.12 Een feitelijk nulmeting kan daarom ook niet worden uitgevoerd. Wel zal de evaluatie
de ontwikkelingen in het vervangen, verplaatsen en voorkomen van zorg en het functioneren
van mensen in beeld brengen. De gegevensverzameling beslaat voor zover mogelijk/beschikbaar
de gehele onderzoeksperiode (2019–2023).

Vraag 26

Hoe worden bijvoorbeeld zaken als het gebruik van eHealth, substitutie van zorg van
de tweede naar de eerste lijn en andere manieren om zorg te organiseren, gemonitord
en gemeten? In hoeverre kan het effect van JZOJP daarop worden bepaald?

Antwoord 26

Het doel van de evaluatie is om partijen, of dit nu lokaal, regionaal of landelijk
is, te stimuleren, te ondersteunen en te inspireren om de beweging naar de JZOJP verder
te brengen door inzicht te geven in de ontwikkelingen en ervaringen. Met dit inzicht
kan zo nodig door partijen tussentijds bijgestuurd worden. Op verschillende manieren
wordt inzicht verkregen in beweging JZOJP. Er wordt bijvoorbeeld een indicatorenset
vastgesteld waarvoor kwantitatieve indicatoren gebruikt zullen worden om de ontwikkeling
op thema’s te kunnen tonen. De thema’s worden in samenspraak met de veldpartijen bepaald.
Daarnaast wordt ingezet op het regionaal kort-cyclisch delen van ervaringen en het
verdiepen van inzicht met en van betrokken professionals en bestuurders bij de ontwikkeling
en realisatie van de JZOJP-beweging. Daarbij kunnen ook specifieke thema’s worden
besproken zoals eHealth. Op deze manier wordt inzicht verkregen in de doeltreffendheid
en doelmatigheid van de JZOJP-beweging zonder hierbij op zoek te gaan naar causale
effecten van de JZOJP-beweging. Zie ook het antwoord op vraag 25. Het ontwerp van
de lerende evaluatie wordt door het RIVM in april 2020 opgeleverd. Het ontwerp vormt
de uitgangsbasis van de lerende evaluatie. Ik zal dit ontwerp aan uw Kamer toezenden.

Vraag 27

Gaat de methodiek van actie-leren ook daadwerkelijk worden toegepast in deze evaluatie
of is dat een vrijblijvende suggestie die aan het RIVM is meegegeven?

Antwoord 27

Deze methode gaat daadwerkelijk worden toegepast. Dit is expliciet meegenomen in de
opdracht aan het RIVM. De evaluatie maakt immers onderdeel uit van de pilot Lerend
evalueren van VWS.

Vraag 28

Wanneer zal de aanbestedingsprocedure voor de evaluatie Actieprogramma Werken in de
Zorg starten? Wie besluit welke externe onafhankelijke onderzoekpartij zal worden
geselecteerd en op basis van welke criteria?

Antwoord 28

De aanbestedingsprocedure is reeds gestart en vindt plaats onder begeleiding van de
Haagse Inkoop Samenwerking (HIS). Beoordeling van de offertes vindt plaats door VWS
en een lid van de commissie Werken in de Zorg. Offerteprocedure wordt gegund op basis
van beste prijs-kwaliteitverhouding. Hiertoe worden de offertes beoordeeld op de volgende
criteria:

1. Plan van aanpak

2. Planning en coördinatie

3. Kennis van en ervaring van het aangeboden team (cv’s)

4. Prijs

Vraag 29

Wanneer kunt u de Kamer informeren over wie deze evaluatie gaat uitvoeren en wat de
concrete aanpak van de winnende partij zal zijn?

Antwoord 29

Naar verwachting vindt de gunning begin december plaats. Indien mogelijk zal ik u
hierover informeren in de voortgangsbrief van het Actieprogramma Werken in de Zorg
van december.

Vraag 30

Waarom treedt de commissie Werken in de Zorg op als procesbegeleider en opdrachtgever
van het te werven bureau?

Antwoord 30

Deze commissie fungeert als onafhankelijk begeleider, vanuit de onafhankelijke rol
die de commissie vervult in het monitoren en stimuleren van de voortgang van de regionale
aanpak van de personeelstekorten. Formeel juridisch is VWS opdrachtgever: VWS sluit
het contract met de opdrachtnemer en draagt de kosten van het evaluatieonderzoek.

Vraag 31

Wat is uw eigen rol en die van het ministerie bij deze evaluatie?

Antwoord 31

Enerzijds is er door de betrokkenheid van mijn beleidsambtenaren in de begeleidingscommissie
de mogelijkheid om bij direct betrokkenen navraag te doen over de inhoud en aanpak
van de beleidsmaatregelen. Ook kunnen zij de verbinding leggen met in het onderzoek
te betrekken stakeholders. Tevens biedt de nauwe betrokkenheid bij de uitvoering van
het onderzoek ook volop mogelijkheden om van elkaar te leren. Als bewindspersoon heb
ik geen rol in de uitvoering van de evaluatie. Na oplevering van de rapportage zal
ik uw Kamer deze aanbieden en daarbij aangeven op welke wijze ik voornemens ben een
vervolg te geven aan de evaluatie.

Vraag 32

Heeft het inhuren van externe deskundigen, die onder leiding van de commissie Werken
in de Zorg op zoek gaan naar verbeteringsmogelijkheden binnen een programma, niet
meer het karakter van een externe adviesopdracht dan van een evaluatie?

Antwoord 32

Nee, het betreft een ex durante beleidsevaluatie met een lerend karakter. Uit het
onderzoek dat hiervoor plaatsvindt, worden in dat licht aanbevelingen gedaan door
de onderzoekers.

Vraag 33

Waarom acht u de betrokkenheid van medewerkers, leidinggevenden en bestuurders in
het evaluatieonderzoek een must? Wat zal hun rol zijn bij deze evaluatie?

Antwoord 33

Betrokkenheid vanuit de werkvloer in de zorgorganisaties is essentieel om goed zicht
te krijgen op hoe de maatregelen die met het actieprogramma zijn ingezet, op de werkvloer
uitwerken.

Vraag 34

Wordt met deze taakopdracht beoogd dat een gekwalificeerd onderzoeksbureau ook op
zoek gaat naar verklaringen en oorzaken van ontwikkelingen die uit de arbeidsmarktcijfers
naar voren komen en dat dit bureau daarbij verbeteringen voor beleid aandraagt?

Antwoord 34

Met de taakopdracht wordt beoogd om op lerende wijze een ex durante beleidsevaluatie
te laten uitvoeren, gericht op een doeltreffender en doelmatiger inzet van de acties
en maatregelen vanuit het Actieprogramma Werken in de Zorg. Het onderzoek zal een
hoofdzakelijk kwalitatief karakter hebben. Over de (cijfermatige) voortgang van het
actieprogramma informeer ik u tweemaal per jaar, voor het eerst weer in december van
dit jaar.

Vraag 35

In hoeverre kunnen verdiepende vragen vanuit de Kamer over arbeidsmarktontwikkelingen
(bijvoorbeeld naar aanleiding van wat in de voortgangsrapportages naar voren komt)
worden meegenomen in dit evaluatietraject?

Antwoord 35

De vragen die over de taakopdracht zijn gesteld, nemen we zo goed als mogelijk mee
in de opdrachtverlening en uitvoering van het onderzoek. Zie verder het antwoord op
vraag 34.

Vraag 36

Hoe verhoudt deze verantwoording en begroting zich tot de Comptabiliteitswet 2016,
artikel 3.2 Begrotingsbeheer: «Onze Ministers en de colleges zijn verantwoordelijk
voor de ordelijkheid en controleerbaarheid van het begrotingsbeheer»?

Antwoord 36

De opzet van de pilot is in 2017 in goed overleg op ambtelijk niveau met het Ministerie
van Financiën uitgewerkt. Hierbij is voor de te evalueren thema’s in de pilot een
planning voor vijf jaar gemaakt. De thema’s zijn complexe beleidsvraagstukken op het
brede terrein van VWS. De inhoud staat centraal en wordt niet begrensd door de begrotingsindeling
van VWS. Anders dan bij de beleidsdoorlichtingen van voor 2018 worden naast de betreffende
uitgaven op de VWS-begroting ook – waar dat aan de orde is – de betreffende uitgaven
die vallen onder het Uitgavenplafond zorg betrokken in de evaluatieonderzoeken. Hierbij
wordt zoveel mogelijk in de geest van de Regeling Periodiek Evaluatieonderzoek (RPE)
gewerkt, maar er kan gemotiveerd van worden afgeweken. De pilot vervangt de meerjarenplanning
beleidsdoorlichtingen uit de begroting.13

Vraag 37

Vindt u dat de doelen, evaluaties en verantwoording SMART geformuleerd zijn? Zo ja,
kunt u dit aantonen? Zo nee, wilt u de verantwoording en evaluaties in het vervolg
wel SMART formuleren en SMART weergeven?

Antwoord 37

In aanvulling op het antwoord van vraag 3. Voor sommige (complexe) vraagstukken zijn
de relevante indicatoren niet direct bij de beleidsontwikkeling beschikbaar. Dit heeft
invloed op de mate waarin doelen SMART geformuleerd kunnen worden. In deze gevallen
wordt met behulp van ex ante en ex durante onderzoek met betrokken partijen samengewerkt
om tot de passende indicatoren te komen. Goede voorbeelden hiervan zijn het uitgevoerde
Vooronderzoek Langer Thuis14 (nr. 14) en de ex durante evaluatie Geneesmiddelenvisie (nr. 09).

Vraag 38

Kunt u aangeven wat de reden is dat de evaluatie van maatschappelijke diensttijd de
plaats heeft ingenomen van de evaluatie over samenhang Wpg, Jeugdwet, Wmo?

Antwoord 38

Voor de evaluatie Samenhang Wpg, Jeugdwet en Wmo zal ik meer tijd nemen voor de vormgeving
van de taakopdracht. Hierdoor wordt overlap met andere evaluaties voorkomen. De planning
is dat de taakopdracht van de evaluatie Samenhang Wpg, Wmo en Jeugdwet de tweede helft
2020 aan uw Kamer zal worden aangeboden. Gezien deze vertraging is de invoering van
de maatschappelijke diensttijd (MDT) aan het evaluatieprogramma van de pilot toegevoegd.
Ik vind dit nuttig omdat VWS in dit traject een aantal van de principes van lerend
evalueren (zoals het uitnodigen tot kennisontwikkeling, kennisdeling en kennistoepassing)
in praktijk probeert te brengen. Het is verstandig om deze werkwijze tegen het licht
te houden en daar lessen uit te trekken.

Vraag 39

Hoe wordt binnen de evaluatie aandacht gegeven aan het beginstadium van maatregelen?

Vraag 40

Op welke wijze wordt deze aandacht voor het beginstadium van maatregelen geformuleerd?

Antwoord 39 en 40

Maatschappelijke Diensttijd (MDT) (nr. 01) is nieuw. Dat betekent dat het instrumentarium/de
maatregelen nog moet(en) worden ontwikkeld. Om de effectiviteit (doelbereik) en doelmatigheid
van het instrumentarium optimaal te maken is besloten om dit in co-creatie met jongeren
en maatschappelijke organisaties te ontwikkelen. Dit gebeurt in proeftuinen. Door
deze proeftuinen ex durante lerend te evalueren worden werkzame elementen voor de
definitieve vorm van MDT opgehaald.

De evaluatie heeft een kwantitatieve en een kwalitatieve component. In het kwantitatieve
onderzoek worden de proeftuinen en hun deelnemers gevolgd met vragenlijsten die zij
invullen.

In het actieonderzoek zijn er 15 proeftuinen in de praktijk gevolgd aan de hand van
intakegesprekken, praktijkbezoeken en gesprekken met de jongeren en projectleiders.
Er zijn daarnaast podiumbijeenkomsten voor alle proeftuinen georganiseerd waar kennisdelen
en data valideren tussen proeftuinen centraal stond. Deze werkwijze wordt als lerend
evalueren geformuleerd.

Vraag 41

Waarom is de evaluatie onder nummer 1, Samenhang Wpg, Jeugdwet, Wmo uit het overzicht
van de programmering gehaald? Kunt u op hoofdlijnen toelichten waar deze evaluatie
zich op zal richten die (volgens uw brief van 27 mei 2019) in 2020 gepland stond?
Wanneer kan de Kamer alsnog de taakopdracht voor deze evaluatie tegemoet zien?

Antwoord 41

Zie hiervoor de antwoorden op vraag 2 en 38.

Vraag 42

Wat zijn wat u betreft de vijf belangrijkste lessen uit de tot nu toe uitgevoerde
evaluaties?

Antwoord 42

Zie hiervoor het antwoord op vraag 7.

Vraag 43

Welke rol krijgen veldpartijen precies in deze evaluatie?

Antwoord 43

Zie voor de evaluatie JZOJP (nr. 07) hiervoor het antwoord op vraag 22.

In geval van de evaluatie Arbeidsmarkt en opleiden (nr. 17) kunnen zowel brancheorganisaties
als betrokkenen binnen zorg- en welzijnsorganisaties bij het onderzoek worden betrokken.
Hoe dit precies vorm krijgt, hangt af van het voorstel van de partij waaraan wordt
gegund.

Vraag 44

Bij welk resultaat van het programma Werken in de Zorg bent u tevreden, aangezien
de ambitie is om het tekort aan personeel zoveel mogelijk te hebben teruggebracht
in het jaar 2022? Waarom is hier geen concreet doel aan gesteld?

Antwoord 44

Dit maakt geen onderdeel uit van deze evaluatie. Over de voortgang van het Actieprogramma
Werken in de Zorg informeer ik u tweemaal per jaar, voor het eerst weer in december
van dit jaar. Hierbij zal ik net als in de eerdere voortgangsrapportages ingaan op
de cijfermatige trends en ontwikkelingen uit de kerncijfers die de monitoring van
het actieprogramma vormen.

Vraag 45

Hoe wordt het resultaat van de ambitie gemeten om medewerkers in het jaar 2022 beter
toegerust te laten zijn? Is hiervoor een nulmeting gedaan?

Antwoord 45

Dit is een van de kernindicatoren die onderdeel vormt van de monitoring van het Actieprogramma
Werken in de Zorg. Over de voortgang van het Actieprogramma Werken in de Zorg informeer
ik u tweemaal per jaar, voor het eerst weer in december van dit jaar.

Vraag 46

Wat is de reden dat de actieplannen van de Regionale Actieplannen Aanpak Tekorten
(RAAT’s) niet meegenomen worden in deze evaluatie? Wie evalueert die acties dan?

Antwoord 46

De Commissie Werken in de Zorg heeft als taak de kwaliteit en voortgang van de regionale
actieplannen aanpak tekorten te monitoren en stimuleren. Via de bestuurlijke voortgangsgesprekken
die de commissie jaarlijks voert, wordt voor iedere regio de aanpak geëvalueerd.

Vraag 47

Wanneer worden de resultaten van het programma Werken in de Zorg geëvalueerd, aangezien
de focus van de evaluatie niet is welke resultaten reeds zijn bereikt, maar hoe de
«plus» van het actieprogramma doeltreffender en doelmatiger kan worden ingezet om
de maatschappelijke doelstellingen te behalen?

Antwoord 47

De inzet van de ex durante beleidsevaluatie is om gedurende de uitvoering van het
Actieprogramma op een lerende wijze onderzoek te doen naar hoe de «plus» van het actieprogramma
doeltreffender en doelmatiger kan worden ingezet. Over de voortgang van het Actieprogramma
Werken in de Zorg aan de hand van kernindicatoren wordt de Tweede Kamer tweemaal per
jaar geïnformeerd.

Vraag 48

Wanneer kan een nieuwe update worden verwacht van de kerncijfers waarmee de voortgang
van het Actieprogramma in beeld worden gebracht waarover het Ministerie van VWS tweemaal
per jaar rapporteert en welke ook beschikbaar komen via het Arbeidsmarkt Zorg en Welzijn
(AZW) Dashboard?

Antwoord 48

Over de voortgang van het Actieprogramma Werken in de Zorg informeer ik u tweemaal
per jaar, voor het eerst weer in december van dit jaar. In deze voortgangsrapportage
wordt in een bijlage uitgebreid ingegaan op de meest actuele cijfers die de kernindicatoren
en overige indicatoren van de monitor vormen en die ook op het AWZ Dashboard parallel
beschikbaar worden gesteld.

Vraag 49

Wat is de reden dat de evaluatie maatschappelijke diensttijd is toegevoegd aan de
pilot? Waarom was dit beleidsthema dan niet al eerder opgenomen in de programmering
van de pilot waarover u de Kamer jaarlijks informeert?

Antwoord 49

Zie hiervoor de antwoorden op vraag 2 en 38.

Vraag 50

Wat zijn de vernieuwende elementen in de evaluatie maatschappelijke diensttijd die
toewijzing aan de pilot verklaren?

Antwoord 50

Een belangrijk streven van de pilot Lerend evalueren is dat de praktijk, zoals de
uitvoerende instanties en de burgers, nadrukkelijk worden betrokken bij het vorm geven
van beleid(swijzigingen). De ex durante evaluatie van Maatschappelijke Diensttijd
(MDT) (nr. 01) wordt voor een belangrijk deel ingevuld door actieonderzoek waarbij
door intakegesprekken, praktijkbezoeken en gesprekken met de jongeren en projectleiders
werkzame elementen voor de ontwikkeling van MDT worden opgehaald. Om ook de beleidsmakers
direct voeling te laten krijgen met de praktijk die in proeftuinen wordt ontwikkeld
en deze ervaringen te verwerken in het ontwerp van MDT zullen zij in het vervolg zelf
het actieleren op zich nemen. Daarin zullen zij worden ondersteund door een onderzoeker.
De gekozen stapsgewijze aanpak vanuit de praktijk draagt bij aan de doelmatigheid
en doeltreffendheid van de in te zetten middelen aangezien het ontwerp (steeds) beter
zal aansluiten op de behoeften van zowel de jongeren als de betrokken organisaties.

Vraag 51

Hoeveel jongeren hebben deelgenomen aan het onderzoek over de maatschappelijke diensttijd?

Antwoord 51

In totaal hebben 1.553 jongeren gereageerd op de vragenlijst die is gebruikt voor
dit onderzoek.

Vraag 52

Hoeveel organisaties die deelnemen aan de maatschappelijke diensttijd hebben deelgenomen
aan het onderzoek?

Antwoord 52

Het onderzoek bestaat uit een kwantitatieve en een kwalitatieve (actieonderzoek) component.
In het kwantitatieve onderzoek worden de proeftuinen en hun deelnemers gevolgd met
vragenlijsten die zij invullen. De projectleiders van de proeftuinen vullen de vragenlijsten
periodiek in, de jongeren bij start en afronding van hun MDT-traject. Bij de 0-meting
in oktober 2018 hebben alle 41 proeftuinen gereageerd, bij de 1-meting in december
2018 hebben 38 van de 41 proeftuinen gereageerd en bij de 2-meting in maart 2019 hebben
39 van de 41 proeftuinen gereageerd.

In het actieonderzoek zijn er 15 proeftuinen in de praktijk gevolgd aan de hand van
intakegesprekken, praktijkbezoeken en gesprekken met de jongeren en projectleiders.
Er zijn daarnaast podiumbijeenkomsten voor alle proeftuinen georganiseerd waar kennisdelen
en data valideren tussen proeftuinen centraal stond.

Vraag 53

Kunt u aangeven of u van plan bent in de toekomst andere evaluaties van de agenda
af te halen of toe te voegen?

Antwoord 53

Zie hiervoor het antwoord op vraag 1.

Vraag 54

Is ook een eindevaluatie (ex post) van maatschappelijke diensttijd voorzien, zoals
blijkt uit de figuur op de derde pagina? Zo ja, wanneer? Zo nee, waarom niet?

Antwoord 54

De ontwikkeling en uitvoering van het programma Maatschappelijke Diensttijd wordt
ex durante geëvalueerd. Deze evaluatiemethode wordt toegepast tot het einde van het
programma dat in de huidige vorm vooralsnog nog niet is voorzien. Voor de groep jongeren
die in 2020 gaan deelnemen wordt ook een ex post effectmeting gedaan. De uitkomsten
van deze meting/evaluatie zullen betrokken worden bij het (eventueel structurele)
vervolg van het programma.

Vraag 55

Kunt u de term «relatief» uit de volgende passage nader duiden: «Op basis van de internationale
verkenning kan geconstateerd worden dat de Nederlandse jeugd in vergelijking met andere
landen relatief goed tot zeer goed scoort op fysieke en sociale indicatoren en minder
goed op mentale indicatoren»? Wat zijn de precieze cijfers?

Antwoord 55

In het ex ante onderzoek Gezond, veilig en kansrijk opgroeien (nr. 03d) zijn voor
de internationale vergelijking cijfers bijeengebracht afkomstig uit verschillende
internationale onderzoeken zoals de HBSC (Health Behaviour in School-Aged Children,
Wereld Gezondheidsorganisatie), de gezondheidsstatistieken van de OESO (Organisatie
voor Economische Samenwerking en Ontwikkeling), cijfers van de Verenigde Naties (specifiek
UNICEF), de European Observatory on Health Systems and Policies (Europese Unie) en
de Kids Rights Index (Erasmus University). Hierbij is uitgegaan van een brede definitie
van gezondheid en drie categorieën indicatoren: fysiek, sociaal (en sociaaleconomisch
en financieel) en mentaal. Per indicator en per categorie is gekeken waar Nederland
zich bevindt in de beschikbare internationale rankings.

In de categorieën fysieke en sociale gezondheid staat de Nederlandse Jeugd gemiddeld
op de 7e, respectievelijk de 8e plaats van de 50 vergeleken landen. Op verschillende
afzonderlijke indicatoren staat de Nederlandse jeugd in de top 5 en soms zelfs op
de eerste plek.

In de categorie mentale gezondheid staat Nederland gemiddeld op de 14e plek. Een uitschieter
naar beneden is de mate waarin de Nederlandse jeugd aangeeft moeite te hebben met
in slaap komen. Nederland staat op de 38e plaats van de 42 landen waar dit is gemeten.

Voor de exacte cijfers op de diverse indicatoren wordt verwezen naar de Kamerbrief
«Beleidsevaluaties jeugdpreventie», het onderliggende rapport «Ex ante onderzoek preventie
jeugd. Hoe werken we toe naar de gezondste jeugd?» en de literatuurverwijzingen in
dit rapport.15

Vraag 56

Wat wordt er precies bedoeld met «een lerend perspectief»? Wil dit zeggen dat al gaandeweg
het onderzoek wijzigingen in het programma kunnen worden aangebracht? Hoe krijgt dit
lerend perspectief precies vorm in de praktijk?

Antwoord 56

Met een lerend perspectief wordt hier gedoeld op hoe de «plus» van het Actieprogramma
Werken in de Zorg doeltreffender en doelmatiger kan worden ingezet. Het is geen «klassieke
evaluatie» in de zin van het beoordelend terugkijken («hoe doeltreffend en doelmatig
gaat het»). Juist het «beter worden» staat centraal in deze evaluatie tijdens de looptijd
van het programma. De bevindingen van het onderzoeksbureau kunnen leiden tot aanscherpingen
in de focus of uitvoering van bepaalde aspecten of onderdelen van het Actieprogramma
Werken in de Zorg, indien deze leiden tot een doelmatigere en doeltreffendere inzet.
Hoe het perspectief precies in de praktijk vorm krijgt, is afhankelijk van voorstel
van het onderzoeksbureau dat uiteindelijk wordt gekozen.

Vraag 57

Kan nader inzicht gegeven worden in de tussentijdse leerpunten bij deze pilot, waarover
onder het kopje «VWS als lerende organisatie» wordt aangegeven dat met de pilot het
Ministerie van VWS een leertraject is gestart (naast dat evaluatie eerder in het proces
aandacht behoeft)?

Antwoord 57

Zie hiervoor het antwoord op vraag 7.

Vraag 58

Waarom is bij de evaluatie over subsidies ervoor gekozen om de evaluatie door het
Ministerie van VWS zelf uit te voeren met betrokken externe deskundigheid in plaats
van de evaluatie uit te laten voeren door externe deskundigen waarbij medewerkers
van het Ministerie van VWS actief betrokken worden? Als het gaat om het borgen van
onafhankelijkheid, was dat geen logischere aanpak geweest? Welke invloed heeft de
gekozen aanpak op de uiteindelijke onafhankelijkheid?

Antwoord 58

De evaluatie maakt deel uit van de VWS-pilot Lerend evalueren. Daarom is er bewust
voor gekozen om VWS-medewerkers te betrekken bij deze evaluatie. Dit om de impact
van deze evaluatie op VWS te vergroten. De onafhankelijkheid van het onderzoek is
geborgd door externe input te betrekken in het onderzoek, door deelname van het Ministerie
van Financiën in de werkgroep en door het laten uitvoeren van een review door de externe
leden van het Audit Committee van VWS.

Vraag 59

Kan worden toegelicht welke gevraagde én ongevraagde adviezen de Review Board (waarover
wordt gesteld dat de Review Board VWS reflecteert op – en gevraagd en ongevraagd advies
geeft over de onderzoeksopzetten, de lopende evaluaties en de concept-eindrapportages)
tot nu toe heeft gegeven?

Antwoord 59

Enkele belangrijke adviezen vanuit de Review Board zijn:

– Besteed meer tijd en aandacht aan de wijze van evalueren al in de fase van de beleidsontwikkeling
(in lijn met het antwoord op vraag 3).

– Benut de mogelijkheden die er zijn nu de Operatie Inzicht in Kwaliteit loopt zoals
voor de Rijksbrede ontwikkeling van een kennis- en opleidingsprogramma.

– Het valt op dat het zelf experimenten en vernieuwen met beleidsevaluaties nog als
lastig wordt ervaren. Op dit moment wordt hiervoor nog geregeld ondersteuning vanuit
externe partijen zoals adviesbureaus gevraagd.

– Zorg ervoor dat in meer beleidsprogramma’s van VWS (op basis van het regeerakkoord)
ex ante en ex durante evaluaties worden opgenomen. Het programma Maatschappelijke
Dienstdienst is hiervan een goed voorbeeld zoals het wel kan.

Ik neem deze adviezen ter harte en zal u over de opvolging berichten in mijn periodieke
voortgangsbrief over de piot Lerend evalueren.

Vraag 60

Wat zijn de ervaringen en leerpunten tot nu toe met betrekking tot de domein overstijgende
onderzoeken?

Antwoord 60

Voor de pilot Lerend evalueren is gekozen om een staalkaart van VWS-beleidsinterventies
op het terrein van preventie en gezondheid te onderzoeken in de periode 2018–2022.
De resultaten die volgen uit de evaluatie «Aanpak overgewicht jeugd» (nr. 03b) en
het verkennende onderzoek naar «Gezond, veilig en kansrijk opgroeien» (nr. 03d), liggen
qua thematiek, bevindingen en adviezen in het verlengde van elkaar en daarom zijn
deze onderzoeken in één brief aan uw kamer aangeboden. Uit beide evaluaties komt naar
voren dat er preventiewinst en meer maatschappelijke impact is te behalen door het
beleid met een samenhangende inzet over de domeinen heen en door het combineren van
verschillende interventies. Zo kan een effect bereikt worden dat groter is dan de
som der samenstellende delen wat de doeltreffendheid van het beleid in de praktijk
ten goede komt. Een tweede aandachtspunt dat uit beide evaluaties komt, is het belang
van goed samenspel tussen Rijk en gemeenten.

Uit de Evaluatie subsidies (nr. 19) volgen een zevental aanbevelingen gericht op financieringsvraagstukken
voor het bekostigen (directe en indirecte) zorg en de uitvoering van het subsidiebeheer.
Voor het onderzoeken van het financieringsvraagstuk is door VWS een apart traject
opgestart waarvan de eindresultaten in de eerste helft van 2020 worden verwacht. De
uitwerking van de overige zes aanbevelingen loopt inmiddels deels mee in het project
Verbetering subsidiebeheer. Bij deze uitwerking wordt ook aandacht besteed aan de
samenhang tussen subsidiebeheer en -beleid.

De leerlessen uit andere domein-overstijgende evaluaties zoals voor de evaluaties
De juiste zorg op de juist plek (nr. 07), Cliëntondersteuning (nr. 13) en Eenzaamheid
(nr. 18) worden aan u voorgelegd zodra de (tussen)resultaten bekend zijn.

Vraag 61

Kunt u aangeven wat de zestien indicatoren op het gebied van betaalbaarheid en toegankelijkheid
zijn om de doeltreffendheid van de geneesmiddelenvisie in de «ex post» evaluatie van
2022 te meten?

Antwoord 61

De zestien indicatoren zijn de indicatoren zoals door de onderzoekers vermeld in hoofdstuk
vier van het rapport «Op naar hoger hangend fruit. Ex durante evaluatie geneesmiddelenvisie
2016–2018» (nr. 09).16 Zoals ook staat aangegeven in het rapport, betreft dit vooralsnog een opzet en wordt
geadviseerd om dit – samen met andere overheidsinstanties en veldpartijen – verder
te ontwikkelen.

Vraag 62

Kunt u de volgende passage nader toelichten: «We constateren dat in de eerste drie
jaar na publiceren van de visie, het laaghangend fruit geplukt is. Het is halverwege
de beleidsperiode tijd voor het hoger hangend fruit en aanvullende indicatoren om
de effecten van de visie in 2022 te kunnen meten»? Wat wordt onder andere bedoeld
met laag- en hoger hangend fruit? Welke indicatoren zijn er? Kunt u de effecten nader
toelichten?

Antwoord 62

De passage betreft de samenvattende conclusie uit de Ex durante evaluatie geneesmiddelenvisie
2016–2018. Een deel van de maatregelen is uitgevoerd (het laaghangende fruit). Een
ander deel van de maatregelen is nog in uitvoering (het hogerhangend fruit).

Laaghangend en hooghangend fruit zijn metaforisch gebruikt. Laaghangend fruit symboliseert
de afzonderlijke acties die op relatief korte termijn genomen konden worden voor meer
eenvoudige problemen. Zo geven de onderzoekers aan dat veldpartijen in Nederland meer
bereid zijn tot samenwerken om de uitgaven aan dure geneesmiddelen te beheersen, dat
prijzen in bepaalde mate zijn teruggedrongen, dat gepast gebruik van geneesmiddelen
op de agenda staat van vele partijen en dat alle innovatieve geneesmiddelen zijn opgenomen
in het pakket.

Hooghangend fruit betreft meer onderlinge samenhangende maatregelen waarmee de complexere
problematiek moet worden aangepakt. Zo blijkt het stimuleren van duurzame oplossingen
voor hoge prijzen vooralsnog weerbarstig, wordt de implementatie van gepast gebruik
nog niet systematisch vormgegeven en vraagt de tijdigheid van de toegankelijkheid
en de toegankelijkheid voor de individuele patiënt op individueel ziekenhuisniveau
volgens het adviesbureau nog meer aandacht.

De indicatoren zijn door de onderzoekers vermeld in hoofdstuk vier van het rapport
«Op naar hoger hangend fruit. Ex durante evaluatie geneesmiddelenvisie 2016–2018».
Twaalf indicatoren over prijs en gepast gebruik moeten verder worden onderzocht op
de mogelijkheid om het effect op de betaalbaarheid te meten; aan de hand van de vier
andere voorgestelde indicatoren kan mogelijk het effect op (tijdige) toegankelijkheid
overal in Nederland worden gemeten.

Vraag 63

Wat is de reden dat in de eerste helft van de beleidsperiode alleen «laaghangend fruit»
is geplukt?

Antwoord 63

De onderzoekers constateren niet dat alleen «laaghangend fruit» is geplukt. Het spreekt
echter bijna vanzelf dat afzonderlijke acties die op relatief korte termijn genomen
konden worden voor meer eenvoudige problemen eerder tot resultaten leiden dan het
organiseren van onderlinge samenhangende maatregelen waarmee de complexere problematiek
moet worden aangepakt.

Vraag 64

Kunt u toelichten hoe de geneesmiddelenvisie gemonitord wordt in de jaren 2020 en
2021, gezien de ex durante evaluatie in 2019 is verschenen en de ex post evaluatie
in het jaar 2022 verschijnt?

Antwoord 64

De zestien indicatoren uit het rapport «Op naar hoger hangend fruit. Ex durante evaluatie
geneesmiddelenvisie 2016–2018», worden samen met o.a. NZa bekeken of ze voor het jaar
2020 (of 2021) ontwikkeld en/of gebruikt kunnen worden. De bij de indicatoren behorende
meetgegevens moeten de basis vormen voor de inhoud van de ex post evaluatie.

Vraag 65

Op welke wijze wordt de andere mening meegenomen in het vervolg, constaterende dat
als het gaat om het betrekken van de praktijk nadrukkelijk aangegeven wordt dat er
ook aandacht moet zijn voor degene die een andere mening is toegedaan? Hoe krijgt
dit proces precies vorm?

Antwoord 65

De aanpak van elke evaluatie is voor een deel maatwerk. Doel is om door beleidsverantwoording
én leren van ervaringen het beleid en de beleidsuitvoering te verbeteren. Daarom wordt
bij de opzet van de onderzoeken nadrukkelijk gekeken of een breed scala aan stakeholders
zoals professionals, doelgroepen, praktijk- en ervaringsdeskundigen en dwarskijkers gedurende
het onderzoek kunnen worden betrokken. Voorbeelden van evaluaties met grote variatie
aan deelnemende partijen om uit eindelijk tot nieuwe handelingsperspectieven te komen
zijn de evaluaties: De juiste zorg op de juiste plek (nr. 07), Geneesmiddelenvisie
(nr. 09) en Zvw-pgb 2017 (nr.10). Deze evaluaties worden afgestemd op de beleidspraktijk
met nadrukkelijke aandacht voor de onafhankelijkheid van het onderzoek zodat deze
goed is geborgd.

Vraag 66

Om welke 54 aandoeningen gaat het binnen het onderzoek voor een nulmeting, met een
literatuuronderzoek waarin voor 54 aandoeningen gegevens zijn verzameld over klinische
en patiënt-gerapporteerde uitkomstmaten?

Antwoord 66

De lijst met aandoeningen is opgenomen als bijlage 2 in de nulmeting die door SIRA
is uitgevoerd. De nulmeting is bijgevoegd bij de voortgangsrapportage Uitkomstgerichte
zorg die op 5 juli aan de Tweede Kamer is verstuurd.17

Vraag 67

Kunt u een concretisering geven van de afstemming van de verschillende evaluaties
en de rol die zij gaan spelen in beleidsvorming?

Antwoord 67

De evaluaties Aanpak overgewicht jeugd (nr. 03b) en Gezond, veilig en kansrijk opgroeien
(nr. 03d) zijn gezamenlijk naar uw Kamer verzonden met daarbij één kabinetsreactie.
De evaluaties De juiste zorg op de juiste plek (nr. 07) en Bestuurlijke afspraken
zorg (nr. 08) hebben een overlap en volgen elkaar op in de tijd. Uit de evaluatie
Experimenten persoonsvolgende zorg (nr. 15) bleek dat onafhankelijke cliëntondersteuning
belangrijk is, hiervoor heeft het kabinet een extra impuls gegeven. De onafhankelijke
cliëntondersteuning wordt ook geëvalueerd (nr. 13).

Vraag 68

Kunt u aangeven welke lessen er vooralsnog getrokken zijn uit de evaluatieonderzoeken
en kunt u daarbij ook aangeven welke aanbevelingen nog niet opgevolgd zijn?

Antwoord 68

Zie hiervoor het antwoord op vraag 9.

Vraag 69

Kunt u aangeven of in een ex durante evaluatie ook al uitkomstindicatoren in kaart
gebracht kunnen worden?

Antwoord 69

Waar mogelijk zal dit worden gedaan in de verschillende ex durante evaluaties zoals
opgenomen in het meerjarenprogramma. De conclusies op basis van deze uitkomstenindicatoren
zullen daarbij pas in de ex post onderzoeken kunnen worden getrokken.

Vraag 70

Kunt u aangeven hoe zaken als het gebruik van eHealth, substitutie van zorg van de
tweede naar de eerste lijn en andere manieren om zorg te organiseren, worden gemonitord
en gemeten? In hoeverre kan het effect van JZOJP daar worden bepaald?

Antwoord 70

Zie hiervoor het antwoord op vraag 26.

Vraag 71

Waarom kan het doel van de meeste uitkomstinformatie (naast transparantie bieden in
kwaliteit van zorgaanbieders) niet ook het fungeren als hulpmiddel bij samen beslissen
een doel zijn van uitkomstinformatie? Kan deze informatie nog voor andere doeleinden
gebruikt worden, constaterende dat uit de nulmeting blijkt dat voor de 54 geselecteerde
aandoeningen zowel klinische- als patiënt-gerapporteerde uitkomstmaten in ruime mate
beschikbaar zijn en ondanks deze beschikbaarheid van uitkomstinformatie een groot
deel van deze uitkomstinformatie ontwikkeld is ten behoeve van kwaliteitsregistraties?

Antwoord 71

De ontwikkeling Uitkomstgerichte zorg (nr. 12) richt zich op het beschikbaar maken
van voor patiënten relevante uitkomsten zodat die gebruikt kunnen worden in het proces
van Samen Beslissen. De nulmeting laat zien dat er veel uitkomstmaten beschikbaar
zijn voor verschillende doeleinden. In het programma worden uitkomstmaten vastgesteld
voor 54 aandoeningen. Volgens afspraak in het hoofdlijnenakkoord medisch specialistische
zorg worden deze uitkomstmaten gebruikt voor het bevorderen en ondersteunen van het
lerend vermogen van zorgprofessionals (artsen, verpleegkundigen en verzorgenden) en
instellingen door benchmarking; het verstrekken van keuze-informatie voor patiënten
ten behoeve van de keuze voor de spreekkamer (welke) en de keuze in de spreekkamer
alsmede zorginkoop die aansluit bij de behoeften van de patiënt.

Vraag 72

Aan hoeveel respondenten is in het kader van de pilot Lerend evalueren om input gevraagd?

Antwoord 72

In totaal hebben circa 110 deskundigen een bijdrage geleverd aan de Evaluatie subsidies
(nr. 19). In het rapport Evaluatie subsidies, verantwoordelijkheid nemen en delen
is een overzicht van geraadpleegde deskundigen opgenomen. Naast veldpartijen en externe
deskundigen zijn ook medewerkers van de Ministeries van I&W, Financiën, BZK, EZK en
J&V betrokken.

Vraag 73

Kunt u de aanbeveling weergeven, waarover in de laatste alinea van de twaalfde pagina
in de eerste zin staat: «De gedane aanbevelingen in het onderzoek zijn allen door
VWS overgenomen»?

Antwoord 73

Dit betreffen alle aanbevelingen uit het rapport:

1. Maak een analyse van de financieringsvraagstukken voor het bekostigen van (directe
en indirecte) zorg;

2. beleg binnen VWS het overkoepelend eigenaarschap van het subsidieproces;

3. voorkom impliciete en expliciete toezeggingen van de inzet van het subsidie-instrument
op voorhand;

4. verstevig het subsidieproces aan de hand van de implementatie van een «werkdocument
subsidies»;

5. stimuleer het vier-ogen principe bij de afweging voor de inzet van het subsidie-instrument;

6. evalueer subsidies vaker en beter; en

7. beleg het beheer van het inzicht in de samenhang van subsidies aan dezelfde ontvanger
bij een accounthouder.

Vraag 74

Kunt u toelichten waarom de helderheid betreffende de gewenste uitkomst (beoogde doelstellingen,
resultaten en bijbehorende indicatoren) in sommige gevallen ontbreekt?

Antwoord 74

In de meeste gevallen is de informatie om passende sturing in te zetten aanwezig.
Bij bepaalde subsidies valt op dat een pakket van meerdere activiteiten wordt gesubsidieerd,
waarvan voor een stukje van dat pakket meer helderheid over verantwoordelijkheid en
doelstellingen, of de mate waarop die doelstellingen aansluiten op beleidsdoelen van
VWS, mogelijk is. Een scherp zicht op alle onderdelen van het pakket en de meest passende
aanpak per onderdeel ontbreekt dan af en toe. Soms zijn doelstellingen niet gemakkelijk
te kwantificeren, bijvoorbeeld als subsidie wordt verleend om bepaalde activiteiten
te coördineren. Inherent aan het subsidie-instrument is het beroep dat wordt gedaan
op de expertise van de aanvragers. VWS schrijft niet altijd voor op welke wijze doelen
moeten worden nagestreefd, maar laat die invulling aan de professionals in het veld.

Vraag 75

Wanneer is het doel van het voorkomen van (duurdere) zorg bereikt?

Antwoord 75

Deze vraag suggereert dat er een eindpunt is in de beweging naar JZOJP (nr. 07). Echter,
het is een continue beweging waarbij het functioneren van mensen voorop staat, dat
is het uitgangspunt waar naar wordt gekeken.

Vraag 76

Wanneer is het doel van het verplaatsen van zorg (zoveel mogelijk dichterbij huis
en indien nodig geconcentreerd wat verder weg) bereikt?

Antwoord 76

Zie hiervoor het antwoord op vraag 75.

Vraag 77

Wanneer is het doel van het vervangen van zorg (door andere zorg zoals eHealth) bereikt?

Antwoord 77

Zie hiervoor het antwoord op vraag 75.

Vraag 78

Kunt u de uitspraak «Het is primair een beweging van het veld» concretiseren?

Antwoord 78

De Juiste Zorg op de Juiste Plek (JZOJP) is een beweging van en voor het veld. Deze
beweging is ook niet nieuw, maar sluit aan op een beweging die in het veld al gaande
was. Het verder brengen van de transformatie zal daar moeten plaatsvinden en daarmee
zijn partijen in het veld dus aan zet. VWS faciliteert en ondersteunt partijen hierin.

Vraag 79

Wanneer is het actieprogramma «De juiste zorg op de juiste plek» volgens de evaluatie
een succes?

Antwoord 79

In de evaluatie wordt gekeken naar bijvoorbeeld de doeltreffendheid van het actieprogramma.
De evaluatie is bedoeld om partijen, of dit nu lokaal, regionaal of landelijk (dus
o.a. het actieprogramma) is, gedurende het proces te stimuleren, te ondersteunen en
te inspireren om de beweging naar de JZOJP verder te brengen door inzicht te geven
in de ontwikkelingen en ervaringen. Het gaat daarbij expliciet om inzicht in de ontwikkelingen
en ervaringen in het voorkomen, verplaatsen en vervangen van zorg en te kijken wat
dit betekent voor het functioneren van mensen. Met dit inzicht kan zo nodig door partijen
tussentijds bijgestuurd worden.

Vraag 80

Wat is de stand van zaken omtrent de taakopdracht «De juiste zorg op de juiste plek»?
Waarom is er niet voor gekozen om de ex durante evaluatie te starten op het moment
dat gestart werd met het programma «De juiste zorg op de juiste plek»? Kan hierop
gereflecteerd worden in het kader van de bevinding binnen «VWS als lerende organisatie»
dat evaluatie eerder in het proces aandacht behoeft?

Antwoord 80

Zoals ook bij de beantwoording van vraag 3 aangegeven is in het meerjarenprogramma
van VWS zichtbaar dat eerder in het beleidsproces aandacht wordt besteed aan beleidsevaluaties
(zoals ex ante en ex durante onderzoeken). Hierin zijn inderdaad nog vervolgstappen
te zetten door ervoor te zorgen, indien dat mogelijk is, dat het verwachte inzicht
in de doeltreffendheid en doelmatigheid van beleidsvoornemens (bijvoorbeeld in brieven
aan de Kamer) in beeld wordt gebracht conform artikel CW 3.1. In de aangescherpte
beleidscyclus van VWS voor 2020 en verder wordt hier dan ook extra aandacht voor gevraagd.

Vraag 81

Kunt u aangeven welke kwantitatieve data gebruikt wordt waarover onder het kopje «methodiek»
wordt gesproken?

Antwoord 81

Het ontwerp van de evaluatie wordt door het RIVM in april 2020 opgeleverd. Waar mogelijk
wordt dan hierover meer duidelijk.

Vraag 82

Kunt u aangeven om hoeveel gesprekken het gaat onder het kopje «methodiek», waar wordt
gesproken over Kwalitatieve data?

Antwoord 82

Zie hiervoor het antwoord op vraag 81.

Vraag 83

Kunt u aangeven wat de reden is om het RIVM te vragen naar een aanpak en methodiek
voor de beleidsevaluatie van JZOJP?

Antwoord 83

Zie hiervoor het antwoord op vraag 15.

Vraag 84

In hoeverre kan het RIVM, die zelf mede verantwoordelijk is voor JZOJP, door het aanleveren
van datasets voor de regiobeelden, ook de rol van onafhankelijke evaluator van deze
beweging invullen?

Antwoord 84

Het RIVM ontsluit via regiobeeld.nl gegevens op gemeentelijk niveau die benut kunnen
worden door de regio’s in hun beweging naar JZOJP. De beweging naar JZOJP gaat echter
veel verder dan dit specifieke ondersteuningsdeel (is ook belegd bij ander onderdeel
binnen het RIVM), waardoor ik geen risico zie in het RIVM als onafhankelijke uitvoerder
van deze evaluatie. Hun betrokkenheid vind ik daarnaast een pré omdat ze goed weten
waar de beweging over gaat. Daarnaast is er een begeleidingscommissie met een onafhankelijk
voorzitter voor het borgen van de kwaliteit en voortgang van de evaluatie die ook
oog houdt voor de rol van het RIVM.

Vraag 85

Hoe verhoudt de evaluatie zich tot al bekende cijfers over werktevredenheid in de
zorg, waaruit blijkt dat 69% van de medewerkers in de jeugdzorg (zeer) tevreden is?

Antwoord 85

Tevredenheid met het werk is een van de kernindicatoren van de monitoring van het
Actieprogramma Werken in de Zorg (nr. 17). In de voortgangsrapportage worden de meest
actuele cijfers voor zorg en welzijn totaal en naar branche weergegeven. De ex durante
beleidsevaluatie heeft niet tot doel om de tevredenheid met het werk in beeld te brengen.
De inzet van de ex durante beleidsevaluatie is om gedurende de uitvoering van het
Actieprogramma op een lerende wijze onderzoek te doen naar hoe de «plus» van het actieprogramma
doeltreffender en doelmatiger kan worden ingezet.

Vraag 86

Wat is de stand van zaken omtrent de taakopdracht «Ex durante evaluatie Actieprogramma
Werken in de Zorg»? Waarom is er niet voor gekozen om de ex durante evaluatie te starten
op het moment dat gestart werd met het (actie)programma «Werken in de zorg? Kan hierop
gereflecteerd worden in het kader van de bevinding binnen «VWS als lerende organisatie»
dat evaluatie eerder in het proces aandacht behoeft?

Antwoord 86

De gunning van de taakopdracht is via de Haagse Inkoop Samenwerking (HIS) in de markt
gezet, gunning vindt naar verwachting in december van dit jaar plaats. Zie verder
hiervoor het antwoord op vraag 80.