Lijst van vragen : Lijst van vragen inzake voortgang Pilot beleidsevaluaties VWS 2018-2019

De vaste commissie voor Volksgezondheid, Welzijn en Sport (VWS) heeft een aantal vragen
voorgelegd aan de Minister van Volksgezondheid, Welzijn en Sport inzake de Voortgang
Pilot beleidsevaluaties VWS 2018–2019 (Kamerstuk 31 865, nr. 153).

De voorzitter van de commissie, Lodders

De adjunct-griffier van de commissie, Bakker

Nr.

Vraag

1.

Bent u voornemens in de toekomst nog andere evaluaties aan de pilot toe te voegen,
dan wel uit de programmering te halen? Zo ja, welke?

2.

Waarom is de evaluatie onder nummer 1, samenhang Wet publieke gezondheid (Wpg), Jeugdwet,
Wet maatschappelijke ondersteuning (Wmo) uit het overzicht van de programmering gehaald?
Kunt u toelichten waar deze evaluatie die voor het jaar 2020 gepland stond, zich op
zal richten (Kamerstuk 31 865, nr. 144)? Wanneer kan de Kamer alsnog de taakopdracht voor deze evaluatie tegemoet zien?

3.

Zijn er naast de tien in de brief opgesomde positieve eerste bevindingen van het Ministerie
van VWS als lerende organisatie, ook zaken die tegenvallen in de pilot of anders lopen
dan gedacht?

4.

Kunt u nader concretiseren hoe en waar de door u gesignaleerde voorzichtige vliegwielwerking
binnen de VWS-organisatie zich manifesteert? Worden de ervaringen uit de VWS-pilot
ook gedeeld met andere ministeries, bijvoorbeeld in het kader van de rijksbrede Operatie
Inzicht in Kwaliteit?

5.

Welke voorbeelden of voornemens zijn er om betrokkenen bij het beleid ook zelf actief
te betrekken bij de daadwerkelijke totstandkoming van een evaluatie?

6.

Kunt u voortaan in de kabinetsreactie bij een evaluatie, indien van toepassing, standaard
ook aandacht besteden aan de rol die betrokkenen hebben gespeeld bij de totstandkoming
van de evaluatie en aangeven wat hun oordeel is over de uitkomsten van de evaluatie?

7.

Wat zijn wat u betreft de belangrijkste lessen uit de tot nu toe uitgevoerde evaluaties?

8.

Kunt u voorbeelden geven van beleid dat is aangepast op basis van inzichten uit uitgevoerde
evaluaties in het kader van de pilot?

9.

Kunt u in toekomstige voortgangsbrieven over de pilot ook een beknopt totaaloverzicht
geven van de belangrijkste lessen en van de aanbevelingen uit evaluaties die nog niet
zijn opgevolgd? Kunt u daarbij ook de reden om aanbevelingen niet op te volgen daarbij
beknopt vermelden?

10.

Hoe is in de pilot invulling gegeven aan het uitgangspunt dat u formuleerde in antwoord
op feitelijke vragen over de pilot in december 2018, dat in alle evaluaties ter advisering
verschillende (beleids)alternatieven worden uitgewerkt die meer doeltreffend en/of
meer doelmatig zijn? (Kamerstuk 31 865, nr. 124).

11.

Kunt u een overzicht geven van meer doelmatige of doeltreffende beleidsalternatieven
die de inmiddels verschenen evaluaties hebben opgeleverd?

12.

Zijn er ook voorbeelden waarbij het beleid daadwerkelijk is veranderd als gevolg van
inzichten uit een evaluatie? Zo ja, welke?

13.

Kunt u in de toekomst standaard een overzicht opnemen in de voortgangsbrieven over
de pilot waaruit blijkt welke besparende of betere beleidsalternatieven naar voren
zijn gekomen in evaluaties, respectievelijk daadwerkelijk zijn geïmplementeerd?

14.

Kunt u de volgende zin uit uw brief verduidelijken en concretiseren: «Gezien het streven
van de Operatie Inzicht in Kwaliteit om de maatschappelijke impact te vergroten lijkt
het interessant om te onderzoeken hoe deze strategische evaluatieagenda’s al dan niet
met elkaar «mee-ademen» dan wel elkaar kunnen ondersteunen ook in relatie tot de vigerende
beleidscyclus»?

15.

Waarom heeft u het Rijksinstituut voor Volksgezondheid en Milieu (RIVM) gevraagd om
een aanpak en methodiek te ontwikkelen voor de beleidsevaluatie van de Juiste Zorg
op de Juiste Plek (JZOJP)?

16.

Wanneer kunt u de Kamer informeren over de aanpak en de methodiek die het RIVM nu
ontwikkelt?

17.

Wie stelt de onafhankelijke voorzitter aan? Is deze al bekend?

18.

Kunt u nader toelichten hoe het doel van de evaluatie om lokale, regionale en landelijke
partijen te stimuleren, te ondersteunen en te inspireren, praktisch vormgegeven zal
worden?

19.

Welke rol ziet u hierbij weggelegd voor respectievelijk de voorzitter, de begeleidingsgroep
en het RIVM als uitvoerder?

20.

Welke rol speelt u en het Ministerie van VWS in deze beleidsevaluatie?

21.

Kunt u aangeven waarom u het belangrijk vindt dat gedurende het traject van de evaluatie
veldpartijen actief betrokken zijn? Aan welke partijen denkt u hierbij?

22.

Welke rol krijgen veldpartijen precies in deze evaluatie? Hoe gaat u dit vormgeven?

23.

Waarom wordt pas later, in de ex post evaluatie, aandacht besteed aan de vraag of
de zorg beter aansluit op de behoeften en het functioneren van mensen?

24.

Kunnen in de evaluatie ex durante ook al uitkomstenindicatoren in beeld gebracht worden?

25.

Wordt voor het meten van prestaties en uitkomsten nog een nulmeting uitgevoerd?

26.

Hoe worden bijvoorbeeld zaken als het gebruik van eHealth, substitutie van zorg van
de tweede naar de eerste lijn en andere manieren om zorg te organiseren, gemonitord
en gemeten? In hoeverre kan het effect van JZOJP daarop worden bepaald?

27.

Gaat de methodiek van actie-leren ook daadwerkelijk worden toegepast in deze evaluatie
of is dat een vrijblijvende suggestie die aan het RIVM is meegegeven?

28.

Wanneer zal de aanbestedingsprocedure voor de evaluatie Actieprogramma Werken in de
Zorg starten? Wie besluit welke externe onafhankelijke onderzoekpartij zal worden
geselecteerd en op basis van welke criteria?

29.

Wanneer kunt u de Kamer informeren over wie deze evaluatie gaat uitvoeren en wat de
concrete aanpak van de winnende partij zal zijn?

30.

Waarom treedt de commissie Werken in de Zorg op als procesbegeleider en opdrachtgever
van het te werven bureau?

31.

Wat is uw eigen rol en die van het ministerie bij deze evaluatie?

32.

Heeft het inhuren van externe deskundigen, die onder leiding van de commissie Werken
in de Zorg op zoek gaan naar verbeteringsmogelijkheden binnen een programma, niet
meer het karakter van een externe adviesopdracht dan van een evaluatie?

33.

Waarom acht u de betrokkenheid van medewerkers, leidinggevenden en bestuurders in
het evaluatieonderzoek een must? Wat zal hun rol zijn bij deze evaluatie?

34.

Wordt met deze taakopdracht beoogd dat een gekwalificeerd onderzoeksbureau ook op
zoek gaat naar verklaringen en oorzaken van ontwikkelingen die uit de arbeidsmarktcijfers
naar voren komen en dat dit bureau daarbij verbeteringen voor beleid aandraagt?

35.

In hoeverre kunnen verdiepende vragen vanuit de Kamer over arbeidsmarktontwikkelingen
(bijvoorbeeld naar aanleiding van wat in de voortgangsrapportages naar voren komt)
worden meegenomen in dit evaluatietraject?

36.

Hoe verhoudt deze verantwoording en begroting zich tot de Comptabiliteitswet 2016,
artikel 3.2 Begrotingsbeheer: «Onze Ministers en de colleges zijn verantwoordelijk
voor de ordelijkheid en controleerbaarheid van het begrotingsbeheer»?

37.

Vindt u dat de doelen, evaluaties en verantwoording SMART geformuleerd zijn? Zo ja,
kunt u dit aantonen? Zo nee, wilt u de verantwoording en evaluaties in het vervolg
wel SMART formuleren en SMART weergeven?

38.

Kunt u aangeven wat de reden is dat de evaluatie van maatschappelijke diensttijd de
plaats heeft ingenomen van de evaluatie over samenhang Wpg, Jeugdwet, Wmo?

39.

Hoe wordt binnen de evaluatie aandacht gegeven aan het beginstadium van maatregelen?

40.

Op welke wijze wordt deze aandacht voor het beginstadium van maatregelen geformuleerd?

41.

Waarom is de evaluatie onder nummer 1, samenhang Wpg, jeugdwet, WMO uit het overzicht
van de programmering gehaald? Kunt u op hoofdlijnen toelichten waar deze evaluatie
zich op zal richten die (volgens uw brief van 27 mei 2019) in 2020 gepland stond?
Wanneer kan de Kamer alsnog de taakopdracht voor deze evaluatie tegemoet zien?

42.

Wat zijn wat u betreft de vijf belangrijkste lessen uit de tot nu toe uitgevoerde
evaluaties?

43.

Welke rol krijgen veldpartijen precies in deze evaluatie?

44.

Bij welk resultaat van het programma Werken in de Zorg bent u tevreden, aangezien
de ambitie is om het tekort aan personeel zoveel mogelijk te hebben teruggebracht
in het jaar 2022? Waarom is hier geen concreet doel aan gesteld?

45.

Hoe wordt het resultaat van de ambitie gemeten om medewerkers in het jaar 2022 beter
toegerust te laten zijn? Is hiervoor een nulmeting gedaan?

46.

Wat is de reden dat de actieplannen van de Regionale Actieplannen Aanpak Tekorten
(RAAT’s) niet meegenomen worden in deze evaluatie? Wie evalueert die acties dan?

47.

Wanneer worden de resultaten van het programma Werken in de Zorg geëvalueerd, aangezien
de focus van de evaluatie niet is welke resultaten reeds zijn bereikt, maar hoe de
«plus» van het actieprogramma doeltreffender en doelmatiger kan worden ingezet om
de maatschappelijke doelstellingen te behalen?

48.

Wanneer kan een nieuwe update worden verwacht van de kerncijfers waarmee de voortgang
van het Actieprogramma in beeld worden gebracht waarover het Ministerie van VWS tweemaal
per jaar rapporteert en welke ook beschikbaar komen via het Arbeidsmarkt Zorg en Welzijn
(AZW) Dashboard?

49.

Wat is de reden dat de evaluatie maatschappelijke diensttijd is toegevoegd aan de
pilot? Waarom was dit beleidsthema dan niet al eerder opgenomen in de programmering
van de pilot waarover u de Kamer jaarlijks informeert?

50.

Wat zijn de vernieuwende elementen in de evaluatie maatschappelijke diensttijd die
toewijzing aan de pilot verklaren?

51.

Hoeveel jongeren hebben deelgenomen aan het onderzoek over de maatschappelijke diensttijd?

52.

Hoeveel organisaties die deelnemen aan de maatschappelijke diensttijd hebben deelgenomen
aan het onderzoek?

53.

Kunt u aangeven of u van plan bent in de toekomst andere evaluaties van de agenda
af te halen of toe te voegen?

54.

Is ook een eindevaluatie (ex post) van maatschappelijke diensttijd voorzien, zoals
blijkt uit de figuur op de derde pagina? Zo ja, wanneer? Zo nee, waarom niet?

55.

Kunt u de term «relatief» uit de volgende passage nader duiden: «Op basis van de internationale
verkenning kan geconstateerd worden dat de Nederlandse jeugd in vergelijking met andere
landen relatief goed tot zeer goed scoort op fysieke en sociale indicatoren en minder
goed op mentale indicatoren»? Wat zijn de precieze cijfers?

56.

Wat wordt er precies bedoeld met «een lerend perspectief»? Wil dit zeggen dat al gaandeweg
het onderzoek wijzigingen in het programma kunnen worden aangebracht? Hoe krijgt dit
lerend perspectief precies vorm in de praktijk?

57.

Kan nader inzicht gegeven worden in de tussentijdse leerpunten bij deze pilot, waarover
onder het kopje «VWS als lerende organisatie» wordt aangegeven dat met de pilot het
Ministerie van VWS een leertraject is gestart (naast dat evaluatie eerder in het proces
aandacht behoeft)?

58.

Waarom is bij de evaluatie over subsidies ervoor gekozen om de evaluatie door het
Ministerie van VWS zelf uit te voeren met betrokken externe deskundigheid in plaats
van de evaluatie uit te laten voeren door externe deskundigen waarbij medewerkers
van het Ministerie van VWS actief betrokken worden? Als het gaat om het borgen van
onafhankelijkheid, was dat geen logischere aanpak geweest? Welke invloed heeft de
gekozen aanpak op de uiteindelijke onafhankelijkheid?

59.

Kan worden toegelicht welke gevraagde én ongevraagde adviezen de Review Board (waarover
wordt gesteld dat de Review Board VWS reflecteert op – en gevraagd en ongevraagd advies
geeft over de onderzoeksopzetten, de lopende evaluaties en de concept-eindrapportages)
tot nu toe heeft gegeven?

60.

Wat zijn de ervaringen en leerpunten tot nu toe met betrekking tot de domein overstijgende
onderzoeken?

61.

Kunt u aangeven wat de zestien indicatoren op het gebied van betaalbaarheid en toegankelijkheid
zijn om de doeltreffendheid van de geneesmiddelenvisie in de «ex post» evaluatie van
2022 te meten?

62.

Kunt u de volgende passage nader toelichten: «We constateren dat in de eerste drie
jaar na publiceren van de visie, het laaghangend fruit geplukt is. Het is halverwege
de beleidsperiode tijd voor het hoger hangend fruit en aanvullende indicatoren om
de effecten van de visie in 2022 te kunnen meten»? Wat wordt onder andere bedoeld
met laag- en hoger hangend fruit? Welke indicatoren zijn er? Kunt u de effecten nader
toelichten?

63.

Wat is de reden dat in de eerste helft van de beleidsperiode alleen «laaghangend fruit»
is geplukt?

64.

Kunt u toelichten hoe de geneesmiddelenvisie gemonitord wordt in de jaren 2020 en
2021, gezien de ex-durante evaluatie in 2019 is verschenen en de ex-post evaluatie
in het jaar 2022 verschijnt?

65.

Op welke wijze wordt de andere mening meegenomen in het vervolg, constaterende dat
als het gaat om het betrekken van de praktijk nadrukkelijk aangegeven wordt dat er
ook aandacht moet zijn voor degene die een andere mening is toegedaan? Hoe krijgt
dit proces precies vorm?

66.

Om welke 54 aandoeningen gaat het binnen het onderzoek voor een nulmeting, met een
literatuuronderzoek waarin voor 54 aandoeningen gegevens zijn verzameld over klinische
en patiënt-gerapporteerde uitkomstmaten?

67.

Kunt u een concretisering geven van de afstemming van de verschillende evaluaties
en de rol die zij gaan spelen in beleidsvorming?

68.

Kunt u aangeven welke lessen er vooralsnog getrokken zijn uit de evaluatieonderzoeken
en kunt u daarbij ook aangeven welke aanbevelingen nog niet opgevolgd zijn?

69.

Kunt u aangeven of in een ex durante evaluatie ook al uitkomstindicatoren in kaart
gebracht kunnen worden?

70.

Kunt u aangeven hoe zaken als het gebruik van eHealth, substitutie van zorg van de
tweede naar de eerste lijn en andere manieren om zorg te organiseren, worden gemonitord
en gemeten? In hoeverre kan het effect van JZOJP daar worden bepaald?

71.

Waarom kan het doel van de meeste uitkomstinformatie (naast transparantie bieden in
kwaliteit van zorgaanbieders) niet ook het fungeren als hulpmiddel bij samen beslissen
een doel zijn van uitkomstinformatie? Kan deze informatie nog voor andere doeleinden
gebruikt worden, constaterende dat uit de nulmeting blijkt dat voor de 54 geselecteerde
aandoeningen zowel klinische- als patiënt-gerapporteerde uitkomstmaten in ruime mate
beschikbaar zijn en ondanks deze beschikbaarheid van uitkomstinformatie een groot
deel van deze uitkomstinformatie ontwikkeld is ten behoeve van kwaliteitsregistraties?

72.

Aan hoeveel respondenten is in het kader van de pilot Lerend evalueren om input gevraagd?

73.

Kunt u de aanbeveling weergeven, waarover in de laatste alinea van de twaalfde pagina
in de eerste zin staat: «De gedane aanbevelingen in het onderzoek zijn allen door
VWS overgenomen»?

74.

Kunt u toelichten waarom de helderheid betreffende de gewenste uitkomst (beoogde doelstellingen,
resultaten en bijbehorende indicatoren) in sommige gevallen ontbreekt?

75.

Wanneer is het doel van het voorkomen van (duurdere) zorg bereikt?

76.

Wanneer is het doel van het verplaatsen van zorg (zoveel mogelijk dichterbij huis
en indien nodig geconcentreerd wat verder weg) bereikt?

77.

Wanneer is het doel van het vervangen van zorg (door andere zorg zoals eHealth) bereikt?

78.

Kunt u de uitspraak «Het is primair een beweging van het veld» concretiseren?

79.

Wanneer is het actieprogramma «De juiste zorg op de juiste plek» volgens de evaluatie
een succes?

80.

Wat is de stand van zaken omtrent de taakopdracht «De juiste zorg op de juiste plek»?
Waarom is er niet voor gekozen om de ex-durante evaluatie te starten op het moment
dat gestart werd met het programma «De juiste zorg op de juiste plek»? Kan hierop
gereflecteerd worden in het kader van de bevinding binnen «VWS als lerende organisatie»
dat evaluatie eerder in het proces aandacht behoeft?

81.

Kunt u aangeven welke kwantitatieve data gebruikt wordt waarover onder het kopje «methodiek»
wordt gesproken?

82.

Kunt u aangeven om hoeveel gesprekken het gaat onder het kopje «methodiek», waar wordt
gesproken over Kwalitatieve data?

83.

Kunt u aangeven wat de reden is om het RIVM te vragen naar een aanpak en methodiek
voor de beleidsevaluatie van JZOJP?

84.

In hoeverre kan het RIVM, die zelf mede verantwoordelijk is voor JZOJP, door het aanleveren
van datasets voor de regiobeelden, ook de rol van onafhankelijke evaluator van deze
beweging invullen?

85.

Hoe verhoudt de evaluatie zich tot al bekende cijfers over werktevredenheid in de
zorg, waaruit blijkt dat 69% van de medewerkers in de jeugdzorg (zeer) tevreden is?

86.

Wat is de stand van zaken omtrent de taakopdracht «Ex durante evaluatie Actieprogramma
Werken in de Zorg»? Waarom is er niet voor gekozen om de ex-durante evaluatie te starten
op het moment dat gestart werd met het (actie)programma «Werken in de zorg? Kan hierop
gereflecteerd worden in het kader van de bevinding binnen «VWS als lerende organisatie»
dat evaluatie eerder in het proces aandacht behoeft?