Lijst van vragen en antwoorden : Lijst van vragen en antwoorden over kabinetsreactie beleidsdoorlichting begrotingsartikel 4.3 VWS-begroting

Nr. 36 LIJST VAN VRAGEN EN ANTWOORDEN

Vastgesteld 19 december 2019

De vaste commissie voor Volksgezondheid, Welzijn en Sport heeft een aantal vragen
voorgelegd aan de Minister van Volksgezondheid, Welzijn en Sport over de brief van
7 juni 2019 inzake kabinetsreactie beleidsdoorlichting begrotingsartikel 4.3 VWS-begroting
(Kamerstuk 32 772, nr. 35).

De Minister heeft deze vragen beantwoord bij brief van 18 december 2019. Vragen en
antwoorden zijn hierna afgedrukt.

De voorzitter van de commissie, Lodders

De adjunct-griffier van de commissie, Bakker

Algemene vragen over beleidsdoorlichting – pilot lerend evalueren – proces doorlichting

1

Waarom is deze beleidsdoorlichting – in tegenstelling tot de acht andere meest recent
verschenen beleidsdoorlichtingen – niet betrokken in de aan de Kamer gestuurde startevaluatie
die als nulmeting dient voor de pilot Lerend evalueren?

Antwoord:

De beleidsdoorlichting was nog niet afgerond tijdens de uitvoering van de startevaluatie.

2

Kunt u alsnog ook voor deze beleidsdoorlichting aangeven of de elf gehanteerde assumpties
van de pilot van toepassing zijn?

Antwoord:

Ja, zie onderstaand overzicht.

ASSUMPTIES

 

Beleidstheorie vooraf vastgesteld

–

Onafhankelijkheid onderzoek is geborgd

+

Samenhangend beleidsonderwerp

–

Passende onderzoeksmethode

–

Kennis van evalueren

0

Experimenteren i.p.v. afvinklijstje

–

Beleid ook ex ante en ex durante evalueren

–

Betrekken van de praktijk

–

Timing: past in de beleidscyclus

–

Evalueren heeft aandacht top departement

+

Thema actueel voor Tweede Kamer

+

+: assumptie is van toepassing

–: assumptie is niet van toepassing, 0: onvoldoende informatie beschikbaar om te kunnen
beoordelen.

4

Trekt u uit deze beleidsdoorlichting en uit het totstandkomingsproces van deze beleidsdoorlichting
nog lessen die relevant kunnen zijn voor de pilot en het opzetten en organiseren van
toekomstig evaluatieonderzoek? Zo ja, welke?

20

Welke leerpunten worden uit deze beleidsdoorlichtingen meegenomen voor toekomstig
evaluatieonderzoek?

Antwoord vragen 4 en 20:

Deze beleidsdoorlichting was de laatste beleidsdoorlichting «oude stijl». De beleidsdoorlichting
had beperkte toegevoegde waarde ten opzichte van de aparte evaluaties van ZonMw en
het Nivel. Voor VWS was dit mede de aanleiding van het initiatief voor de pilot Lerend
evalueren. De pilot onderzoekt hoe de kwaliteit van de evaluatiepraktijk en het leervermogen
van de organisatie kan worden verbeterd.

19

Waarom is ervoor gekozen dezelfde persoon zowel de rol van voorzitter van de begeleidingscommissie
als van onafhankelijk deskundige te laten vervullen?

61

Waarom heeft u ervoor gekozen om de taken van de voorzitter van de begeleidingscommissie
en van de onafhankelijk deskundige bij één dezelfde persoon te beleggen? Gebeurt dit
bij andere beleidsdoorlichtingen ook? Is dit een werkwijze die bij evaluatieonderzoeken
in het kader van de pilot Lerend Evalueren ook zal worden gevolgd? Zo ja, bij welke?
Zo nee, waarom niet?

Antwoord op vragen 19 en 61:

Voor de beleidsdoorlichting van artikel 4.3 was al onafhankelijk evaluatieonderzoek
verricht dat heeft geresulteerd in twee rapporten, te weten de Evaluatie ZonMw 2010–2015
van Bosman & Vos1 en de Self-evaluation Nivel 2010–20152, beoordeeld door een onafhankelijke commissie. Daarom was het verantwoord om bij
de beleidsdoorlichting de rol van voorzitter van de begeleidingscommissie en van onafhankelijk
deskundige door dezelfde persoon te laten vervullen. Inmiddels worden er geen beleidsdoorlichtingen
meer op deze manier uitgevoerd.

60

Wat is de reden dat de evaluatie 2010–2015 van ZonMw door een extern bureau is uitgevoerd
en de evaluatie 2010–2015 van Nivel een zelfevaluatie betreft, uitgevoerd door de
geëvalueerde?

Antwoord:

Zoals in de aankondigingsbrief3 van de beleidsdoorlichting is opgenomen, zou deze evaluatie een syntheseonderzoek
betreffen van de onderzoeken die reeds werden uitgevoerd naar ZonMw en Nivel. De evaluatie
van ZonMw stond reeds gepland in het kader van de verplichte vijfjaarlijkse evaluatie
volgens de Kaderwet zbo’s. Zoals gebruikelijk bij Kaderwetevaluaties bij zbo’s is
deze evaluatie door een extern bureau uitgevoerd. Voor het Nivel betrof het een organisatiebrede
audit die in het najaar van 2016 zou worden afgerond. Deze audit is beoordeeld door
een onafhankelijke commissie, om zo alsnog een onafhankelijk oordeel over het Nivel
te verkrijgen.

Vragen over de vertraging en actualiteit van de beleidsdoorlichting

3

Onderschrijft u het oordeel van de onafhankelijke deskundige dat het proces bij deze
beleidsdoorlichting niet optimaal is verlopen, ondanks het degelijk voorwerk dat was
verricht?

Antwoord:

Ja. In de antwoorden bij onderstaande vragen licht ik dit nader toe.

5

Waarop was de inschatting gebaseerd toen uw ambtsvoorganger in de brief van 23 september
2016 de Kamer meldde deze beleidsdoorlichting voor het einde van 2017 met een kabinetsreactie
aan de Kamer te zullen sturen?

Antwoord:

Zoals in de door u aangehaalde brief staat, was destijds het uitgangspunt dat de beleidsdoorlichting
van artikel 4.3 een syntheseonderzoek zou zijn, dat zou steunen op de reeds eerder
uitgevoerde of lopende (deel)onderzoeken naar de doelmatigheid en de doeltreffendheid
van ZonMw en het Nivel, en dat aanvullend onderzoek ten behoeve van de huidige doorlichting
dan ook niet noodzakelijk zou zijn. Voor het Nivel betrof het een organisatiebrede
audit die in het najaar van 2016 zou worden afgerond. Voor ZonMw betrof het de periodieke
evaluatie conform de bepaling in de Kaderwet zelfstandige bestuursorganen (ZBO’s).
De beleidsdoorlichting van artikel 4.3 zou vervolgens bestaan uit het beantwoorden
van de 15 vragen uit de Regeling Periodiek Evaluatieonderzoek4 (RPE), op basis van de reeds opgestelde rapporten. Op basis van dit uitgangspunt
was de inschatting dat dit proces voor het einde van 2017 zou kunnen worden afgerond.

6

Kunt u de opgelopen vertraging van anderhalf jaar nader verklaren?

7

Wat is de reden dat het proces in 2.018 maanden stil heeft gelegen, zoals de onafhankelijk
deskundige schrijft?

8

Wat is de reden dat na verschijning van de beleidsdoorlichting en het oordeel van
de onafhankelijk deskundige in november 2018, het ruim een half jaar duurde alvorens
er een kabinetsreactie was?

9

Is de tekst van de beleidsdoorlichting nog aangepast nadat de onafhankelijk deskundige
zijn oordeel heeft uitgebracht in november 2018? Zo ja, op welke punten is het rapport
nog gewijzigd?

10

Is er in de anderhalf jaar dat de uitvoering van deze beleidsdoorlichting langer heeft
geduurd nog nieuw onderzoek gedaan of zijn er extra data verzameld?

11

In hoeverre zijn in de beleidsdoorlichting nog inzichten en conclusies verwerkt die
recenter zijn dan 2015?

15

Wat is de reden voor de ontstane vertraging bij het komen tot een beleidsdoorlichting
(een vertraging van anderhalf jaar) en vervolgens de kabinetsreactie (een half jaar)?

27

Kunt u toelichten waarom de beleidsdoorlichting en de kabinetsreactie vertraging hebben
opgelopen?

Antwoord op vragen 6 t/m 11, 15 en 27:

Voor de opgelopen vertraging zijn twee hoofdredenen. Ten eerste zijn door ziekte en
vacatures mensen uitgevallen en waren vervangers niet direct beschikbaar om het werk
over te nemen. Ten tweede was, zoals in het antwoord bij vraag 5 aangegeven, aanvankelijk
het uitgangspunt dat de beleidsdoorlichting een syntheseonderzoek zou zijn, dat zou
steunen op de reeds eerder uitgevoerde of lopende (deel)onderzoeken naar de doelmatigheid
en de doeltreffendheid van ZonMw en het Nivel, en dat aanvullend onderzoek ten behoeve
van de huidige doorlichting dan ook niet noodzakelijk zou zijn. De onafhankelijke
voorzitter van de begeleidingscommissie was op sommige onderwerpen (doeltreffendheid,
doelmatigheid en de 20% besparingsoptie) echter van mening dat deze onderwerpen uitgebreider
behandeld dienden te worden dan in de onderzoeksrapporten tot dan toe het geval was.
Dit vereiste een nadere exercitie die veel tijd in beslag heeft genomen, omdat dit
om nieuw (intern) onderzoek en extra dataverzameling vroeg.

Nadat de beleidsdoorlichting is afgerond, heeft de onafhankelijk deskundige een oordeel
geveld over (het proces van) de beleidsdoorlichting. Hierna is het rapport niet meer
aangepast.

Nieuwe informatie vanaf 2016 wordt meegenomen in volgende evaluaties. In de kabinetsreactie5 zijn echter wel inzichten en conclusies verwerkt die recenter zijn dan 2015, aangezien
hierin de meer recente ontwikkelingen bij VWS en ZonMw zijn genoemd als het gaat om
de opvolging van de beleidsdoorlichting.

Deze beleidsdoorlichting laat zien dat het van belang is om tijdig en vooraf te kijken
hoe verschillende verplichtingen tot evaluaties (enerzijds de verplichte beleidsdoorlichting,
anderzijds de verplichte 5-jaarlijkse evaluatie) goed op elkaar kunnen worden afgestemd.
Dit wordt uitgewerkt in de rijksbrede operatie Inzicht in Kwaliteit in de ontwikkellijn
Verbeteren strategische evaluatie en onderzoeksplanning6.

16

Hoe actueel zijn de beleidsdoorlichting en kabinetsreactie gezien het feit dat de
onderzoeksperiode 2010–2015 was? Hoe is er in de tussentijd gewerkt aan de aanbevelingen
uit de evaluaties van ZonMw en het Nivel?

34

Kunt u aangeven of de resultaten van de beleidsdoorlichting nog te vertalen zijn naar
het heden of dat deze inmiddels achterhaald zijn?

Antwoord op vragen 16 en 34:

De beleidsdoorlichting heeft betrekking op de periode 2012–2015. Zoals toegelicht
bij de antwoorden op vragen 3, 5 t/m 8, 15 en 27 hebben de beleidsdoorlichting en
de kabinetsreactie hierop door onvoorziene omstandigheden vertraging opgelopen. Aangezien
ZonMw veelal werkt met langlopende, meerjarige programma’s, zullen de resultaten niet
meteen achterhaald zijn.

ZonMw is na het verschijnen van de evaluatie in 2017 actief aan de slag gegaan met
de verschillende aanbevelingen uit de evaluatie. Begin 2019 heeft ZonMw een rapportage7 uitgebracht over de implementatie van de aanbevelingen uit de evaluatie. Hierin staat
per aanbeveling van zowel het onderzoeksbureau als de evaluatiecommissie beschreven
hoe deze worden geïmplementeerd en wat de stand van zaken is. Hieruit blijkt dat ZonMw
de implementatie van de aanbevelingen serieus en voortvarend oppakt.

Vragen over de reikwijdte van de beleidsdoorlichting

10

Is er in de anderhalf jaar dat de uitvoering van deze beleidsdoorlichting langer heeft
geduurd nog nieuw onderzoek gedaan of zijn er extra data verzameld?

26

Wordt de constatering van uw ambtsvoorganger, zoals gedaan in het schriftelijk overleg
over de opzet van deze beleidsdoorlichting, nog steeds onderschreven8; namelijk dat het niet nodig wordt geacht om ook het jaar 2016 mee te nemen om betrouwbare
uitspraken te doen?

29

Kunt u aangeven of er na de afronding van de beleidsdoorlichting nog nieuw/aanvullend
onderzoek is gedaan en zijn er extra data verzameld sindsdien?

Antwoord op vragen 10, 26 en 29:

In de periode dat de uitvoering van deze beleidsdoorlichting langer heeft geduurd
is aanvullend onderzoek gedaan ten behoeve van de 20%-besparingsvariant. Dit was ook
een van de redenen dat het langer duurde voordat de beleidsdoorlichting was afgerond.
De periode vanaf 2016 zal worden meegenomen in volgende evaluaties. De conclusie van
mijn ambtsvoorganger wordt derhalve gedeeld. In de afrondende fase van de beleidsdoorlichting
heeft ZonMw een zelfevaluatie uitgevoerd naar de implementatie van de aanbevelingen
uit de evaluatie. De resultaten van deze ZonMw-zelfevaluatie9 zijn gelijktijdig met de kabinetsreactie op de beleidsdoorlichting naar uw Kamer
gestuurd.

17

Waarom is reikwijdte van de doorlichting beperkt; namelijk uitsluitend betreffende
ZonMw en Nivel? Zijn/worden de andere uitgaven/onderdelen van artikelonderdeel 4.3,
waaronder het jaar van de transparantie en het CIBG, geëvalueerd, zo ja hoe? Wordt
de Kamer hierover geïnformeerd?

24

Op welke wijze en door wie wordt «het jaar van de transparantie» geëvalueerd? Hoe
en wanneer wordt de Kamer over de uitkomsten daarvan geïnformeerd?

25

Op welke wijze en door wie wordt het CIBG geëvalueerd? Hoe en wanneer wordt de Kamer
over de uitkomsten daarvan geïnformeerd?

35

Kunt u aangeven of de overige onderdelen van artikel 4.3, zijnde het jaar van de transparantie
en het CIBG, ook nog geëvalueerd gaan worden? Zo ja, hoe en wanneer wordt de Kamer
daarover geïnformeerd?

Antwoord op vragen 17, 24, 25 en 35:

Zoals destijds in de aankondigingsbrief10 over deze beleidsdoorlichting is aangegeven, is het Jaar van de transparantie pas
in de loop van 2015 gestart, waardoor de beleidsdoorlichting over de jaren 2010–2015
te vroeg kwam om hierover uitspraken te kunnen doen. Het CIBG is een agentschap en
wordt om de vijf jaar onder de Regeling agentschappen geëvalueerd.

Op 5 juli 2019 heb ik u het evaluatierapport van Zorginstituut Nederland over het
Jaar van de transparantie en de daarmee samenhangende subsidieregeling Transparantie
(2016–2019), als onderdeel van de Voortgangsrapportage Uitkomstgerichte zorg 2018–2022,
toegestuurd11.

De doorlichting van het CIBG vindt op dit moment plaats en zal naar verwachting eind
van dit jaar worden afgerond. De doorlichting wordt, in lijn met de Regeling agentschappen,
uitgevoerd door het Ministerie van VWS en het Ministerie van Financiën. Het rapport
over de doorlichting zal worden gepubliceerd op de website Externe link:https://www.rijksoverheid.nl/onderwerpen/rijksoverheid/agentschappen

Vragen over de 20%-besparingsvariant

28

Bent u van plan om alsnog te onderzoeken wat de maatschappelijke impact zal zijn van
een 20% besparingsvariant bij ZonMw en Nivel?

30

Waarom is niet voldaan aan de 20% besparingsvariant door ZonMw?

63

Kunt u de concrete gevolgen van de in de beleidsdoorlichting gepresenteerde 20% besparingsvarianten
voor ZonMw in beeld brengen en een scherper beeld schetsen van de maatschappelijke
impact hiervan?

Antwoord op vragen 28, 30 en 63:

In de beleidsdoorlichting zijn verschillende besparingsvarianten beschreven: een evenredige
besparing van 20% op alle onderdelen van de financiering («kaasschaaf»), en daarnaast
een aantal besparingsstrategieën die beleidsmatige keuzes vereisen.

De budgetten die op artikel 4.3 staan gereserveerd voor ZonMw zijn grotendeels beleidsbudgetten
afkomstig van andere beleidsartikelen op de begroting, zoals preventie of langdurige
zorg. Artikel 4.3 betreft dan ook geen beleidsartikel, maar een «technisch» artikel,
een instrument vanuit waar budgetten worden overgeheveld naar ZonMw. Het doel van
een beleidsdoorlichting is om het gevoerde beleid en alle ingezette instrumenten te
evalueren. ZonMw en Nivel zijn in deze beleidsevaluatie de onderzochte instrumenten.
Een verdere uitwerking van de besparingsopties inclusief de maatschappelijke impact
hiervan, vergt een dusdanig breed onderzoek over nagenoeg het gehele beleidsterrein
van VWS dat dit voorbij gaat aan de scope van artikel 4.3. Bovendien worden de overige
beleidsartikelen op de begroting afzonderlijk doorgelicht. In ben daarom niet van
plan om in dit kader nader te laten onderzoeken wat de maatschappelijke impact zal
zijn van een 20% besparingsvariant bij ZonMw.

39

Kunt u een besparing op de middelen voor ZonMw van 20% kwantificeren, gezien de impact
op kennisontwikkeling fors is wanneer ZonMw 20% moet bezuinigen? Is dat meer dan de
€ 220 miljoen aan netto-opbrengsten zoals bovenaan de derde pagina is beschreven?

Antwoord:

Zoals op pagina 33 van de beleidsdoorlichting valt te lezen, zou een besparing van
20% op het ZonMw-budget vanuit VWS, neerkomen op een besparing van 29,6 miljoen euro,
gebaseerd op het totaalbudget voor ZonMw van 148 miljoen euro uit de ontwerpbegroting
VWS van 2018 (de toen meest recent beschikbare cijfers). Voor 2019 zou een besparing
van 20% op het ZonMw-budget vanuit VWS neerkomen op 38,2 miljoen euro, uitgaande van
een totaalbudget vanuit VWS in 2019 van 191,1 miljoen euro (kasuitgaven voor 2019
op 1-1-2019). Voor 2020 zou het gaan om circa 59,5 miljoen euro, uitgaande van een
bijdrage van VWS aan ZonMw van 297,6 miljoen euro zoals begroot in de VWS-begroting
voor 2020.

De «netto opbrengsten» waar op pagina 3 van de kabinetsreactie naar wordt verwezen,
heeft echter enkel betrekking op de geschatte opbrengsten van het ZonMw-programma
DoelmatigheidsOnderzoek over de periode 2006–2017, zoals gebleken uit het externe
evaluatieonderzoek. Dit is slechts één van de ZonMw-programma’s. (Uit de tabel op
pagina 37 van de beleidsdoorlichting is op te maken dat het cluster doelmatigheidsonderzoek
van ZonMw, in 2018 circa 7,6% van het totale programmabudget van ZonMw uitmaakte.)
Een vergelijking tussen een besparing op het totale ZonMw-budget met de opbrengsten
uit één specifiek programma, gaat dus mank.

Vragen over de bijdrage van VWS aan ZonMw

12

Kunt u een geactualiseerd totaaloverzicht geven van 2012 tot heden van zowel de jaarlijkse
bijdrage van het Ministerie van Volksgezondheid, Welzijn en Sport (VWS) aan ZonMw
als de totale uitgaven van ZonMw, onderverdeeld naar kasuitgaven en naar programmaruimte?

21

Wat verklaart de sterk wisselende jaarlijkse bijdrage vanuit VWS aan ZonMw? Kunt u
een helder en actueel beeld geven van de uitgaven en de programmaruimte?

42

Kunt u toelichten in hoeverre de begrote bedragen voor ZonMw ten opzichte van de periode
waar de beleidsdoorlichting betrekking op heeft zijn verhoogd, verlaagd of gelijk
zijn gebleven?

66

Wat is de reden dat zowel de bijdrage van VWS als de totale uitgaven van ZonMw in
de onderzochte periode zo fluctueren? Wat verklaart bijvoorbeeld de daling in de VWS-bijdrage
van ruim 30% in twee jaar tijd (van € 119 miljoen in 2012 naar € 82 miljoen in 2014)?

Antwoord op vraag 12, 21, 42 en 66:

De sterk wisselende jaarlijkse bijdrage vanuit VWS aan ZonMw wordt verklaard doordat
VWS er beleidsmatig voor kiest om het instrument bijdrage aan ZBO ZonMw meer c.q.
minder in te zetten om de in de begroting van VWS aangegeven beleidsprioriteiten te
realiseren. Dit resulteert in een toe- c.q. afname van additioneel gefinancierde programma’s.
Een geactualiseerd totaaloverzicht van 2012 tot heden van de jaarlijkse bijdrage van
het Ministerie van VWS aan ZonMw, onderverdeeld naar kasuitgaven en naar programmaruimte
vindt u onderstaand.

Jaar

Kasuitgaven*

Meerjarige programmaruimte*

2012

135,1

450,5

2013

111,9

404,8

2014

101,7

467,0

2015

113,7

604,0

2016

119,1

666,5

2017

135,4

694,2

2018

170,5

872,1

2019**

191,1

689,4

* bedragen x € 1 mln.

** Stand per 1 januari 2019

Vragen over de totstandkoming van de verdeling van middelen over clusters/ programma’s

22

Hoe komt de verdeling van middelen over de verschillende onderwerpen precies tot stand?

41

Kunt u toelichten hoe het Ministerie van VWS de omvang bepaalt van de jaarlijkse bijdrage
aan ZonMw en Nivel?

43

Kunt u toelichten waarom de «Programmagelden vanuit additionele middelen» significant
lager zijn in 2013 dan in 2012? Wat is de hoogte van deze middelen in de jaren na
2015 tot nu?

56

Kunnen de bedragen in miljoenen alsnog worden gegeven en toegelicht – zoals in de
kop wordt gesuggereerd – van de tabel op pagina 37 met betrekking tot de veertien
programmaclusters van ZonMw?

57

Hoe wordt bepaald op welk terrein welke inzet wordt gepleegd (zoals voor mei 2018
is weergegeven in de tabel op pagina 37)? Kunt u deze tabel (met als opschrift bedragen
in miljoenen euro’s) niet alleen in procenten maar ook in de aangekondigde euro’s
presenteren?

58

Hoe is bijvoorbeeld bepaald dat 1,5% van de programmagelden zich richt op gehandicapten
en chronisch zieken en het tienvoudige (17,7%) op de geestelijke gezondheidszorg (ggz)?

Antwoord op vragen 22, 41, 43 en 56 t/m 58:

In de begroting van VWS worden de beleidsprioriteiten aangegeven en welke middelen
daarvoor (meerjarig) beschikbaar zijn. Beleidsmatig wordt dan gekeken welke instrumenten
(o.a. subsidies, opdrachten, bijdrage aan agentschappen, bijdragen aan ZBO’s) hiervoor
het best ingezet kunnen worden. De mate waarin het instrument bijdrage aan ZBO ZonMw
wordt ingezet om de beleidsprioriteit te realiseren verklaart de verdeling van middelen
over de verschillende onderwerpen.

De tabel op pagina 37 van de Beleidsdoorlichting is gebaseerd op de lopende programma’s
van alle financiers van ZonMw (VWS, NWO en derden) en geeft dus niet alleen een beeld
van de VWS-bijdrage. Hieronder vindt u voor VWS de uitgaven per cluster voor 2019
en de meerjarige programmaruimte (standen per 1 januari 2019; exclusief bijdrage aan
de basisorganisatie van ca. € 4 miljoen).

Cluster

Kasuitgaven*

Meerjarige programmaruimte*

Doelmatigheidsonderzoek

12,2

62,4

Fundamenteel onderzoek

2,9

13,7

Geestelijke gezondheid

29,6

66,5

Gehandicapten en Chronisch zieken

29,2

127,0

Geneesmiddelen

24,6

80,6

Gezondheidsbescherming

5,3

16,3

Jeugd

19,3

31,0

Kwaliteit van zorg

8,6

15,1

Life Sciences & Health

0,9

1,3

Ouderen

18,9

81,7

Palliatieve Zorg

8,0

25,6

Preventie

11,1

115,8

Sport

9,0

27,8

Translationeel Onderzoek

6,5

21,9

Overig

1,0

3,0

* bedragen x € 1 mln.

32

Kunt u aangeven hoe hoog de uitgaven zijn geweest in het kader van begrotingsartikel
4.3 in de periode 2012–2015?

Antwoord:

Jaar

Uitgaven begrotingsartikel 4.3*

2012**

–

2013

119,3

2014

109,2

2015

124,2

* bedragen x € 1 mln.

** de huidige indeling van de VWS-begroting bestaat sinds 2013.

33

Op welk deel van deze uitgaven heeft de evaluatie betrekking?

Antwoord: De beleidsdoorlichting van artikel 4.3 omvat de periode 2012 tot en met 2015 en bevat
de onderdelen ZonMw, het Nivel, Jaar van de transparantie, en het CIBG (toelating
nieuwe zorgaanbieders, landelijk register zorgaanbieders en het Jaardocument Maatschappelijke
Verantwoording).

In deze beleidsdoorlichting zijn de bijdragen aan ZonMw en het Nivel beschouwd als
het beleidsinstrument dat wordt doorgelicht. Jaar van de transparantie en het CIBG
zijn niet meegenomen. Het instrument Jaar van de transparantie loopt in 2019 af en
de evaluatie zal plaatsvinden na afloop van de regeling. De verschillende activiteiten
van het CIBG zijn niet meegenomen omdat het CIBG dit jaar in brede zin zal worden
doorgelicht. Zie ook het antwoord op vraag 17.

44

Kunt u de uitspraak op de achtste pagina van de beleidsdoorlichting: «de in het totaal
in enig jaar beschikbaar gestelde meerjarige programmaruimte kan een veelvoud zijn
van de kasuitgaven in dat jaar», nader toelichten?

Antwoord:

De programma’s die door ZonMw worden uitgevoerd hebben doorgaans een looptijd van
meerdere jaren. VWS kent de middelen voor de uitvoering van de programma’s ook meerjarig
toe en bevoorschot ZonMw jaarlijks op basis van een liquiditeitsprognose die door
ZonMw is opgesteld. Dat de meerjarig toegekende programmaruimte een veelvoud kan zijn
van de kasuitgaven in dat jaar, blijkt uit de tabel bij vraag 22/41/43 & 56 t/m 58,
waarin zowel de kasuitgaven als de meerjarige programmaruimte voor 2019 zijn weergegeven.

55

Hoe is de verdeling tot stand gekomen in de veertien programmaclusters van ZonMw zoals
deze op pagina 37 in een tabel is opgenomen?

Antwoord:

De onderverdeling in thematische programmaclusters volgt uit het Beleidsplan ZonMw
2016–2020.12

Vragen over doeltreffendheid en doelmatigheid

14

Hoe bepaalt het Ministerie van VWS jaarlijks de omvang van de bijdrage aan ZonMw en
hoe wordt hierbij de doelmatigheid en doeltreffendheid van de bedrijfsvoering, respectievelijk
van de programma’s zelf getoetst?

Antwoord:

De omvang van de bijdrage aan ZonMw is het totaal van de bijdrage aan de afzonderlijke
programma’s en een beperkte vaste bijdrage aan de organisatiekosten, en dus afhankelijk
van welke programma’s er in het betreffende jaar lopen. Zie ook de antwoorden op de
vragen over de totstandkoming van middelen en de verdeling over clusters / programma’s.
De toetsing van de doelmatigheid en doeltreffendheid van ZonMw en haar programma’s
wordt aan de hand van de onderstaande vragen nader toegelicht.

18

Hoe oordeelt u over het feit dat de voorzitter van de begeleidingscommissie (die ook
optrad als onafhankelijke deskundige) de doeltreffendheid en doelmatigheid van het
beleid van ZonMw onvoldoende onderbouwd acht?

36

Wat moet ZonMw aanpassen zodat haar doeltreffendheid wordt onderbouwd en voldoet aan
de voorwaarden van de onafhankelijk deskundige?

59

Kunt u aangeven welke verbeteringen er bij ZonMw zijn doorgevoerd op het gebied van
doelmatigheid en doeltreffendheid naar aanleiding van de uitkomsten van de beleidsdoorlichting?

62

Kunt u reageren op het oordeel van de onafhankelijk deskundige dat de conclusie dat
ZonMw een doelmatige organisatie is en dat daarmee het beleid ook doeltreffend en
doelmatig is, onvoldoende onderbouwd is?

64

Onderschrijft u het oordeel van de onafhankelijk deskundige dat voor ZonMw en Nivel
een goed onderbouwde conclusie over de doelmatigheid ontbreekt?

Antwoord op vragen 18, 36, 59, 62 en 64:

De onafhankelijk deskundige heeft in zijn rol als onafhankelijk deskundige ook een
oordeel gegeven over de beleidsdoorlichting en het evaluatieonderzoek van Bosman &
Vos bij ZonMw, waarin wordt geconcludeerd dat ZonMw een doeltreffende en doelmatige
organisatie is die zowel nationaal als internationaal één van de koplopers is in het
financieren en stimuleren van onderzoek en innovatie in de zorg. De onafhankelijk
deskundige geeft in zijn oordeel aan deze conclusie onvoldoende onderbouwd te vinden,
omdat de doeltreffendheid beperkt (weinig kwantificeerbaar) wordt gerelateerd aan
de (maatschappelijke) impact van de programma’s van ZonMw. Ik begrijp de conclusie
van de onafhankelijk deskundige, maar deel deze niet geheel. De beoordeling van de
maatschappelijke impact van de programma’s van ZonMw gebeurt onder meer via evaluaties.
Deze hebben doorgaans een kwalitatieve opzet. Een kwantitatieve aanpak op programmaniveau
komt weinig voor, omdat het de ervaring is dat het lastig is om bij onderzoeks- en
ontwikkelprogramma’s vooraf kwantificeerbare, specifieke en vooral betekenisvolle
resultaatindicatoren te definiëren. Ik neem het oordeel van de onafhankelijk deskundige
echter serieus. Er worden acties genomen door ZonMw en VWS om nog meer (meetbaar)
inzicht te krijgen in, en te sturen op, de maatschappelijke impact van de programma’s
van ZonMw. Waar mogelijk wordt in evaluaties van langlopende programma’s de maatschappelijke
impact gekwantificeerd, zoals in de externe evaluatie van het Doelmatigheidsonderzoek
(zie vraag 40). Ook de evaluatie van «20 jaar preventie» toont aan wat door langjarig
programmeren gerealiseerd kan worden.13

65

Hoe beoordeelt u op dit moment zelf de doelmatigheid van beide organisaties, respectievelijk
de doelmatigheid van de door u verstrekte programmagelden?

Antwoord:

In het evaluatieonderzoek van Bosman & Vos bij ZonMw waarop de doorlichting voor een
belangrijk deel is gebaseerd, is geconcludeerd dat ZonMw een doeltreffende en doelmatige
organisatie is. Gezien het feit dat er de laatste jaren bij ZonMw extra aandacht uitgaat
naar het verder vergroten van doelmatigheid en impact, staat de conclusie dat ZonMw
een doelmatige organisatie is wat mij betreft nog steeds overeind.

Wat betreft het Nivel is in de evaluatie geconcludeerd dat de middelen over het geheel
genomen doelmatig zijn ingezet en besteed. Niettemin zal in navolging van de aanbeveling
van de onafhankelijk deskundige, bij volgende evaluaties extra aandacht worden gegeven
aan de onderbouwing van de doelmatigheid. Zo zal het Nivel in aanloop naar de volgende
evaluatie conform het SEP nadenken hoe het zijn doelmatigheid nog beter kan onderbouwen
en dit als gespreksonderwerp met de internationale beoordelingscommissie meenemen.
(Zie ook vraag 71/72 onder het kopje Nivel.)

47

Kunt u aangeven hoe u aankijkt tegen het feit dat meer dan 50% van de ZonMw-programma’s
hun doel niet geheel bereiken en meer dan 75% hun doel grotendeels bereiken?

Antwoord:

In de tabel op pagina 13 van de beleidsdoorlichting waar in deze vraag impliciet naar
wordt verwezen, staat dat in het grootste deel (circa 90%) van de beschikbare programma-evaluaties
wordt geconstateerd dat het programma het doel grotendeels of geheel heeft bereikt,
en in een klein deel (ca 10% van de programma-evaluaties) deels (rond 50% van de doelstelling).

Conclusies uit de evaluaties over doeltreffendheid (bron: Beleidsdoorlichting)

Niet bereikt

–

Deels bereikt (rond 50% van de doelstelling)

3

Grotendeels bereikt (meer dan 75%)

13

Geheel bereikt

12

Ik deel derhalve de conclusie uit het evaluatieonderzoek van Bosman & Vos dat ZonMw
een doeltreffende organisatie is. Overigens neemt dit niet weg dat ZonMw alsnog veel
aandacht schenkt aan het vergroten van de (maatschappelijke) impact van de verschillende
programma’s en het beter meetbaar maken van deze impact.

48

Wat is er gedaan met de voorgestelde verbeterpunten met betrekking tot grote programma's?

51

Onderschrijft u de constatering op pagina vijftien van de beleidsdoorlichting dat
grotere programma’s doelmatiger zijn? Zo ja, welke actie heeft u hierop ondernomen?
Zo nee, waarom niet?

Antwoord op vragen 48 en 51:

Ik onderschrijf de constatering uit de evaluatie van ZonMw dat grotere programma’s
doorgaans meer mogelijkheden bieden om (cyclisch) in te spelen op nieuwe vraagstukken
uit de praktijk, een manier zijn om versnippering en inefficiëntie tegen te gaan en
doorgaans meer mogelijkheden bieden om flexibiliteit in te bouwen, bijvoorbeeld door
een bredere thematische insteek en meer mogelijkheden om de toepassing van kennis
mee te programmeren. Verder kan het streven naar minder, maar grotere programma’s
een manier zijn om versnippering en inefficiëntie tegen te gaan.

Zoals ook uit het evaluatierapport en de rapportage van ZonMw over de implementatie
van aanbevelingen blijkt, wordt er door VWS en ZonMw de afgelopen jaren meer gewerkt
met grotere, meer langlopende programma’s. Door ZonMw wordt er actief gestuurd op
samenhang tussen programma’s door te werken vanuit 14 inhoudelijke clusters. Eén van
de huidige beleidslijnen van ZonMw is «grote duurzame programmaclusters». In een cluster
worden met elkaar samenhangende opdrachten uitgevoerd.

Grote en duurzame programma’s zijn niet in beton gegoten. ZonMw biedt opdrachtgevers
in langlopende programma’s altijd de mogelijkheid om prioriteiten bij te stellen.
Denk hierbij bijvoorbeeld aan het actualiteitenbudget binnen programma’s als preventie
en jeugd. Ook de jaarlijkse opdrachtbrief en tussentijdse programma-evaluaties bieden
hiervoor mogelijkheden. Op deze wijze wordt duurzaamheid met wendbaarheid gecombineerd.

54

Kunt u aangeven waarom in deze evaluatie niet is vastgesteld of de veronderstelde
voordelen van grotere programma’s zich ook feitelijk hebben voorgedaan? Bent u van
plan om dit alsnog te onderzoeken?

Antwoord:

De ontwikkeling naar de grotere programmaclusters is door ZonMw in gang gezet met
de start van het beleidsplan «Kennis maken op maat, samen met betrokken partners (2016–2020)»
en kon dus nog geen onderdeel zijn van de evaluatie die hier voorligt. Sinds 2017
verantwoordt ZonMw op het niveau van de programmaclusters in de jaarlijkse verantwoordingscyclus.

Vragen over de maatschappelijke impact en opbrengsten activiteiten van ZonMw

23

Hoe wordt bij ZonMw en [Nivel]14 op dit moment gemeten, gemonitord en beoordeeld wat de maatschappelijk impact is
van hun activiteiten? Op welke wijze wordt actie genomen door ZonMw en VWS om meer
te sturen op de maatschappelijke impact van de programma’s?

68

Kunt u aangeven hoe de maatschappelijke impact van de activiteiten van ZonMw en [Nivel]
op dit moment worden gemeten en beoordeeld?

50

Wat is er gedaan met de voorgestelde verbeterpunten met betrekking tot inzicht in
impact?

Antwoord op vraag 23, 68 en 50:

Meten, monitoren en beoordelen van maatschappelijke impact

Het meten en beoordelen van de maatschappelijke impact van ZonMw gebeurt via de afzonderlijke
programma’s (en de opdrachten daarbinnen). Bij de inzet van een nieuw programma worden
prestatie-indicatoren geformuleerd. Bij de monitoring wordt hier gebruik van gemaakt.
Evaluatie van de programma’s vindt plaats binnen alle programmakaders. Beoordeling
van de maatschappelijke impact gebeurt via evaluaties. Deze hebben doorgaans een kwalitatieve
opzet: een combinatie van deskresearch, interviews, casestudies en vragenlijsten.
Een kwantitatieve aanpak op programmaniveau komt weinig voor, omdat het de ervaring
is dat het lastig is om bij onderzoeks- en ontwikkelprogramma’s vooraf kwantificeerbare,
specifieke en vooral betekenisvolle resultaatindicatoren te definiëren.

Opvolging vergroten impact ZonMw

Binnen het beleidsplan van ZonMw is impact versterken een van de hoofdlijnen. ZonMw
heeft binnen de interne projecten Realiseren van impact en Aantonen van impact een
systematiek ontwikkeld met daarbij passende theorieën en modellen. Hierbij ontstaat
vergelijkbaarheid en eenduidigheid. De projecten bouwen voort op trajecten van afgelopen
jaren. Door veelvuldig contact met «impactspecialisten», zowel op nationaal als internationaal
niveau, zorgt ZonMw ervoor dat de ontwikkelde systematiek aansluit bij de huidige
(wetenschappelijke) kennis en praktijk wat betreft impact-analyse.

In 2019 hebben alle ZonMw programmamedewerkers een verplichte training impact versterken
gevolgd op basis van de laatste inzichten en ontwikkelingen. Deze training wordt ondersteund
met praktische werkwijzers die beschikbaar zijn op intranet. Het nieuwe beleidsplan
van ZonMw dat in maart 2020 wordt gepubliceerd heeft het versterken van maatschappelijke
impact als basis.

Opvolging VWS vergroten impact

De aanbevelingen gericht aan VWS ten behoeve van het vergroten van de maatschappelijke
impact worden primair opgevolgd tussen programmahouders en ZonMw. Daarnaast maakt
VWS gebruik van een kenniscoördinatorenoverleg. Hierin gaat het om hoe algemeen binnen
VWS met kennis en kennisinstituten wordt samengewerkt (wat is ieders rol en hoe werken
we met elkaar samen?). Sturing op en het vergroten van maatschappelijke impact is
hierin onderwerp van gesprek. Daarnaast komt dit onderwerp ook naar voren tijdens
overleggen tussen VWS en ZonMw, op verschillende ambtelijke niveaus. Een van de verbeterpunten
uit de evaluatie van ZonMw rondom vergroting impact was de (financiële) ruimte die
ZonMw heeft. Hiertoe heeft VWS onlangs het strategisch budget voor ZonMw verhoogd,
zodat ZonMw meer armslag heeft bij het vergroten van maatschappelijke impact en beter
kan inspelen op maatschappelijke ontwikkelingen.

53

Onderschrijft u de constatering op pagina achttien van de beleidsdoorlichting dat
er wellicht meer mogelijkheden ontstaan voor ZonMw om de maatschappelijke impact op
de lange termijn inzichtelijk te maken door in thematische clusters te werken? Zo
ja, welke actie heeft u hierop ondernomen? Zo nee, waarom niet? Wat is gedaan met
de aanbeveling van de onafhankelijk deskundige om meer in te zetten op impact-analyses?

Antwoord:

Ja, ik onderschrijf deze constatering. ZonMw werkt inmiddels vanuit 14 programmaclusters.
Voor elk programmacluster zijn de missie en visie vastgelegd in een clusterplan met
een uitgewerkt toekomstperspectief. Dit draagt eraan bij dat er meer meetbare (vooral
maatschappelijke) impact met de programma’s wordt bereikt. In de volgende versie van
de clusterplannen zal door ZonMw de verbinding tussen de clusters onderling en met
de beleidslijnen verder worden geconcretiseerd. Daarnaast vraagt ZonMw van elk cluster
een stakeholder-analyse; welke partijen heeft het cluster nodig om samen zoveel mogelijk
impact op de dagelijkse praktijk te hebben en hoe wordt die samenwerking gerealiseerd.
De clusterindeling heeft de voortdurende aandacht van ZonMw om ervoor te zorgen dat
deze blijft passen bij de altijd veranderende opdrachtenportefeuille.

Wat betreft de aanbeveling om meer in te zetten op impact-analyses kan ik aangeven
dat ZonMw in de interne projecten Realiseren van impact en Aantonen van impact een
systematiek ontwikkelt voor het meten van impact, met daarbij passende theorieën en
modellen. Hierdoor ontstaat vergelijkbaarheid en eenduidigheid. Door veelvuldig contact
met «impactspecialisten», zowel op nationaal als internationaal niveau, zorgt ZonMw
ervoor dat de ontwikkelde systematiek aansluit bij de huidige (wetenschappelijke)
kennis en praktijk wat betreft impact-analyse.

40

Kunt u toelichten wat de opbrengsten zijn van de programma’s van ZonMw, welke bijdragen
aan het betaalbaar houden van kwalitatief hoogwaardige zorg en ondersteuning?

Antwoord:

In 2018 is het ZonMw-programma DoelmatigheidsOnderzoek geëvalueerd over de periode
2006–201715. Uit de evaluatie, uitgevoerd door SiRM (Strategies in Regulated Markets), blijkt
dat het programma ruim 7.500 levensjaren in volledige gezondheid heeft opgeleverd.
De behaalde geschatte netto opbrengsten zijn € 1,1 miljard (op een totale investering
in het programma van € 154 miljoen in de periode 2006–2017). Het betreft de gezondheidswinst
en monetaire opbrengsten van 24 door SiRM geselecteerde high-potential projecten,
gesubsidieerd door het programma DoelmatigheidsOnderzoek. € 480 miljoen van de netto
opbrengsten zijn kostenbesparingen, waarvan € 280 miljoen op zorgkosten en de overige
€ 200 miljoen op maatschappelijke kosten. Circa 30% van de onderzoeksresultaten is
in een richtlijn terechtgekomen en driekwart van de onderzoeken leidde tot een publicatie
waarvan circa 90% in internationale tijdschriften, vooral in tijdschriften die tot
de top 25% van hun vakgebied behoren.16

Eerder (in 2013) is door Zorgmarktadvies een notitie uitgebracht over kostenbesparingen
door onderzoek en innovatie in de zorg waaruit blijkt dat de kostenbesparing van vijf
projecten van het Nationaal Programma Ouderenzorg (NPO) elk op zich voldoende is om
de kosten van het gehele NPO (€ 74,7 mln.) ruimschoots terug te verdienen. Ook andere
ZonMw-programma’s leveren aanzienlijke kostenbesparingen op. Zes projecten uit zes
andere ZonMw programma’s (Sport, bewegen en gezondheid, Preventie 2, Zichtbare schakel,
Zorg voor beter, Kwaliteitsverbeteringsprogramma paramedische zorg, Alledaagse ziekten)
leveren een totale kostenbesparing op van circa € 381 mln.17

Vragen over de betrokkenheid van de opdrachtgever en doelgroepen

45

Kunt u toelichten hoe het komt dat de opdrachtgever minder betrokken is bij de eindfase
van programma-opdrachten?

Antwoord:

In de beleidsevaluatie van ZonMw heeft het onderzoeksbureau geconstateerd dat de betrokkenheid
van het ministerie in de geëvalueerde periode soms afnam in de eindfase. Inmiddels
constateert ZonMw in haar rapportage over de implementatie van de aanbevelingen uit
de evaluatie, dat de betrokkenheid van ministeries groter is dan voorheen, juist ook
bij de afronding, vanwege het feit dat het merendeel van de huidige programma’s maatschappelijk
van aard is. ZonMw en het Ministerie van VWS werken eraan om de inzet van VWS ook
bij de afronding van een programma te versterken. Zo is ZonMw nauw betrokken bij de
versterking van de kennisfunctie binnen VWS. Twee collega’s zijn parttime gedetacheerd
bij VWS onder leiding van de Chief Science Officer (CSO) van VWS. In samenspraak met
de CSO wordt gewerkt aan een training voor goed opdrachtgever- en opdrachtnemerschap,
de ontwikkeling van de kennisplatforms voor o.a. juiste zorg op de juiste plek en
preventie, tips en tops voor opdrachtverlening voor beleidsmedewerkers en meer (diverse)
communicatie over kennis binnen VWS.

49

Wat is er gedaan met de voorgestelde verbeterpunten met betrekking tot meer interactie
met doelgroepen?

52

Onderschrijft u de constatering op pagina vijftien dat het betrekken van doelgroepen
en een toekomstvisie de doeltreffendheid vergroot? Zo ja, welke actie heeft u hierop
ondernomen? Zo nee, waarom niet?

Antwoord vragen 49 en 52:

Ik onderschrijf de conclusie/constatering uit de beleidsdoorlichting dat er met het
oog op doeltreffendheid van de ZonMw-programma’s, nog ruimte ligt in verdere doorontwikkeling
van «hoe» doelgroepen door ZonMw betrokken worden. In het betrekken van doelgroepen
bij de programmering en financiering van onderzoek en ontwikkeling is ZonMw nationaal
en internationaal al een van de voorlopers. Het perspectief van cliënten/patiënten
en burgers krijgt daarnaast steeds meer een plek in programma’s en projecten. Zoals
in de rapportage over de implementatie van de aanbevelingen van de evaluatie staat,
betrekt ZonMw de diverse doelgroepen op dit moment in alle fasen van de programmering.
Daarnaast worden programmacommissies evenwichtiger samengesteld en er wordt meer gewerkt
in samenwerkingsverbanden zoals academische werkplaatsen, consortia en netwerken.
In deze samenwerkingsverbanden komen onderzoek, praktijk, beleid en in toenemende
mate ook onderwijs samen. Daarnaast worden doelgroepen op meer structurele basis betrokken
bij bijvoorbeeld de Academische Werkplaatsen Transformatie Jeugd en Netwerken Ouderen
en Dementie. Op deze manier ontstaat de gewenste interactie tussen de onderzoekscyclus,
het kwaliteitsbeleid van professionals en instellingen, het onderwijscurriculum en
de praktijk. In toenemende mate worden vanuit het gebruikers/cliëntenperspectief kennisagenda’s
ontwikkeld, zoals onlangs met de Patiëntenfederatie en de GGZ-patiëntenorganisatie.

Vragen over het evalueren van programma’s van ZonMw

13

Wat is de reden dat er voor slechts 30 van de 86 programma’s die tussen 2010 en 2015
hebben gelopen evaluaties beschikbaar waren? Worden programma’s van ZonMw inmiddels
wel allemaal geëvalueerd?

46

Kunt u toelichten hoe het komt dat er relatief weinig evaluaties van het kader Wetenschap
& Innovatie zijn ten opzichte van het aantal evaluaties bij de andere kaders?

Antwoord vragen 13, 46:

Conform afspraak tussen ZonMw en VWS wordt elk programma dat ZonMw uitvoert in opdracht
van VWS, geëvalueerd. Voor de evaluatie uitgevoerd door Bosman & Vos is ZonMw gevraagd
een overzicht te geven van alle programma’s in de periode 2010–2015, al dan niet afgerond.
Dit betrof dus ook programma’s die in die periode nog lopend waren en derhalve (nog)
niet geëvalueerd waren.

Voor het programmakader Wetenschap & Innovatie voert ZonMw met name programma’s uit
in opdracht van NWO. Deze programma’s worden niet standaard geëvalueerd. Vaak betreft
het doorlopende programma’s als de open competitie en de vernieuwingsimpuls.

Overige vragen over ZonMw

31

Ook de Nederlandse Organisatie voor toegepast-natuurwetenschappelijk onderzoek (TNO)
heeft veel kennis op het terrein van gezondheid. Op welke wijze werken deze instituten
samen? Kunt u dat ook aangeven in bedragen?

Antwoord:

TNO voert als onderzoeksinstituut projecten uit binnen verschillende ZonMw-programma’s,
in de meeste gevallen samen met andere partijen. De rol van ZonMw verschilt met die
van TNO: ZonMw laat als zelfstandige intermediaire organisatie in opdracht van VWS
en NWO op programmatische wijze projecten, experimenten en onderzoek uitvoeren. TNO
kan als onderzoeksinstituut meedingen naar subsidies die ZonMw via de verschillende
programma’s verleent. De bijdrage aan TNO voor de gehonoreerde trajecten is in het
onderstaande opgenomen:

Bijdrage ZonMw aan TNO voor de gehonoreerde trajecten over de periode 2012–2019

Jaar

Totaalbedrag (€)

2012

2.658.145

2013

2.459.923

2014

2.426.255

2015

2.321.449

2016

2.597.214

2017

2.426.883

2018

2.984.718

2019

1.917.033

37

Waar bestaat de bijdrage van ZonMw uit, die op de derde pagina staat, die zij heeft
geleverd aan standpunten van het Zorginstituut over het basispakket?

38

Is te kwantificeren of hierdoor het basispakket is uitgebreid of juist versmald?

Antwoord vragen 37 en 38:

Het gaat hierbij met name om onderzoeksresultaten uit het langlopende ZonMw-programma
DoelmatigheidsOnderzoek, die onder andere door het Zorginstituut zijn gebruikt bij
beslissingen over het basispakket. Dit onderzoeksprogramma is gericht op wetenschappelijke
onderbouwing van een doelmatigere zorgpraktijk en -beleid. Het gaat hierbij om vragen
als: Welke innovatieve of bestaande zorg is het meest effectief voor de behandeling
van patiënten? Welke innovaties dragen bij aan kwalitatief hoogstaande zorg en/of
kostenbeheersing voor de maatschappij? De resultaten van dit programma dragen bij
aan een zorgvuldige, objectieve en evidence-based afweging ten behoeve van een optimale
inzet van beperkte financiële middelen. Zoals eerder bij vraag 40 staat aangegeven,
hebben de geschatte netto opbrengsten van het langlopende programma DoelmatigheidsOnderzoek,
de programma-investeringen over de periode 2006–2017 ruimschoots overtroffen.

Vragen over het NIVEL

16

Hoe actueel zijn de beleidsdoorlichting en kabinetsreactie gezien het feit dat de
onderzoeksperiode 2010–2015 was? Hoe is er in de tussentijd gewerkt aan de aanbevelingen
uit de evaluaties van ZonMw en het Nivel?

Antwoord:

Het Nivel heeft de aanbevelingen van de internationale beoordelingscommissie verwerkt
in zijn strategisch beleid. Voor de evaluatie van het strategisch beleid hanteert
het Nivel het Standard Evaluation Protocol (SEP) van de Koninklijke Nederlandse Akademie
van Wetenschappen (KNAW), de Vereniging van Universiteiten (VSNU) en de Nederlandse
Organisatie voor Wetenschappelijk Onderzoek (NWO). Het SEP schrijft een mid-term assessment
(een tussentijdse interne evaluatie) na 3 jaar voor. Het Nivel heeft in 2019 een mid-term
assessment over de periode 2016–2018 uitgevoerd en neemt de aanbevelingen hieruit
mee. In 2022 laat het Nivel zijn strategisch beleid weer conform het SEP door een
internationale beoordelingscommissie beoordelen.

23

Hoe wordt bij ZonMw en Nivel op dit moment gemeten, gemonitord en beoordeeld wat de
maatschappelijk impact is van hun activiteiten? Op welke wijze wordt actie genomen
door ZonMw en VWS om meer te sturen op de maatschappelijke impact van de programma’s?

68

Kunt u aangeven hoe de maatschappelijke impact van de activiteiten van ZonMw en Nivel
op dit moment worden gemeten en beoordeeld?

70

Hoe wordt bij ZonMw en Nivel op dit moment gemeten, gemonitord en beoordeeld wat de
maatschappelijk impact is van hun activiteiten?

Antwoord op vragen 23, 68 en 70:

Voor het meten, monitoren en beoordelen van zijn maatschappelijke impact sluit het
Nivel zich aan bij de instrumenten die door het SEP worden aangereikt. Hierbij richt
het Nivel zich onder andere op de kennisproductie, de kennisverspreiding, het gebruik
en de toepassing van de onderzoeksgegevens en onderzoeksresultaten door anderen en
de samenwerking met maatschappelijke actoren. Door middel van narratives wordt in
de toekomst inzichtelijk gemaakt welke effecten het onderzoek van het Nivel op het
gezondheidszorgbeleid heeft. Met een narrative (een verhaal) wordt de maatschappelijke
relevantie, impact of toegevoegde waarde en hoe dit is bereikt beschreven.

41

Kunt u toelichten hoe het Ministerie van VWS de omvang bepaalt van de jaarlijkse bijdrage
aan ZonMw en Nivel?

Antwoord:

De bijdrage aan het Nivel wordt gebaseerd op het Onderzoeksprogramma van het Nivel18, dat is gebaseerd op de meerjarenafspraken die met VWS worden gemaakt. Voor het ontwikkelen
en beheren van databases, panels en monitors wordt jaarlijks subsidie voor een tiental
(p*q) onderbouwde activiteiten een (subsidie)bijdrage aan VWS gevraagd. De subsidie
wordt jaarlijks (gedurende het uitvoeringsjaar) bijgesteld met de zogenaamde overheidsbijdrage
in de arbeidskostenontwikkeling (OVA).

Zie voor ZonMw het eerdere antwoord op vraag 41.

67

Kunt u aangeven welke verbeteringen er bij het Nivel zijn doorgevoerd sinds 2015 naar
aanleiding van de zelfevaluatie en beleidsdoorlichting?

69

Welke verbeteringen zijn er op het ministerie, respectievelijk bij Nivel, sinds 2015
nog doorgevoerd naar aanleiding van de verschenen zelfevaluatie en beleidsdoorlichting?

Antwoord op vragen 67 en 69:

De aanbevelingen van de beoordelingscommissie waren gericht op de zichtbaarheid en
de focus van het Nivel, het ontwikkelen van nieuwe producten en diensten, het verder
vergroten van de interactie met stakeholders en het stimuleren van publiceren over
vernieuwende methoden en concepten in het wetenschappelijk domein. Het Nivel heeft
deze aanbevelingen verwerkt in zijn strategisch beleid (zie ook het antwoord op vraag
16) en in het onderzoeksprogramma voor de periode 2018–2021, dat is te vinden op de
vernieuwde website19. Zo heeft het Nivel zijn communicatiestrategie verbeterd, waarin de nadruk wordt
gelegd op zijn missie en zijn unieke positie. De focus van wat het Nivel doet ligt
op onderzoek met maatschappelijke impact naar de kwaliteit en effectiviteit van de
gezondheidszorg, en het eraan gerelateerde sociale domein. Het Nivel vormt hierbij
een verbindende schakel vormt tussen beleid en wetenschap. Verder heeft het Nivel
beleid ontwikkeld om zijn medewerkers te ondersteunen en te stimuleren in het ontwikkelen
van nieuwe producten en diensten, het verder vergroten van de interactie met stakeholders
en te publiceren over vernieuwende methoden en concepten in het wetenschappelijk domein.
De resultaten die uit dit beleid zijn voortgevloeid zijn te vinden op de website van
het Nivel.20

71

Onderschrijft u het oordeel van de onafhankelijk deskundige dat er met wat goede wil
en wat creativiteit bij Nivel meer mogelijk moet zijn om de doelmatigheid te beoordelen?

72

Is de suggestie van de onafhankelijk deskundige overgenomen om een vergelijking te
maken met de prestaties en de kosten die andere onderzoeksinstituten maken die eveneens
grote databestanden beheren?

Antwoord op vragen 71 en 72:

Het zo doelmatig mogelijk inrichten van de activiteiten die het Nivel uitvoert komt
geregeld aan de orde in gesprekken tussen VWS en Nivel, die plaatsvinden in het kader
van de meerjarenafspraak en de jaarlijkse subsidietoekenning. Naar aanleiding van
de aanbevelingen van de onafhankelijk deskundige zal bij volgende evaluaties extra
aandacht worden gegeven aan de onderbouwing van doelmatigheid. Het Nivel zal in aanloop
naar de volgende evaluatie conform het SEP nadenken hoe het zijn doelmatigheid nog
beter kan onderbouwen en dit als gespreksonderwerp met de internationale beoordelingscommissie
meenemen.