Antwoord schriftelijke vragen : Antwoord op vragen van het lid Paul over het bericht 'Wetenschappers: Overheid weet niet welke ontwikkelingshulp werkt'

Antwoord van Minister Kaag (Buitenlandse Zaken) (ontvangen 24 juni 2021).

Vraag 1

Deelt u de mening dat we moeten kunnen garanderen dat het belastinggeld dat we aan
ontwikkelingssamenwerking besteden, optimaal wordt aangewend?1 En dat dit leidt tot de gewenste resultaten en impact en niet in bodemloze putten
verdwijnt? En als u het hier inderdaad mee eens bent, hoe verklaart u dan dat we blijkens
het artikel in Trouw nog steeds niet of nauwelijks zicht hebben op welke ontwikkelingshulp
wel of niet werkt?

Antwoord 1

Ja. Het kabinet deelt deze meningen. Daarom zet het kabinet de goede gewoonte, waarbij
binnen Ontwikkelingssamenwerking intensief wordt geëvalueerd om zicht te krijgen op
wat wel en niet werkt, onverminderd voort.

De eisen die aan een evaluatie van OS-projecten worden gesteld verschillen naar gelang:

– de aard van het project (standaard noodhulpprogramma’s vereisen andere evaluatiemethoden
dan bijv. de versterking van maatschappelijke organisaties).

– de financiële omvang (voor programma’s boven de EUR 5 miljoen is een onafhankelijke
eindevaluatie volgens een vast protocol verplicht).

– de leerbehoefte (een pilot project vereist een andere aanpak dan een al vele keren
bewezen interventie).

Het betrekken van wetenschappers is één manier die gebruikt wordt voor het uitvoeren
van evaluaties. Daarnaast zijn er raamovereenkomsten voor het selecteren van consultancy
bedrijven en onderzoeksinstellingen die gespecialiseerd zijn OS-evaluaties. Er is
ook de directie Internationaal Onderzoek en Beleidsevaluatie (IOB), de onafhankelijke
interne evaluatiedienst van BZ die eigen evaluatiedeskundigen in dienst heeft.

In het artikel wordt veel aandacht besteed aan nulmetingen en het werken met controlegroepen.
Dat is een methode die vooral bij impactevaluaties gebruikt wordt. Het is ook een
complexe en dure methode, die vooral zinvol is bij grote programma’s, waar belangrijke
vragen over de effectiviteit nog niet beantwoord zijn. Wat de meest geschikte evaluatiemethodologie
is, wat de evaluatievragen zijn, en wat het mag kosten, wordt altijd bepaald in overleg
tussen BZ, de uitvoerende partners, en de organisatie of onderzoeker(s) die de evaluatie
uitvoert. Een recent voorbeeld is het nieuwe beleidskader Versterking Maatschappelijk
Middenveld (VMM). Hier is 2% van het budget gereserveerd voor monitoring, evalueren
en leren (MEL). Als onderdeel van de monitoring en evaluatie hiervan wordt een nul-situatie
vastgelegd en zijn er referentiegroepen met onder meer leden uit de wetenschappelijke
wereld betrokken. De mogelijkheid om gebruik te maken van controlegroepen (die niet
meeprofiteren van een programma) hangt af van de aard en context van de ontwikkelingsprojecten.

Vraag 2

Bent u eveneens van mening dat ontwikkelingssamenwerking erop gericht moet zijn arme
landen te helpen, waar mogelijk, toe te groeien naar zelfstandigheid in plaats van
eindeloos aan het «OS-infuus» te blijven hangen? En zo ja, hoe verhoudt dit zich dan
tot het feit dat Nederland door gebrek aan adequaat evaluatiemateriaal hier nauwelijks
op kan sturen?

Antwoord 2

Ja, ontwikkelingssamenwerking is erop gericht om arme landen te laten toegroeien naar
een situatie waarin officiële ontwikkelingsfinanciering (ODA) niet meer of veel minder
nodig is. Die beweging heeft zich de afgelopen decennia ook in grote delen van de
wereld voltrokken en hebben we samen met andere donoren ondersteund: tientallen ontwikkelingslanden
die in de vorige eeuw nog een fors deel van hun BNI aan ODA ontleenden, hebben inmiddels
een hoger ontwikkelingsniveau bereikt, en alternatieve financieringsbronnen aangeboord,
waardoor ODA een bescheidener rol speelt. Extreme armoede is op veel plekken teruggedrongen,
terwijl onderwijs, gezondheidszorg en levensverwachting sterk zijn verbeterd. Met
die structurele verbeteringen is ook de geografische focus van het Nederlandse OS-beleid
geleidelijk verschoven: terwijl eerder landen als India, Vietnam, Indonesië, Zuid-Afrika
en Latijns-Amerikaanse landen prominent figureerden op de bilaterale landenlijst,
ligt het geografische zwaartepunt van het huidige beleid op de arme en fragiele focusregio’s
Sahel, Hoorn van Afrika, Midden-Oosten & Noord-Afrika.

Zoals hierboven al aangegeven, kan Nederland bij de uitvoering van het beleid putten
uit rijke nationale en internationale bronnen van ervaring en kennis over hoe OS-middelen
het beste kunnen worden ingezet. Naast eigen evaluaties en de over vele jaren opgebouwde
kennis bij IOB, gaat het bijvoorbeeld om het veelomvattende onderzoek van de Wereldbank
(de «kennisbank» op OS-gebied) en om gebundelde internationale kennis en meta-analyses
zoals het ReCom programma van VN-universiteit UNU-Wider.

Niettemin blijft goed evalueren en daarvan leren een cruciaal onderdeel van elke activiteit,
al was het maar omdat context-specifieke factoren sterk bepalend kunnen zijn voor
het resultaat van projecten en programma’s.

Vraag 3

Deelt u de mening dat het een slechte zaak is dat na decennia van ontwikkelingswerk
het nog altijd niet duidelijk is welke projecten wel of niet werken, zoals zestien
wetenschappers van tien Nederlandse instellingen in het artikel in Trouw stellen?
En als uw antwoord bevestigend is, waarom is er in de afgelopen jaren dan niet meer
werk gemaakt van doelgerichte rapportages die duidelijk maken of ontwikkelingsprojecten
wel of niet hebben gewerkt zodat kennis wordt opgebouwd en er actief gestuurd kan
worden om met ons ontwikkelingsgeld het gewenste resultaat te boeken?

Antwoord 3

Er is in de afgelopen jaren internationaal juist erg veel en systematisch bewijs verzameld
over wat wel en niet werkt op het gebied van ontwikkelingssamenwerking. Als een bepaald
type project in één gebied werkt, betekent dat uiteraard niet automatisch dat een
vergelijkbare interventie ook in een andere context effectief is. En als een bepaalde
interventie eind vorige eeuw succesvol was, wil dat niet zeggen dat dat vandaag de
dag, in inmiddels sterk gewijzigde contexten, nog steeds het geval zal zijn. Om uitspraken
te kunnen doen over «welk soort projecten werkt of niet» moet daarom alle bewijs systematisch
worden bestudeerd. Dit gebeurt over het algemeen middels zgn. systematic reviews, waarbij een groot aantal (impact-)evaluaties van vergelijkbare interventies nauwkeurig
wordt geanalyseerd.

Via IOB draagt het ministerie actief aan bij aan het ontsluiten van dergelijke belangrijke
inzichten. Op korte termijn publiceert IOB bijvoorbeeld een review van 368 onderzoeken op het gebied van Seksuele en Reproductieve Rechten en Gezondheid
(SRGR). Ook is IOB momenteel betrokken bij een systematic review op het gebied van het aanpakken van jeugdwerkloosheid.

Uiteraard zoekt het kabinet voortdurend naar verbetering. Op dit moment is dat bijvoorbeeld
de in het antwoord op vraag 1 genoemde financiële reservering voor MEL onder het VMM-beleidskader.
Deze beoogt enerzijds de vertaling van politieke besluiten in beleidsinstrumenten
beter te baseren op bestaande kennis, en anderzijds om de vele geleerde lessen uit
de praktijk beter te communiceren en te verankeren in nieuw beleid en uitvoering.

Overigens zijn het niet alleen evaluaties en onderzoeken die leiden tot bijstelling
van beleid en beleidsuitvoering. Deze zijn regelmatig ook het gevolg van politieke
keuzes, die een ander fundament onder beleid en uitvoering kunnen leggen.

Vraag 4

Wat gaat u doen met de oproep van de in vraag 3 genoemde wetenschappers? Welke acties
gaat u nemen om beter zicht te krijgen op welke ingrepen in arme landen daadwerkelijk
helpen en hiermee te zorgen voor een betere besteding van ons belastinggeld?

Antwoord 4

Binnen ontwikkelingssamenwerking wordt intensief en op verschillende niveaus geëvalueerd.
De beleidsdoorlichtingen en (impact-)evaluaties van IOB worden voorzien van een beleidsreactie
waarin wordt ingegaan op bevindingen en aanbevelingen en met de Kamer gedeeld. De
wijze waarop aan de beleidsreactie gevolg wordt gegeven wordt intern gemonitord. Daarbij
is sinds vorig jaar extra capaciteit bij DGIS aangetrokken om medewerkers te ondersteunen
op het gebied van Monitoring, Evaluatie en Leren (MEL). Deze MEL experts zorgen voor
dagelijks advies en coördinatie en daarmee voor een versterking van MEL binnen het
departement. Onder meer zijn MEL-uitgangspunten geformuleerd die leren en sturen op
basis van behaalde resultaten centraal stellen, en zijn bijbehorende thematische leeragenda’s
ontwikkeld, waarin onder meer aandacht voor adaptief management.

Het ministerie heeft daarmee een MEL werkagenda voor de volgende jaren. In de eerste
fase ligt de nadruk op het uitwerken en actualiseren van interne MEL richtlijnen voor
het beheer van programma’s; adaptief programma- en portfoliomanagement in de snel
veranderende context van veel partnerlanden; een MEL trainingsaanbod voor medewerkers;
en het opzetten van een MEL Community of Practice waarin medewerkers uit Den Haag en van ambassades, van uitvoerende partners en van
andere donoren ervaringen kunnen uitwisselen en van elkaar kunnen leren.

Vraag 5

Waarom is er niet meer gedaan met de kritische kanttekeningen van de Algemene Rekenkamer
die in de afgelopen tien jaar veelvuldig heeft geconstateerd dat er op het vlak van
ontwikkelingssamenwerking zwakke punten zitten in het meten van resultaten in het
veld? En wat gaat u hier de komende tijd verder aan doen?

Antwoord 5

Het kabinet heeft de aanbevelingen van de Algemene Rekenkamer ter harte genomen en
er is de afgelopen jaren veel gedaan om de resultaatmeting in het veld te verbeteren.
Zo is het systeem van resultaatmeting op het ministerie gemoderniseerd met behulp
van een resultatenapplicatie waarin resultaten worden geregistreerd. Dit leidt jaarlijks
tot de resultatenrapportage en de cijfers voor de indicatoren die in de memorie van
toelichting bij de BHOS-begroting zijn opgenomen. BZ is daarnaast één van de weinige
donorlanden die de internationale open data standaard IATI verplicht heeft gesteld
voor uitvoerende partners. Het betekent dat zij details van alle projecten die Nederland
financiert online moeten zetten, inclusief resultaatgegevens.

Tijdens de hele projectcyclus ligt de nadruk op resultaatgerichtheid. Dat begint al
voor de beoordeling van projectvoorstellen, en omvat onder andere voorwaarden aan
uitvoerende organisaties over specifiek en meetbaar rapporteren. Bij evaluaties wordt
ter plekke geverifieerd of gerapporteerde resultaten ook daadwerkelijk zijn geboekt.

Resultaatmeting kan natuurlijk altijd meer en beter, maar hierbij lopen we ook aan
tegen praktische beperkingen. Het is vaak ingewikkeld en tijdrovend (en dus kostbaar)
om 1 op 1 aan te tonen dat een resultaat is bereikt met een Nederlandse bijdrage (bijvoorbeeld
bij multi-donor activiteiten, of bij het meten van maatschappelijke veranderingen).
Het gevolg is dat bij kleine projecten de kosten van volledige resultaatmonitoring
en impactmeting soms niet in verhouding zouden staan tot de omvang van het project
en daarom niet gerechtvaardigd zijn.

Daarnaast zijn er ook praktische problemen die resultaatmeting moeizaam of zelfs (tijdelijk)
onmogelijk kunnen maken zoals bij projecten in conflictgebieden.

Vraag 6

Wat is de rol van de Directie Internationaal Onderzoek en Beleidsevaluatie (IOB) op
dit gebied? Zou de IOB niet strakker moeten monitoren en erop sturen dat ontwikkelingsprojecten
anders worden geëvalueerd zodat we scherp(er) zicht krijgen op de effectieve besteding
van ons ontwikkelingsgeld?

Antwoord 6

IOB voert complexe, vernieuwende en strategische evaluaties en beleidsdoorlichtingen
uit, overigens niet alleen op het terrein van ontwikkelingssamenwerking, maar op alle
beleidsterreinen van het Ministerie van Buitenlandse Zaken. Sinds 2019 wordt één jaar
na het verschijnen van een beleidsdoorlichting of belangrijke studie samen met het
betreffende DG gekeken hoe de geleerde lessen en aanbevelingen zijn gebruikt.

Soms verricht IOB zelf impact-evaluaties, zoals op de thema’s drinkwater, hernieuwbare
energie en voedselzekerheid. Steeds vaker maakt IOB gebruik van belangrijke, internationaal
beschikbare kennis over wat wel en niet werkt (zie ook het antwoord op vraag 3).

Beleidsdirecties zijn zelf verantwoordelijk voor het (laten) evalueren van de programma’s
die zij beheren. Dit is belangrijk omdat vooral dààr moet worden geleerd van de uitkomsten
van evaluaties. Deze evaluaties worden uitgevoerd door externe partijen. Het ministerie
heeft hiervoor een raamovereenkomst voor evaluaties afgesloten met een 17-tal organisaties
die door IOB zijn beoordeeld op hun methodologische kwaliteiten. IOB adviseert directies
bij hun evaluaties en neemt vaak ook deel aan de referentiegroep om toe te zien op
de (methodologische) kwaliteit en de onafhankelijkheid. IOB verzorgt ook cursussen
om de evaluatiecapaciteit binnen het departement te versterken.

IOB heeft de laatste jaren aandacht gevraagd voor de kwaliteit van evaluaties, met
name die onder de verantwoordelijkheid van uitvoerende organisaties worden uitgevoerd.
Een recent voorbeeld hiervan is de evaluatie «Less Pretension, More Realism» waarin 36 projecten uit twee programma’s gericht op stabiliteit en wederopbouw werden
geëvalueerd. Een van de conclusies uit deze IOB evaluatie was dat de onderliggende
individuele projectevaluaties niet altijd van voldoende kwaliteit waren. Een belangrijke
aanbeveling die IOB daarbij deed is dat het al in de ontwikkelingsfase van een project
belangrijk is om goed na te denken over hoe de eindevaluatie in te richten en de daarvoor
benodigde data al gedurende de uitvoering te verzamelen.

Zelf heeft IOB daartoe haar kwaliteitscriteria voor individuele evaluaties aangescherpt.
In het recent gestarte Power of Voices programma van het ministerie zijn deze criteria bovendien in de beschikkingen opgenomen.
Daarnaast ondersteunt IOB de al genoemde MEL processen die moeten leiden tot thematische
kennisagenda’s en meer strategische, kwalitatief betere, en op leren gerichte evaluaties.