Brief regering : Reactie op de motie van het lid Van der Lee over de kwaliteit van evaluaties en de cultuur van leren met betrekking tot ontwikkelingssamenwerking (Kamerstuk 35830-XVII-7)

Nr. 145
BRIEF VAN DE MINISTER VAN BUITENLANDSE HANDEL EN ONTWIKKELINGSSAMENWERKING

Aan de Voorzitter van de Tweede Kamer der Staten-Generaal

Den Haag, 28 oktober 2021

Met deze brief gaat het kabinet in op de motie van het lid Van der Lee (Kamerstuk

35 830 XVII, nr. 7) over het uitwerken van een plan om de kwaliteit van evaluaties en de cultuur van
leren omtrent ontwikkelingssamenwerking verder te bevorderen.

Zoals eerder aan uw Kamer is aangegeven in antwoord op vragen van het lid Paul1, deelt het kabinet de overwegingen in de motie. De kwaliteit en effectiviteit van
ontwikkelingssamenwerking is in belangrijke mate afhankelijk van gedegen evaluatieonderzoek
naar de doeltreffendheid (effectiviteit) en doelmatigheid van beleid en maatregelen.
Zonder kennis over wat in welke context wel en niet werkt is geen evidence-based inzet mogelijk op duurzame armoedebestrijding, de verbetering van de positie van
vrouwen of klimaatverandering.

Ook deelt het kabinet daarbinnen het belang van op impact gerichte evaluaties, gericht
op de effecten van beleid: beleidsevaluaties moeten in de eerste plaats bijdragen
aan kennis over de al dan niet effectieve werking van beleidsinterventies. Juist op
dit aspect zien de in de motie genoemde ontwikkelingseconomen ruimte voor verbetering.
Om leren mogelijk te maken, stellen zij, zijn betere impact-evaluaties vereist, met
een andere evaluatiestrategie – een die gericht is op het verkrijgen van inzicht in
causale verbanden en onderliggende mechanismen. Zij verwijzen naar Nobelprijswinnaar
uit 2019 Duflo, die met behulp van kwantitatief experimenteel onderzoek de effectiviteit
van ontwikkelingsprojecten en -programma’s heeft onderzocht.

Het perspectief van deze zogeheten «gouden standaard»-evaluaties is met name voor
goed af te bakenen interventies inderdaad groot, hoewel de methodologische eisen hoog
liggen. Wat dat betreft is het treffend dat dit jaar de Nobelprijs is uitgereikt voor
natuurlijk experimenteel effectonderzoek. Vanuit het ministerie is de laatste jaren
dan ook vraag naar beide soorten evaluaties, ook om op het niveau van de aan de rijksbegroting
gekoppelde Strategische Evaluatie Agenda (SEA) betekenisvolle uitspraken te kunnen
doen over de kosteneffectiviteit van ontwikkelingssamenwerking. Ik verwijs in dit
verband naar het onderzoek «Less Pretension, More Realism», uitgevoerd door de Directie
Internationaal onderzoek en Beleidsevaluatie (IOB), waarin werd geconcludeerd dat
de onderliggende individuele projectevaluaties van betrokken NGO’s op dit punt niet
altijd van voldoende kwaliteit waren.

Een belangrijke aanbeveling die daarbij is gedaan luidt dat het belangrijk is om al
in de ontwikkelfase van beleidsmaatregelen goed na te denken over hoe de eindevaluatie
in te richten om impact te kunnen vaststellen en om de daarvoor benodigde data al
vanaf de start van de uitvoering te verzamelen. Daarbij past het benutten van de mogelijkheden
tot (natuurlijk) experimenteel evaluatieonderzoek. De opvolging die het kabinet aan
deze en andere aanbevelingen heeft gegeven zijn met uw Kamer gedeeld.2

Overigens is het niet altijd zinvol of zelfs mogelijk om beleid volgens de «gouden
standaard» van (natuurlijk) experimenteel onderzoek te evalueren. Het kan bijvoorbeeld
te vroeg zijn om effecten te kunnen vaststellen of er kan behoefte zijn aan een evaluatie
die moet bijdragen aan het beter leren uitvoeren van een project of programma. Daarom
is een kennis- of leeragenda belangrijk: ook evaluaties van beleidsuitvoering en evaluaties
gericht op intermediaire effecten kunnen immers aansluiten op leerdoelen. Er is, met
andere woorden, geen een-op-een relatie tussen bijdragen aan beleidsgericht leren
en het uitvoeren van impact-evaluaties.

Naast leren is ook het afleggen van verantwoording over beleid en bestede middelen
een legitiem doel van beleidsevaluatie. Een gerichtheid op «wat te evalueren en hoe
vaak» is daarmee volgens het kabinet zonder meer zinvol. Daarbij past inderdaad, conform
de comptabele wet- en regelgeving, dat de Tweede Kamer periodiek inzicht wordt geboden
in de manier waarop het kabinet streeft en succesvol is naar een kosteneffectieve
inzet van de middelen voor ontwikkelingssamenwerking. Bij beleid dat in een complexe
en voortdurend veranderende context wordt uitgevoerd past dat daarbij ook verantwoording
wordt afgelegd over hoe er gestreefd is naar «lerend beleid».

De operatie Inzicht in Kwaliteit en de SEA bieden een goede basis voor het door uw
Kamer gevraagde plan. Dat geldt ook voor de initiatieven die de afgelopen jaren op
het ministerie worden ontplooid:

– Op instigatie van de Academie voor Internationale Betrekkingen (AIB) wordt gewerkt
aan het verbinden van de diverse leer- en ontwikkeldoelen van het Ministerie van Buitenlandse
Zaken – hiertoe zal o.a. een Adviesraad Leren en Ontwikkelen worden opgericht;

– Departement-breed loopt een pilot met «kennismanagement scans» – daarbij worden verbeteringen
geïdentificeerd die meer kennis-gedreven manieren van werken mogelijk maken;

– Beide bovenstaande initiatieven vergen inzicht de mate waarin ontwikkelingssamenwerkingsprogramma’s
«evidence-based» zijn, met andere woorden: welke evidentie uit evaluatieonderzoek
bestaat voor bewezen, aannemelijke of plausibele effectiviteit;

– De nieuwe managementleergang legt meer nadruk op adaptief management en leren. Binnen
het Directoraat Generaal Internationale Samenwerking (DGIS) is extra expertise aangetrokken
om medewerkers te ondersteunen op het gebied van «Monitoring, Evaluatie en Leren»
(MEL). Het ministerie heeft ook een MEL-werkagenda voor de volgende jaren ingericht;

– In het nieuwe beleidskader Versterking Maatschappelijk Middenveld (VMM) wordt, als
onderdeel van verbeterde monitoring en evaluatie, een nul-situatie vastgelegd;

– Voor het evalueren en leren van OS-programma’s is een raamovereenkomst afgesloten
met organisaties die door IOB zijn beoordeeld op hun methodologische kwaliteiten;

– IOB heeft recentelijk haar kwaliteitscriteria voor individuele evaluaties aangescherpt.

In het kader van de SEA zal op basis van deze lopende initiatieven de komende tijd
een strategische, op zowel leren als verantwoording gerichte aanpak van de evaluatie
van OS worden opgesteld om de kwaliteit van evaluaties en de cultuur van leren verder
te bevorderen. Daarbij kunnen de lessen over de mogelijkheden en onmogelijkheden van
impact-evaluaties worden verzilverd. Te denken valt aan:

– Het beter structureren en organiseren van ex ante onderzoek. Door systematisch ex
ante vragen te agenderen tijdens de formulering van de SEA, kan dit soort onderzoek
via de SEA een goede plek krijgen in de beleidscyclus. Daarbij zal worden nagegaan
hoe bij de toets die het departement gebruikt om te bepalen of een nieuwe activiteit
in behandeling kan worden genomen (de zgn. Quality@Entry-toets), meer rekening kan
houden met lessen uit het verleden;

– Het ontwikkelen van een strategie voor ex-post evaluaties van programma’s op langere
termijn: wat is mogelijk, wat is relevant, hoeveel middelen zijn nodig (het beschikbaar
stellen van voldoende financiële middelen voor evaluatieonderzoek, ook na de afronding
van programma’s, is soms een knelpunt).

Voor het zomerreces van 2022 zal uw Kamer nader geïnformeerd worden over de uitwerking
van de voorgestelde strategische aanpak. Het is daarbij van belang om voor de implementatie
voldoende tijd te nemen: de weerbarstige en veranderlijke contexten waarin ontwikkelingssamenwerking
opereert enerzijds, en een flink aantal reeds lopende verandertrajecten anderzijds,
dwingen tot een verantwoorde, gefaseerde aanpak.

Tot slot: het Development Assistance Committee van de OESO heeft het Ministerie van
Buitenlandse Zaken uitgenodigd om de strategie voor het stimuleren van een interne
resultaat- en leercultuur toe te lichten tijdens de jaarlijkse bijeenkomst van haar
«Results Community». Internationaal is de Nederlandse ervaring een voorbeeld voor
donorlanden bij de ontwikkeling van een resultaatgerichte en lerende organisatie.
De motie vormt een belangrijke stimulus om deze positie verder uit te bouwen.

De Minister voor Buitenlandse Handel en Ontwikkelingssamenwerking,
Th.J.A.M. de Bruijn