Leertraject impactevaluaties
Inhoud
Waarom dit traject?
Zowel in de nieuwe wetgeving als in de strategienota ontwikkelingsresultaten verschuift het accent binnen de monitoring en evaluatie van de programma’s naar het niveau van outcomes en impact. In het kader van deze toegenomen aandacht voor het impactniveau, voert de federatie in samenwerking met DGD en de Dienst Bijzondere Evaluatie (DBE) een leertraject uit over impactevaluaties.
Via dit traject wordt een studie uitgevoerd van 5 interventies gelijk oplopend met de realisatie van deze interventies (2017-2021). Elke studie bestaat dus uit een baselinestudie, een tussentijdse evaluatie en een eindevaluatie. Dit moet een betere meting mogelijk maken van de werkelijke bijdrage van de interventies met behulp van een aangepaste en constante evaluatiemethode gedurende de duur van elke interventie. Dit levert uiteraard voordelen op: zo biedt het de mogelijkheid om elementen van de studie te integreren in de monitoring van de betrokken organisaties.
Dit traject volgt op een impactstudie die DBE in 2016 uitvoerde: ‘Which future for impact evaluation in the Belgian NGO sector’. De studie werd uitgevoerd bij 4 ngo-interventies na afloop van de interventies. Daarbij moesten een Theory of Change, een baseline en een controlegroep achteraf gereconstrueerd worden.
Uitvoering van het project en lancering evaluaties
Voor de uitvoering van de evaluaties wordt in twee fases gewerkt:
Fase 1
- Deze fase liep van april tot juni 2017.
- Eén bureau (Syspons) werkte de methodologieën uit voor de evaluaties van de verschillende geselecteerde interventies.
- Syspons maakte 7 methodologische nota’s voor de geselecteerde interventies.
Fase 2
- Deze fase loopt vanaf najaar 2017 tot ongeveer maart 2022.
- Op basis van de uitgewerkte methodologieën voeren andere bureaus de evaluaties uit met drie meetmomenten: baseline, mid-term en het einde van de interventie.
Alle baseline rapporten van de 5 impactevaluaties zijn afgewerkt.
Op 14 oktober 2019 organiseerden we een dag gewijd aan de inzichten uit deze rapporten.
Hieronder vind je de 5 baselinestudies terug en een mini-synthese met geleerde lessen.
Leerevents over impactevaluaties
Een aantal organisaties nemen in het kader van hun DGD-programma 2017-2021 deel aan een leertraject rond impactevaluaties. Fase 2 van dit traject bestaat uit een baseline-, een midterm- en een eindmeting. Na elke meting organiseren de federaties in samenwerking met de Dienst Bijzondere Evaluatie (DBE) en de DGD een leerevent om lessen uit dit traject te delen met de sector.
Geïnteresseerde organisaties kunnen dan uitwisselen en leren op basis van de inzichten die voortkomen uit het opstellen van methodologie en de uitvoering van de metingen gedurende de programmaperiode.
Deze leerevents moeten helpen antwoorden op de vragen van de leden over kosten/baten van impactevaluaties en hun meerwaarde voor het verbeteren van interventiestrategieën. Aangezien veranderingen op impactniveau ver verwijderd liggen van de effecten voor de directe en intermediaire doelgroepen, maakt dit de evaluaties erg complex. De uitwisseling tussen M&E-verantwoordelijken van CMO’s en IA’s, de federaties, externe experten en de overheid zal ook bijdragen tot het ontwikkelen van een gedeelde visie op de relevantie en de haalbaarheid van impactevaluaties.
Leerevent 2020
Met de indiening van de nieuwe DGD-programma's 2022-2026 in het vooruitzicht, gaat in 2020 de aandacht naar lessen en aanbevelingen die organisaties kunnen gebruiken in de planningsfase van hun nieuw programma en de voorbereiding van de evaluatie ervan.
Het programma voorzag 3 parallelle sessies (presentaties en Q&A) waarbij wordt gefocust op de lessen vanuit elke specifieke evaluatie met het betrokken evaluatieteam en NGO’s/institutionele actor en een plenaire sessie gefaciliteerd door SYSPONS waarin deze lessen samengebracht en verder besproken worden met de ganse groep.
Sessie 1 - Focus-Up met IFSI ISVI (video)
Session 2 - ADE avec APEFE et ADA (video)
Session 3 - HIVA with Solidagro, Kiyo and Viva Salud (video)
Plenary session - SYSPONS with evaluation teams (video)