Evaluaties maken: aan welke richtlijnen moet je voldoen? - ngo-federatie

Menu

Evaluaties maken: aan welke richtlijnen moet je voldoen?

Profile picture for user paola.vallejopatino@ngo-federatie.be
Contactpersoon: Vallejo Patiño Paola
Gepubliceerd op: 07 Sep 2018
Gewijzigd op: 17 Dec 2020
Regelgeving DGD 2017-2021 Morele verantwoording

Evaluaties maken deel uit van het pakket morele verantwoording. Waaraan moet je voldoen op het vlak van evaluatie voor je DGD-programma 2017-2021? Hieronder lijsten we de thema's op die in detail uitgelegd staan in de nota's die het NGSOC goedkeurde. Download de nota's onderaan deze pagina.

Vereisten op het vlak van evaluatie

Evaluaties maken deel uit van het pakket morele verantwoording. Waaraan moet je voldoen op het vlak van evaluatie voor je DGD-programma 2017-2021? Hieronder lijsten we de thema's op die in detail uitgelegd staan in de nota's goedgekeurd door het NGSOC. Download de nota's onderaan deze pagina.

1. Doelstelling en timing van mid-term en finale evaluaties

Elk programma met een looptijd van 5 jaar dient een tussentijdse en eindevaluatie uit te voeren. Zowel de tussentijdse als eindevaluatie dienen door externe evaluator(en) uitgevoerd te worden.

  • De mid-term evaluaties dienen niet het geheel van het programma te omvatten maar kunnen zich concentreren op een land, een thema of een interventie. Er is een flexibiliteit wat betreft de timing van intermediaire evaluaties die besproken kan worden tijdens de institutionele dialoog. 
  • Deze mid-term evaluatie speelt een belangrijke dubbele rol. Ze kan dienen om bij te sturen, maar zal tegelijkertijd ook een rol spelen bij de opstelling en beoordeling van een nieuw subsidiedossier.
  • Een eindevaluatie bekijkt voor alle  outcomes van een subsidiedossier of die bereikt zijn of niet. De primaire doelstelling van deze eindevaluatie is verantwoording afleggen over de resultaten die behaald werden.

2. Uitvoering van evaluaties in de praktijk

Het KB stelt dat eindevaluaties dienen te ‘oordelen over het halen van alle outcomes’. Bovendien moeten die eindevaluaties uitgevoerd worden door externe evaluatoren.

In de nota wordt uitgelegd welke flexibiliteit mogelijk is voor mid-term en eindevaluaties op het vlak van:

  • Relatie desk studie en terreinstudie en gebruik van cases binnen een outcome
  • Gezamenlijke evaluaties
  • Participatieve externe evaluaties
  • OESO-DAC criteria: Aandachtspunt dat niet in de nota (2019) wordt behandeld: Het criterium 'coherentie' is in 2019 toegevoegd, maar moet niet in rekening genomen worden bij de eindevaluaties van de programma's 2017-2021. 

Wat betreft de timing van de uitvoering:

  • mid-term evaluaties: flexibel en kan dus aangepast worden in functie van de finaliteit ervan
  • eindevaluatie: aan het einde van de interventie. Organisaties kunnen starten met de eindevaluatie op 1/05/2021 mits de activiteiten ver genoeg gevorderd zijn om hierover een uitspraak te doen.

3. Overleg met DGD

  • De jaarlijkse planning van evaluaties moet gecommuniceerd worden aan DGD tijdens de institutionele dialoog.
  • Het KB bepaalt dat de DGD evaluatievragen kan toevoegen aan de referentietermen. Deze toevoeging gebeurt steeds met respect voor de bepaalde scope en focus van de evaluatie zoals door de organisatie omschreven is in de referentietermen.
  • De referentietermen kunnen via een ad hoc overleg met DGD besproken worden of via e-mail afgestemd worden. In het laatste geval zal DGD binnen de twee weken de ontvangen referentietermen in de mate van het mogelijke becommentariëren.
  • Finale rapporten van de evaluaties en hun management response worden voorgelegd aan de administratie binnen de 30 dagen na de goedkeuring van deze response door de organen van de organisatie, of binnen drie maanden na ontvangst van de definitieve versie van het (de) evaluatierapport(en). 

4. Publicatie van evaluaties en hun management response

  • Evaluaties en hun management response worden gepubliceerd binnen 3 maanden na ontvangst van het eindrapport. Dit gebeurt minimum langs de website van de gesubsidieerde organisatie.
  • De organisatie kan beslissen om het evaluatierapport en management response in hun geheel of delen ervan niet te publiceren. In dat geval moet er transparantie zijn over de redenen waarom het rapport/de management response (of delen ervan) niet publiek gemaakt wordt.
Wat zegt de regelgeving?

KB van 11 september 2016

Art. 44. § 1. De gesubsidieerde organisatie voert onafhankelijke evaluaties om haar interventies op te volgen, er lessen uit te trekken en rekenschap af te leggen. Ze besteed hiervoor minstens 1% van haar directe kosten. Een eindevaluatie oordeelt over het halen van alle outcomes op het einde van de interventie. Voor de subsidies met een looptijd van meer dan 3 jaar wordt een tussentijdse evaluatie uitgevoerd.

§ 2. De organisatie deelt aan de administratie de planning en de referentietermen van de evaluaties mee. De administratie kan aan de organisatie vragen om evaluatievragen toe te voegen aan de voorziene evaluaties. De eindevaluaties gebeurt op basis van de criteria bepaald door het DAC. De methodologie, het proces en het eindverslag van de evaluaties zullen aan de kwaliteitscriteria inzake evaluatie van de ontwikkelingssamenwerking van het DAC moeten voldoen. De eindevaluaties, alsmede de tussentijdse evaluaties voor de subsidiedossiers met een looptijd van 5 jaar, worden uitgevoerd door externe evaluatoren. De tussentijdse evaluaties voor de interventies van minder dan 5 jaar kunnen intern gerealiseerd worden.

§ 3. Het evaluatie rapport van de door de Belgische Ontwikkelingssamenwerking gesubsidieerde interventie en haar management response worden door de gesubsidieerde organisatie publiek gemaakt, tenzij de externe evaluator of de raad van bestuur van de organisatie beslissen om het geheel of delen van het rapport of van de management response als vertrouwelijk te beschouwen. In dit geval wordt door de gesubsidieerde organisatie publiek gemaakt dat het geheel of sommige delen van het rapport of van de management response vertrouwelijk zijn en de reden waarom dit het geval is. De publicatie gebeurt minimaal via de website van de gesubsidieerde organisatie en binnen drie maanden na ontvangst van het eindrapport. De administratie kan vragen dat de lessen die uit de evaluaties getrokken werden, geïntegreerd worden in de lopende interventies.

Art. 45. § 1 De gesubsidieerde organisatie rapporteert aan de administratie over de voortgang van haar interventie, tijdens de volledige duur en op de volgende wijze :

[...]

3° door het voorleggen aan de administratie van de evaluatierapporten van de interventie, samen met de management response daarop, binnen 30 dagen na de goedkeuring van deze response door de organen van de organisatie, of binnen drie maanden na ontvangst van de definitieve versie van het evaluatierapport.

Wanneer de in het eerste lid, 2° bedoelde score voor performantie van de interventie of het in het eerste lid, 3° bedoelde evaluatierapport duidt op een probleem in de uitvoering van de interventie of de realisatie van de ontwikkelingsresultaten, legt de organisatie een speciaal rapport over, samen met deze , waarmee de administratie de oorzaak van het probleem kan analyseren, en de getroffen corrigerende maatregelen kan beoordelen.

§ 2 Uiterlijk zes maanden na de einddatum van het programma wordt aan de administratie een moreel eindrapport voorgelegd dat de volgende elementen bevat : 

[...]

3° een definitief evaluatierapport, of de definitieve evaluatierapporten, samen met de management response daarop.

Documenten

De referentiedocumenten voor de vereisten op het vlak van evaluatie voor het programma 2017-2021 zijn: 

  • KB art. 44 § 1, § 2 en § 3
  • KB art. 45 § 1 3° en §2 3°
  • Nota DGD over evaluatie goedgekeurd op NGSOC (28 maart 2019)
  • Aanvullende nota over evaluatie goedgekeurd op het NGSOC (mei 2018)
Nota DGD over evaluaties (NGSOC 28 maart 2019)
Evaluaties maken: aan welke richtlijnen moet je voldoen?
25 Sep 2020 nl TAGS: Evaluaties

Geleerde lessen

KB 2016 (Art. 44) vereist dat voor interventies die meer dan 3 jaar duren een tussentijdse evaluatie wordt uitgevoerd. Evaluaties dienen echter niet alleen om rekenschap af te leggen, maar ook -en vooral- om te leren. De federaties hebben in 2020 een enquête gelanceerd om op een efficiënte en systematische manier een mapping  maken van de uitgevoerde tussentijdse evaluaties in het kader van de DGD-programma’s 2017 – 2021 van de Belgische actoren van de niet-gouvernementele samenwerking (ANGS) om inzichten te vergaren over het proces.  

Met de resultaten van de enquête kunnen de federaties:

  • identificeren waar het evaluatieproces goed of slecht ging   
  • identificeren waar er behoeften zijn voor capaciteitsversterking
  • identificeren waar er opportuniteiten zijn voor sectorale uitwisseling (op het niveau van de evaluatieresultaten en op het niveau van het evaluatieproces)
  • lessen trekken voor de eindevaluaties
  • met de DGD de aspecten bespreken die moeten opgenomen worden door de administratie

Met de resultaten van de enquête kunnen de organisaties:

  • identificeren uit welke evaluaties ze potentieel kunnen leren
  • leren uit het evaluatieproces van andere organisaties
  • een interne reflectie voeren over de eigen evaluatiefunctie op basis van de benchmark met de sector
Enquête_Tussentijdse evaluaties van het DGD-programma 2017-2021: wat leren we hieruit?
Planning, Monitoring & Evaluatie
Monitoring & Evaluatie
01 Sep 2020 nl
Website by MINSKY