Monitoring & Evaluatie - ngo-federatie

Menu

Monitoring & Evaluatie

ContactpersoonFemmy Thewissen
07 Sep 2018

Monitoring en evaluatie (M&E) helpt je zicht te krijgen op hoe een project wordt uitgevoerd. Beiden hangen nauw samen maar hebben een andere focus.

  • De focus bij monitoring ligt op opvolging van de uitvoering van je activiteiten en het behalen van tussentijdse resultaten. Dit vereist gegevensverzameling en analyse over de uitvoering van je programma op basis van je indicatoren.
  • Evaluatie gaat daarentegen over beoordeling. Het is geen continue activiteit maar een momentopname waarbij een (externe) evaluator de veranderingen en de manier waarop de veranderingen werden gerealiseerd beoordeeld worden.

Monitoring

De monitoring van je indicatoren heeft alles te maken met het verzamelen van gegevens: bijvoorbeeld over het aantal deelnemers van je activiteiten en de evolutie daarin, over het effect van je activiteiten en interventies op deelnemers, op partners of op eindbegunstigden, … .

Dataverzameling

Tijdens het traject ‘instrumenten voor effectmeting’ (2011-2012) kwamen twee dataverzamelingstechnieken aan bod: focusgroepen en vragenlijsten. Volgende documenten werden voor dit traject gemaakt:

Vragenlijsten worden steeds minder op papier afgenomen en steeds meer via GSM of tablet. Eén van de gratis apps voor mobiele datacollectie is Kobotoolbox. In 2018 organiseerden we een vorming over mobiele datacollectie (KoboToolbox) en over datavisualisatie (QGIS en Tableau). 

Hoe en waar breng je al die gegevens samen?

Veel organisaties maken gebruik van Excel. Soms kan een elektronische monitoringtool aangewezen zijn.

  • I-propeller stelde voor ons een gids op voor ngo's die de overstap naar een EMT-tool overwegen. Alle stappen worden uitgelegd die je in dat proces doorloopt (fase 0: monitoring, fase 1: voorbereiding, fase 2: configuratie en fase 3: gebruik). De gids bevat heel wat referenties naar websites, oefeningen, achtergrondlectuur, films, etc.
  • Aan deze gids ging een studie vooraf over nuttige EMT tools voor de sector.
  • Daarnaast maakte i-propeller een analyse van 3 softwarepakketten die het sterkst scoren op de noden en behoeftes van gebruikers.
  • De drie softwarepakketten werden getest op een gestandaardiseerde Noord en Zuid case.

Evaluatie

Er zijn verschillende soorten evaluaties, afhankelijk van het tijdstip in de projectcyclus waarop de evaluatie plaatsvindt, de doelstelling, de methodologie, wie ze uitvoert, … 

    Stap voor stap

    Welke stappen doorloop je in het uitvoeren van evaluaties? Soms voer je een evaluatie zelf uit, maar meestal neem je een externe evaluator aan. Dit is vooral zo wanneer een evaluatie dient om verantwoording af te leggen tegenover de subsidiegever. Welke stappen moet je doorlopen om zo een evaluatieproces in goede banen te leiden?

    Grosso modo zijn er drie grote fases:

    • de fase van ontwikkeling,
    • de fase van uitvoering
    • het gebruik van de evaluatieresultaten

    Deze drie fases vind je ook terug in het ECB-instrument (Evaluation Capacity Building) van de Dienst Bijzondere Evaluatie in het kader van de certificering (Bijlage A: Hoofdstuk 2).

    Onderstaande gids over externe evaluaties beschrijft voor elk van de drie fases de belangrijkste aandachtspunten. Deze gids werd door COTA geschreven en vormt de neerslag van een tweedaagse vorming die Acodev in juli 2018 organiseerde over evaluaties.

    Praktische gids over externe evaluaties - Neerslag van vorming over evaluaties (COTA) (juli 2018)
    Monitoring & Evaluatie
    14 Nov 2018 nl

    Hoe organiseer je de evaluatiefunctie binnen je organisatie?

    Aan de hand van het ECB-instrument (Hoofdstuk 1) onderscheiden we 5 globale componenten om de evaluatiefunctie binnen je organisatie te organiseren:

    • Oriëntering: De organisatie expliciteert haar keuzes inzake evaluatie en het belang ervan voor de organisatie. Dit oriënteert en ondersteunt de evaluatiefunctie. (ECB-criteria 3.1.1 – 3.1.3)
    • Structuur, rollen en taken: De organisatie structureert de evaluatiefunctie: ze definieert de rollen en taken van iedereen die betrokken is (inclusief de partners) met het oog op de kwaliteit, de coördinatie, de onafhankelijkheid van de evaluatie en het gebruik op het niveau van de organisatie. (ECB-criteria 3.2.1 – 3.2.3)
    • Normatief kader, procedures en instrumenten: De organisatie definieert een normatief kader, garandeert een kwaliteitsvolle uitvoering daarvan en ontwikkelt de gepaste instrumenten om het evaluatiewerk te faciliteren. (ECB-criteria 3.3.1 – 3.3.2)
    • Leiderschap, beheerswijze en waarden: Het leiderschap van de organisatie stimuleert de ontwikkeling van de evaluatiefunctie. (ECB-criteria 3.4.1 – 3.4.4)
    • Leren en versterken van competenties: De organisatie ondersteunt het leren en versterkt de competenties inzake evaluatie. (ECB-criteria 3.5.1 – 3.5.4)

    De manier waarop monitoring en evaluatie in je organisatie ingebed zijn, staat beschreven in je M&E-beleid.

    Tijdens het leertraject over evaluatie, dat ngo-federatie in 2014 organiseerde, werden twee tools opgesteld over M&E-beleid en M&E-systeem:

    Tools en handleidingen

    Evaluatie opzetten, opvolgen en gebruiken

    Algemeen

    Ontwikkeling

    • Referentietermen opstellen (ECB criterium 2.1)

      • GeneraTOR: Op de webstie BetterEvaluation vind je een digitale tool om referentietermen op te stellen.
      • Beknopte praktische gids voor externe evaluaties (COTA, 2018): Bijlage 3: Stramien voor referentietermen van een evaluatie & Bijlage 4: Checklist voor de kwaliteit van referentietermen
      • Wanneer je een evaluator aanstelt moet je, afhankelijk van het globale bedrag dat je voor ogen hebt, voldoen aan verschillende (vorm)vereisten volgens de wetgeving overheidsopdrachten. Vanaf 30.000 euro is het verplicht om een bestek op te stellen. De voorbeeldmodellen vind je hier.
      • Op zoek naar externe evaluator? Neem een kijkje in onze database voor experten. Gebruik de filter 'Vaardigheden/management expertise' en klik daar op DGD toetsing --> Resultaat gericht beheer --> Evaluation.
    • Evaluatiecriteria en evaluatievragen (ECB criterium 2.1.2)
    • Methodologische oriëntatie (ECB criterium 2.1.3)
      • Hoe kies je de juiste evaluatiemethodologie? Deze Engelstalige gids en tool, ontwikkeld door BOND (UK) zet je op weg. 

    Uitvoering

    Gebruik

     

    Evaluatiefunctie organiseren

    Website by MINSKY