Presentatie 'Peilen naar de impact van sociaal-culturele praktijken - Een rijke waaier aan methoden' van Steff Deprez gebracht tijdens de gelijknamige studiedag van Socius op 4 april 2014.
3. • Overzicht + korte beschrijving gevarieerde
methoden voor impact meting
• Matrix per methode: helpt in de
zoektocht naar mogelijke toepasbare
methodes voor jouw context
3
SteffDeprez-March2014
10. SteffDeprez-March2014
Gebruik
1. In planning en ontwerpfase
> Begeleiding en opvolging
van de praktijk
2. Tijdens impactevaluatie in
retrospect
> De causaliteit en het
‘verhaal’ van de impact
verandering blootleggen
Evaluatiemethoden
-Contribution analysis
-General Elimination
Methodology
-Process Tracing
-Multiple lines & levels of
evidence
-…
10
11. Werken met controle, invloed en interesse
sfeer
Gebaseerd op Outcome Mapping
•Actorbenadering: ontwikkeling gaat over hoe mensen samenwerken en
omgaan met hun omgeving
•Outcomes = gedragsveranderingen van mensen, groepen en organisaties
waar je direct mee samenwerkt en die cruciaal zijn om bij te dragen aan de
visie en de impact van de praktijk te realiseren
SteffDeprez-March2014
11
12. SteffDeprez-March2014
Een leefbaar
inkomen voor
boerenfamilies
Boerenfamilies
•Verhoogd inkomen
•Sterkere positie
•Verhoging veerkracht
•…
Privé-bedrijven
-Afname van boeren
-Eerlijke contracten
-Investeren in boeren
-…
Dienstverleners
•Kredieten
•Technische ondersteuning
•Certificering
•…
Boerenorganisaties
•Ondernemerschap
•Collectieve vermarkting
•Betere dienstverlening leden
•…
Interesse of ambitiesfeer
Invloedssfeer
Controlesfeer
• Activiteiten
• Budgetten
• Staf
Werken met controle, invloed en interesse sfeer
Gebaseerd op Outcome Mapping
12
13. SteffDeprez-March2014
Een leefbaar
inkomen voor
boerenfamilies
Boerenfamilies
•Verhoogd inkomen
•Sterkere positie
•Verhoging veerkracht
•…
Privé-bedrijven
-Afname van boeren
-Eerlijke contracten
-Investeren in boeren
-…
Dienstverleners
•Kredieten
•Technische ondersteuning
•Certificering
•…
Boerenorganisaties
•Ondernemerschap
•Collectieve vermarkting
•Betere dienstverlening leden
•…
Interesse of ambitiesfeer
Invloedssfeer
Controlesfeer
• Activiteiten
• Budgetten
• Staf 13
Basis voor planning, opvolging en impactevaluatie
Resultaten + indicatoren
14. Impact meten?
Mix van methodes
•Surveys
•Groep en individuele interviews
•Focus groepen
•Bedrijfskundige data van de landbouwketen
•Secundaire data
•SenseMaker
Self-assessment + externe evaluator
Elke 3 jaar
SteffDeprez-March2014
Boerenfamilies
•Verhoogd inkomen
•Sterkere positie
•Verhoging veerkracht
•…
14
16. SteffDeprez-March2014
Boerenfamilies
Boerenorganisaties
Hoe hebben activiteiten van
Vredeseilanden bijgedragen
aan gedragsveranderingen
partners?
Wat werkte? Wat niet?
Heeft een beter
functioneren van
de organisatie
positieve effecten
op het leven van
boeren?
Privé-bedrijven
18
Hoe is de relatie tussen
bedrijven en
boerenorganisaties?
Dienstverleners
Is het verhoogd
inkomen een effect
van het programma?
Impact is niet alleen ‘meten’, maar ook …
•Causale verbanden leggen
•Het ‘verhaal’ kunnen vertellen
•Bijdrage van Vredeseilanden en partners begrijpen
17. SenseMaker
• Verzamelen groot aantal verhalen (> 300) en ervaringen van
mensen rond een bepaald thema of verandering
• Verhalen/ervaringen worden getriggered door een vraag
• Groot aantal korte verhalen (micro-narratives/fragments)
• De verhalen worden gecodeerd door de verhalenverteller op
het moment dat het verhaal gedeeld wordt.
• Er is geen interpretatie door een externe persoon
SteffDeprez-March2014
19
18. SenseMaker
Vraag: Denk aan een specifiek moment of een ervaring waar je
werd aanmoedigd of gedemotiveerd om thee/koffie/bananen te
produceren en te verkopen aan het bedrijf?
SteffDeprez-March2014
20
24. SenseMaker
• Software (SenseMaker) > patronen detectie
• Zoeken van patronen en vergelijkingen maken tussen
leeftijdsgroepen, geografische gebieden, thema’s, …
• Het zien van de realiteit door de ogen van mensen
• Het geeft inzichten in verschillende perspectieven, attitudes en
waarden van diverse actoren rond bepaalde thema’s
• Snel inzichten verwerven in veranderingen en eventueel snel
aanpassingen doorvoeren (snelle feedback, …)
• Combinatie van kwalititieve methode en kwantitatieve methode
SteffDeprez-March2014
26
25. • Overzicht + korte beschrijving gevarieerde
methoden voor impact meting
• Matrix per methode: helpt in de
zoektocht naar mogelijke toepasbare
methodes voor jouw context
27
SteffDeprez-March2014
In order to visualise when is Developmental Evaluation appropriate, compare situations in which this conventional approach, in which formative and summative evaluation does apply…
…looks like this. You may have a plan for which you have obtained resources but as soon as you begin to implement it, the activities change and their outputs too. Some lead to outcomes and other do not. And outcomes emerge in the most unexpected places. So in these situations, one or more of the five types of Developmental Evaluation will be appropriate.