A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French version. Exemples du Nigeria, de la Zambie, et du Zimbabwe.

1. CONCEVOIR LES PROJETS
ET LES ÉVALUATIONS
D’IMPACT
SIMULTANÉMENT: LES
BÉNÉFICES ET LES DÉFIS
EXEMPLES DU NIGERIA, DE LA ZAMBIE, ET DU
ZIMBABWE

2. EXEMPLE DE L’HISTOIRE RÉCENTE:
PROGRESA (OPORTUNIDADES)
• En 1998, le gouvernement mexicain a adopté un nouveau programme de
protection sociale: Progresa (un transfert monétaire conditionnel)
• fournit un petit montant monétaire d’assistance aux pauvres tout en
progressant vers les objectifs d’améliorer la santé et l’éducation des enfants
• L’équipe qui concevait la politique avait de sérieuses interrogations sur le
design et la performance du programme
• la plupart des programmes sociaux ne survivent pas aux changements de
gouvernements
• Les décideurs politiques pensaient que des preuves évaluées par des
experts internationaux aideraient le programme à survivre.
• Le programme a survécu après un changement de gouvernement car il
était trop coûteux politiquement d’ignorer les preuves de l’évaluation
• bien que le nouveau gouvernement ait fait campagne pour stopper le
programme, le nouveau chef d’état a été convaincu par les preuves et a
décidé d’honorer son engagement en renommant le programme:
Oportunidades

3. EXEMPLE DE L’HISTOIRE RÉCENTE:
PROGRESA (OPORTUNIDADES)
L’équipe a attribué les bénéfices suivants au design simultané du program et de
l’évaluation d’impact (EI):
1. Robustesse politique - PROGRESA est un pilier de la politique de protection
sociale (PS) mexicaine.
2. Sources de financement accrues et diverses – les bailleurs de fonds étaient
attirés par le programme du fait des preuves claires, non-partisanes de son
impact.
3. Expansion significative– PROGRESA n’a pas seulement continué au fil des
années mais il s’est vastement étendu par rapport à la phase pilote initiale.
4. Codification explicite des pré-requis pour une évaluation conduite
indépendamment de tous les programmes sociaux mexicains; CONEVAL
établi.
5. Impact sur la façon dont les bailleurs comme DfiD ou la BM programment et
évaluent leur soutien.
 Conclusion – les décideurs politiques qui anticipaient les
bénéfices du programme ont pu concevoir une évaluation
robuste qui a conduit à un soutien politique accru

4. LES OBJECTIFS
PRINCIPAUX DE L’EI
1. Etablir si le programme a un effet significatif ou non sur les
résultats visés.
2. Une EI conçue avec soin peut vous dire pourquoi quelque
chose fonctionne ou non.
3. Informer les décideurs politiques de la performance et des
lacunes du programme, y compris sur les lacunes de mise en
oeuvre pour leur amélioration.
4. La manière la plus fiable de réussir cela est de considérer le
design de l’EI / simultanément avec le design du programme
5. Mais il existe beaucoup de chemins vers une même
destination, et nous allons explorer au moins trois histoires,
leurs défis et leurs leçons

5. CINQ “PRINCIPES DIRECTEURS”
POUR FAVORISER LA PERTINENCE
POLITIQUE DE L’EI
Généralisable en passage à l’échelle – typiquement un besoin de
répliquer les interventions réussies à une plus grande échelle que le
contexte de l’étude
Etudes d’efficacité à visée opérationnelle – évaluations de
programme mis en oeuvre dans le cadre des capacités existantes du
système
Retour régulier à ceux qui mettent en oeuvre – le suivi du processus
valide le modèle du programme et identifie les domaines qui
nécessitent des améliorations
Inclure une focalisation sur les coûts – pour informer les choix
politiques et les compromis
Appropriation locale – l’implication centrale du gouvernement et
d’investigateurs locaux est critique à la fois pour une mise en oeuvre
efficace et l’adoption politique
Tous ces principes bien plus faciles à atteindre lorsque l’EI et le
programme sont conçus et planifiés conjointement

6. CONCEPTION DE L’EI POUR
SATISFAIRE LES CINQ
PRINCIPES: LE FBR EN ZAMBIE
Une large couverture démographique des services de
santé maternelle et infantile (SMI) reste un défi en
Zambie – Le Ministère de la Santé (MS) souhaite
accroître la prestation de services tout en renforçant le
système de santé
Après beaucoup de discussion, la réforme du
financement basé sur les résultats (FBR) prend la forme
d’un “paiement à l’acte sélectionné” payé aux
formations avec:
• évaluations de la qualité des soins, suivi et supervision
renforcés, autonomie décentralisée aux cliniques
• les activités incitées incluent des programmes de
nutrition précoce de l’enfant

7. ZAMBIE, A QUOI
RESSEMBLE L’EI
Q: Quel est l’impact causal du FBR sur la prestation de services et
sur les indicateurs de santé de la population d’intérêt?
L’intervention est une réforme systémique sponsorisée par le
gouvernement avec un rôle central pour la supervision et le suivi du
district
Bras de traitement: Les formations et les patients résidant dans les
districts qui introduisent le programme de FBR
Contrôle: formations et ménages dans les districts de comparisons
appariés
Un estimateur par différences-de-différences entre les formations
appariées dans le traitement et le contrôle estimera l’impact du
programme

8. UNE COUVERTURE
GÉOGRAPHIQUE ÉTENDUE
FACILITE LA VALIDITÉ EXTERNE
En Zambie, MS avec forte volonté de piloter le FBR dans
chaque province. Dans un but d’apprentissage politique,
sélectionner des “représentants” de districts pour cette
province, sur la base de la capacité des systèmes de santé
du district et la couverture des services. 27 sur total de 62
districts dans l’étude

9. ZAMBIE, COMMENT LES
DEUX CÔTÉS ONT
FONCTIONNÉ ENSEMBLE
Les équipes opérationnelles et de l’EI se sont consultées dès le
début – les premières discussions sur le design avec le
gouvernement impliquaient du personnel des deux équipes
Des consultations répétées avec les experts du FBR, de l’EI, et la
tête du gouvernement ont mené au contenu du pilote de FBR et
créé un socle politique pour l’EI
EI étendue pour répondre à des questions supplémentaires
• quelle est la coût-efficacité du fait d’offrir des niveaux d’incitations
plus élevés
• un sous-groupe de formations sélectionnées aléatoirement
reçoivent un bonus additionnel de 25%
• quel est le taux d’audit coût-efficace dans la vérification
externe
• les formations font face à une probabilité aléatoire d’être
soumises à l’audit : 100%, 30%, ou 10%

10. ZIMBABWE, UN APERÇU
DU FBR ET DE L’EI
Le Zimbabwe a créé un pilote de FBR de paiement à l’acte
ajusté pour la qualité avec un accent sur l’amélioration des
résultats de SMI prioritaires
L’évaluation du FBR a groupé des paires comparables de
districts et sélectionné aléatoirement un district dans chaque
paire pour recevoir le pilote de FBR, et l’autre pour servir de
comparaison
Districts pilotes stratifiés par province, donc chaque Equipe
de Gestion de la Santé Provinciale gagne en expérience du
FBR, mais est aussi impliquée dans la planification de l’EI
Fort socle politique pour l’EI au sein du Ministère – création
d’un Groupe de Travail d’Evaluation Technique pour
conseiller sur chaque étape de l’EI et suivre le progrès

11. UN CHAMP GÉOGRAPHIQUE ÉTENDU
FACILITE LA VALIDITÉ EXTERNE ET
L’IMPLICATION DE TOUS LES PMDS
DANS L’EI

12. UN GROUPE DE TRAVAIL GOUVERNEMENTAL
SUR L’EI CONSEILLE SUR TOUTES LES
ACTIVITÉS RELATIVES AUX DONNÉES
Données d’enquête régulièrement collectées de
perspectives multiples:
• Ménage
• Formation et agent de santé
• Communauté
• Gestion du district et provinciale
Données administratives de routine aussi critiques du fait
du champ et de la fréquence d’observation
Evaluation qualitative avec accent supplémentaire sur
des expériences subjectives complexes: compréhension,
motivation, et actions innovantes
Collecte, intégration, et analyse de sources de données
multiples (aussi bien continues que sporadiques)
souligne le bénefice d’investigateurs basés localement et
des homologues gouvernementaux

13. NIGERIA: UN APERÇU DU
PROGRAMME DE FBR
• Trois états sélectionnés intentionnellement:
Adamawa, Nasarawa et Ondo.
• Des formations sanitaires sélectionnées dans les
gouvernements locaux (LGA) au sein de chaque état reçoivent
une des deux interventions: le FBP et le DFF. Les LGA sont
assignées aléatoirement pour recevoir le FBP ou le DFF.
• Les gouvernements locaux et étatiques reçoivent des
paiements en bonus liés à la performance
• Les LGA de contrôle sont sélectionnés aléatoirement d’états
appariés pour chaque état faisant partie du projet

14. NIGERIA: AVANTAGES DE CONCEVOIR LE
PROJET ET L’EI SIMULTANÉMENT
Le design simultané des interventions du projet et de l’EI a
nécessité une définition soignée des interventions et des
approches empiriques pour mesurer l’impact.
• Le développement simultané des interventions et de l’EI ont
assuré que la distribution des LGA entre le FBP et le DFF
était aléatoire, afin que l’impact des interventions puisse être
mesuré rétrospectivement.
• Définition conjointe des interventions et des composantes.
• L’adaptation des questionnaires était guidée par les
définitions des interventions ainsi que par les impacts à
mesurer.
• Développement conjoint d’outils routiniers de suivi
(checklist qualité, contre-vérification, questionnaires
mhealth, etc.) avec l’intention de mettre en place une
plateforme où toutes les données, y compris les SIGS,
pourraient être triangulées dans le futur

15. Eléments clé Caractéristiques FBP DFF
Financement Montant maximal de fonds fournis à la formation sanitaire,
par tête
$2 $1
Fonds peuvent être utilisés pour fournir bonus au personnel Oui Non
Gouvernance
décentralisée
Comité du FBR de la formation sanitaire Oui Non
Autonomie de la formation sanitaire Oui Oui
Comptes en banque gérés par comité de la formation Oui Oui
Planification de
la formation
sanitaire
Développement et mise en oeuvre d’un plan d’activités Oui Non
Autres outils du FBP Oui Non
Enregistrement
et reporting
Usage des formulaires SIGS standards Oui Oui
Facture trimestrielle Oui Non
Vérification et
supervision
Vérification de la quantité mensuelle par SPHCDA Oui Oui (mais plus
légère)
Supervision de la qualité trimestrielle par Départment des
soins de santé primaires du LGA
Oui Oui
Vérification par tiers de la quantité Oui Non
Vérification par tiers de la qualité Oui Non
Assistance
technique
1) Usage des processus et outils du FBP
2) Résolution des problèmes pour améliorer la
consommation de services et la qualité
3) Gestion financière, des déchets, des médicaments,
reporting
Oui Non (Oui
seulement
pour 3))
NIGERIA: DÉFINIR LES INTERVENTIONS, FBP ET DFF

16. NIGERIA: UN APERÇU DU DESIGN
DE L’EI
Le design de l’EI du Nigéria pourra adresser ceci:
• Evaluer la conditionalité: Impacts du paquet FBP contre DFF
• Evaluer le DFF: Impacts du paquet DFF contre la routine
habituelle
• Evaluer le FBP: paquet FBP contre la routine habituelle
Recevoir les interventions suivantes…
ILD
de
l’état
ILD
du
LGA
Financement
additionnel aux
formations
sanitaires
Financement aux
formations est
conditionnel à la
performance
LGA FBP Oui Oui Oui Oui
LGA DFF Oui Oui Oui Non
LGA de
comparaison
Non Non Non Non
ILD: Indicateurs Liés aux Décaissements
Evaluer
condition-
nalité
Evaluer
paquet
DFF
Evaluer
paquet
FBR

17. NIGERIA: COMMENT LES ÉQUIPES D’EI ET
OPÉRATIONNELLES ONT TRAVAILLÉ
ENSEMBLE POUR INTÉGRER LES
ACTIVITÉS ET MAXIMISER
L’APPRENTISSAGE
• La sélection aléatoire des LGA et des formations étaient
possible sans pression politique significative
• A aidé dans la révision et l’adaptation des questionnaires:
divers aspects des interventions, mesures des impacts et
résultats intermédiaires, capturer de potentielles effets de
retombées.
• Enquête de base fournira des indications préliminaires
des effets potentiels des interventions (en comparant le
pré-pilote aux zones appariées), bien que les informations
de l’enquête de base ne permettront pas de comparaisons
avant-après, enquête de base/de suivi.