A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French version.

1. 1
Outil d’Evaluation pour l’apprentissage entre pays sur le Financement Basé sur les
Résultats (FBR)
A. Introduction
Le FBR est une stratégie prometteuse qui est de plus en plus utilisée par les programmes de santé
nationaux dans les pays en développement, afin d’accélérer le progrès vers l’atteinte des Objectifs
de Développement du Millénaire (ODM) liés à la santé. Pour pouvoir apprendre en temps réel
tout en attendant que les résultats formels de l’évaluation d’impact soient disponibles, il est
important d’examiner régulièrement les expériences de FBR en cours, et d’identifier les défis de
mise en œuvre clé et les facteurs de succès.
Tandis que des faits probants quant à l’importance d’éléments de design particuliers sont
généralement sous-expérimentaux, ils peuvent néanmoins être convaincants. Par exemple,
l’expérience jusqu’à aujourd’hui suggère que quelques caractéristiques clé sont critiques :
Payer pour les résultats régulièrement, de manière prévisible, et utiliser une formule facile à
comprendre ;
Vérifier et contre-vérifier les résultats régulièrement par des agences indépendantes, par ex.
suivi que les services ont effectivement été reçus et suivi de la qualité des soins ;
Mise à disposition d’une autonomie substantielle des formations sanitaires dans l’usage des
ressources qu’elle gagnent, y compris pouvoir acheter des médicaments indépendamment de
fournisseurs approuvés du secteur privé ;
Supervision régulière et l’usage d’outils robustes pour l’évaluation de la qualité, c’est-à-dire
des checklists de supervision quantifiées
Réunions mensuelles ou trimestrielles d’examen de la performance aux niveaux de la
formation sanitaire, du gouvernement local et des niveaux plus élevés
B. Portée de l’Outil d’Evaluation
Les pays pourront juger utile de rendre visite à un autre pays et d’évaluer son programme de FBR
et/ou son évaluation d’impact, afin d’apprendre des expériences de l’un et de l’autre et d’adapter
leur programme en conséquence pour assurer de meilleurs résultats. L’outil d’évaluation a pour
but de guider et structurer une telle évaluation de programme de FBR. Par ce biais, il permettra
une évaluation complète du programme et aidera à identifier les succès et les défis actuels du
programme de FBR, ainsi que les solutions possibles. A ce stade, l’outil d’évaluation n’a pas pour
objectif de couvrir l’examen de l’évaluation d’impact des programmes de FBR.
L’outil d’évaluation a pour but d’assurer (i) que tous les domaines pertinents au succès ou à
l’échec du programme de FBR sont couverts dans l’évaluation, (ii) que l’équipe menant
l’évaluation peut utiliser l’outil d’évaluation avec diverses parties prenantes à tous les niveaux du
programme, de la prestation de service à la décision politique, (iii) qu’en utilisant l’outil, l’équipe
menant l’évaluation est capable d’identifier les forces et les faiblesses d’un programme, et de
proposer des moyens de l’ajuster pour remédier à des difficultés ou les prévenir.
Nous vous prions de noter que l’outil d’évaluation est actuellement cadré pour s’appliquer
principalement à un programme de Financement Basé sur la Performance (FBP), puisque le FBP
est mis en œuvre dans la plupart des pays mettant en œuvre le FBR au sein du HRITF.
Cependant, il peut facilement être modifié pour s’appliquer à d’autres types de programmes de
FBR.

2. 2
C. Questions de l’Outil d’Evaluation
Cet outil d’évaluation a pour but d’évaluer la mise en œuvre d’un programme de FBR en se
concentrant sur les domaines les plus critiques dans l’atteinte des résultats escomptés. La table
suivante souligne ces domaines essentiels. Pour chaque domaine, l’outil d’évaluation propose des
questions qui peuvent être explorées avec diverses parties prenantes pour comprendre le
programme, et identifier ses forces et ses faiblesses. Toutes les questions ne seront pas pertinentes
pour une partie prenante donnée, cependant tous les domaines essentiels peuvent être explorés
avec une variété de répondants, au niveau de la formation, au niveau administratif, etc.
Il est important de noter que pour qu’une telle évaluation soit la plus utile, il vous faut vous
concentrer autant que possible sur ce qui se produit en réalité. Il faut que vous ne vous intéressiez
pas uniquement à comment cela devrait se passer (comme cela peut l’être décrit dans le manuel
de FBR), mais ce qui se produit en réalité dans la mise en œuvre du programme de FBR. Ceci
vous aidera à vous concentrer sur les défis possibles et peut aider à souligner les solutions
potentielles et les recommandations qui peuvent se révéler nécessaires.
Notez que les questions sont là pour vous guider ; vous pouvez pousser l’investigation sur des
aspects spécifiques lorsque vous le jugez nécessaire. Cependant, nous vous prions de garder en
tête que vous êtes là pour comprendre comment le programme fonctionne et écouter : utilisez des
questions ouvertes (pas des questions oui/non), essayez de comprendre comment les choses sont
faites et gardez vos propres opinions pour vous durant les entretiens.
Domaine clé Domaines d’exploration
Le programme
de FBR en
général
1) Quelle est la description générale du programme de FBR, y compris s’il
se concentre sur le côté de l’offre ou de la demande ?
2) Quelle a été la chronologie du programme ?
3) Qui sont les différents acteurs impliqués dans le programme de FBR et
quelles sont leurs fonctions, du niveau local au niveau national ?
4) Quelles actions ou services les indicateurs du FBR couvrent-ils à tous les
niveaux ? Comment les résultats sont-ils rémunérés (par ex. par service,
par cible atteinte, par poids dans le budget total…) ? Comment la qualité
et la quantité des soins interagissent-elles dans le paiement des
résultats ? Comment les indicateurs ou leurs tarifs ont-ils changé depuis
le début du programme ?

3. 3
Domaine clé Domaines d’exploration
Qualité des
données et
Vérification
5) Quelles sont les sources de données pour la production de service
(quantité) ? Quelle est l’interaction entre les données du FBR et le
système d’information et de gestion de la santé (SIGS) dans le pays ?
6) Comment la qualité des soins est-elle mesurée ; par qui et sur quoi se
concentre-t-elle ?
7) Existe-t-il un moyen par lequel la satisfaction des clients est évaluée ?
Comment cela est-il incorporé ?
8) Qui conduit la vérification de la quantité et de la qualité, quelles en sont
la périodicité et la procédure d’échantillonnage ?
9) Quel est le mécanisme ex ante pour la vérification, c’est-à-dire le
mécanisme pour la vérification utilisé avant de faire le paiement ?
10) Comment ces données sur la qualité et la quantité sont-elles contre-
vérifiées, c’est-à-dire quel est le mécanisme qui vérifie que la
vérification est faite correctement (souvent ex post, après que le
paiement ait été effectué) ?
11) Que se passe-t-il quand la vérification et la contre-vérification montrent
des incohérences entre les résultats rapportés et les résultats atteints ?
12) Existe-t-il le moindre conflit d’intérêt possible (par ex. entre les
prestataires et les agents de vérification, ou entre les agents de
vérification et les agents de contre-vérification) ?
Résultats
atteints
13) En prenant en compte la qualité des données, quels sont les résultats qui
ont été atteints jusqu’à maintenant ?
14) Quels indicateurs (de quantité et de qualité) se sont améliorés, et lesquels
ne se sont pas améliorés ?
15) Quelles zones géographiques sont à la traîne ou en pleine ascension ?
16) Existe-t-il d’autres disparités ?
17) De quoi la tendance a-t-elle l’air ? Existe-il une preuve d’arrivée à un
plateau ?
Financement et
durabilité du
FBR
18) Quelles sont les sources de financement pour le FBR ?
19) A hauteur de combien le Gouvernement contribue-t-il ?
20) Quels partenaires de développement contribuent ? Comment sont les
relations et le dialogue entre les partenaires (y compris la Banque) et le
Gouvernement ?
21) Quel est le niveau de financement par tête ?
22) Comment le programme de FBR s’inscrit-il dans le système de
référence ? Quelle proportion du financement va aux hôpitaux ?
23) Quels indicateurs absorbent le pourcentage le plus large du budget du
FBR ?
24) Quel pourcentage les paiements du FBR contribuent-ils à la paie que les
agents de santé touchent ? A quel point est le personnel motivé ?
25) Quelles sont les vues des parties prenantes sur le FBR, à tous les niveaux
y compris les bénéficiaires ?
26) A quel point le programme de FBR est-il durable, financièrement et
autre ?
Renforcement
des capacités
27) Quel a été l’effort mis dans le renforcement des capacités au niveau de la
formation sanitaire et aux autres niveaux (effort initial et en cours) ?
28) Dans quelle mesure ces efforts ont-ils fonctionné ?
29) Comment les coûts pour le renforcement des capacités sont-ils répartis ?
30) Quel type de mécanisme pour l’assistance technique est en place ?

4. 4
Domaine clé Domaines d’exploration
Supervision et
Suivi
31) Comment le programme de FBR est-il supervisé à tous les niveaux ?
32) Qu’implique la supervision et à quelle fréquence se produit-elle ?
33) Quel est le degré de structuration de la supervision?
34) Dans quelle mesure les données opérationnelles et SIGS sont-elles
utilisées pour le suivi du programme, la supervision et les ajustements ?
Gestion de
projet
35) Quelles sont les structures de gestion pour le FBR aux différents
niveaux, quel est leur rôle et qui incluent-elles ?
36) Quel est le degré d’efficacité des structures de gestion - Comité de
pilotage, comité de la formation sanitaire, etc. : à quelle fréquence se
réunissent-elles, sur quoi se concentrent-elles, quelle attention donnent-
elles à la satisfaction du client ?
37) Quel est le degré d’efficacité de l’Unité de Mise en Œuvre du FBR
(souvent une Unité d’Implémentation de Projet - UIP) et comment les
personnes essentielles ont-elles été formées ?
38) Le projet a-t-il des éléments de soutien (ex. : ressources humaines,
arrangements du type « Cash-on-Delivery », etc.) et progressent-ils en
tandem ?
Rôles et
fonctions
institutionnels
39) Existe-t-il une séparation des rôles d’acheteur, de détenteur de fonds et
d’agent de vérification ?
40) Existe-t-il des relations contractuelles claires entre eux ?
Autonomie de
la formation
41) Comment l’autonomie de la formation est-elle opérationnalisée (ex.
comment la formation utilise-t-elle les ressources du FBR et les autres ;
quel est le processus de prise de décision sur l’usage des fonds) ?
42) Les formations ont-elles des comptes en banque et qui est l’autorité
signataire ?
43) Dans quelle mesure les processus d’approbation ou les règles de
passation de marché soutiennent ou freinent les actions prises (ou qui
devraient l’être) à la formation ?
Paiement pour
les résultats
44) Quel est le coût par tête du FBR ?
45) Les fonds sont-ils transférés directement aux formations pour les
résultats reçus ?
46) Quels sont les laps de temps trimestriels entre la performance et le
paiement ?
47) Y a-t-il des mesures de maîtrise des coûts en place ?
48) Comment les paiements pour les résultats sont-ils utilisés ?
Implication de
la communauté
et Bénéficiaires
49) Quelles sortes de structures de gestion communautaires existent au
niveau de la prestation de services de santé ?
50) Avec quelle efficacité la formation fait-elle le lien avec la structure de
gestion communautaire ?
51) Comment et à quelle fréquence la formation vérifie-t-elle l’expérience
des bénéficiaires à la formation et leur satisfaction sur les services ?
52) Comment la formation intègre-t-elle les vues de la communauté et des
bénéficiaires dans sa propre gestion ?