Même si l’effet peut être observé et mesuré, cela ne veut pas forcément dire que l’effet est uniquement attribuable à la prestation de service ou au projet. Et même lorsqu’un effet direct (outcome) donné peut être attribué de manière univoque à une intervention, il n’est toujours pas démontré qu’une contribution a été apportée à l’objectif supérieur (impact). Cet état de fait est nommé lacune d’attribution.
Toutefois, il n’est absolument pas toujours nécessaire de prouver en permanence que l’apport d’une ressource spécifique (input) a produit un effet précis au niveau social (impact). Selon la finalité visée par la mesure de l’efficacité, il suffit souvent de montrer qu’il est plausible que la prestation de service ou le projet ait contribué à l’effet observé. C’est là qu’un bon modèle d’efficacité joue un rôle important.
Attribution univoque ou plausibilité
Il faut donc distinguer les cas où, pour des raisons de légitimation, un effet doit pouvoir être démontré ou attribué de manière patente à une prestation de service (attribution), ou s’il convient de montrer qu’il est plausible qu’une prestation de service ou un projet a contribué à l’amélioration d’une situation (contribution), p. ex. afin que l’organisation puisse tirer un enseignement ou en vue de l’orientation interne de l’organisation.
En vue d’une attribution causale de l’effet (outcome) à une intervention, des méthodes de mesure de l’efficacité rigoureuses doivent être employées. Il faut recourir en effet à une Comparaison avec groupe de contrôle, pour établir ce qui se serait passé sans la prestation de service ou sans le projet. Ce type d’évaluation exige des méthodes statistiques scientifiquement fondées. Ainsi, l’on peut exclure les facteurs externes et les résultats peuvent être attribués sans équivoque à une intervention spécifique. De telles comparaisons présentent cependant un coût élevé.
En revanche, pour démontrer la plausibilité, des démarches plus simples suffisent. Procéder à une étude du contexte initial (baseline) est déjà une bonne initiative, qui permet d’effectuer des Comparaisons Avant/Après.
Affirmer avec sûreté ce qu’une intervention a induit au niveau global (impact) n’est possible que si les corrélations et conséquences à ce niveau sont étayées de méthodes de mesure de l’efficacité rigoureuses. Ce qui est quasiment impossible dans la pratique. C’est pourquoi il est d’autant plus important de pouvoir démontrer le caractère plausible des liens de cause à effet.
Exemples de formulations de l’effet
Le Rapport devrait faire apparaître quelle conclusion découle de la mesure de l’efficacité effectuée.
- Effet clairement attribuable
La prestation de service a fait en sorte qu’avec l’offre Spitex dans la région x, jusqu’à 10% de plus des personnes âgées ont pu continuer à vivre chez elles. - Effet plausible
La prestation de service ou le projet a contribué à réduire le nombre de faillites dans la région x de … à … , soit de x%.
Approches alternatives
Combler la lacune d’attribution à l’aide de méthodes de mesure de l’efficacité rigoureuses coûte cher; ce n’est d’ailleurs souvent pas complètement possible, même à grand frais. En outre, la réduction aux seuls liens de causes à effet linéaires, sur laquelle repose cette méthode, fait l’objet de critiques.
Comme alternative ou complément, des méthodes participatives sont possibles, grâce auxquelles on peut recueillir des informations qualitatives sur l’effet d’une initiative sociale. Ces méthodes consistent essentiellement à demander aux groupes cibles ce qui a changé pour eux et à quelles influences ou à quel projet concret ils attribuent le changement en question.
Cette approche adopte l’angle de vision inverse à la logique strictement consacrée à l’input-output. Elle enregistre d’abord le changement général (impact brut), qui comprend en soi les facteurs externes et les effets secondaires. Ensuite, à l’aide de méthodes participatives, on étudie les causes de ce changement. Ainsi, l’on en arrive à examiner la conséquence nette d’une prestation de service ou d’un projet spécifique pour un groupe cible. Parmi ces procédés se référant au contexte, on trouve p. ex. la MAPP (Method for Impact Assessment of Programmes and Projects) ou celle du Most Significant Change. Ces méthodes partent en premier lieu des changements et expériences des groupes cibles. Dans la pratique, les méthodes alternatives sont parfois controversées, mais elles peuvent aussi être utilisées, en combinaison avec le Modèle logique. De cette manière, on peut notamment compléter les changements quantitativement constatés (Qu’est-ce qui a changé?) à l’aide d’informations qualitatives (Pourquoi est-ce que cela a changé?).
| Attention A cause de la pression liée à la légitimation, les mesures de l’efficacité sont souvent trop détaillées et interviennent trop tôt. Il est fréquent que des attentes trop élevées soient posées envers la mesure de l’efficacité, qui ne peuvent ensuite être remplies. Si des bailleurs de fonds ont une idée irréaliste sur la preuve de l’efficacité ou si des bailleurs de fonds différents ont des visions divergentes à ce sujet, il faudrait essayer de convenir ensemble d’une mesure de l’efficacité adaptée. Les organisations à but non lucratif qui ont elles-mêmes intégré une forme individuelle de mesure systématique de l’efficacité sont mieux placées que les organisations qui n’ont pas développé leur propre concept en la matière. |