Deux études éclairent la mesure de l’impact social

Publiées à quelques semaines d’intervalle, deux études proposent de faire le point sur les pratiques de mesure de l’impact social au sein des organisations de l’ESS. Un sujet d’intérêt sur un plan scientifique, car la mesure d’impact repose sur un référentiel et des méthodologies spécifiques. Mais un sujet également politique au moment où « French Impact » – l’accélérateur national de l’innovation sociale lancé en janvier par le gouvernement – promet 1 milliard d’euros sur quatre ans pour aider les projets innovants à changer d’échelle, invitant les organisations concernées à se lancer dans ces démarches d’évaluation qui, dans les pays anglo-saxons, sont connues sous le terme du « pay by result » (financement au résultat). La première étude, « ESS et création de valeur : une approche prospective de la mesure d’impact social », est lancée par le labo de l’ESS et la Fonda, deux think tanks associatifs, en collaboration avec l’Avise, agence d’ingénierie pour développer l’ESS, et prévoit trois rapport d’ici au milieu de l’année 2019. Le premier volet est paru en janvier, faisant le point sur les pratiques et outils existants, leurs avantages et leurs limites. L’objectif, au terme de l’étude, est de proposer un référentiel prenant en compte les modalités émergentes de création de valeur. En effet, appliquée trop tôt ou de façon inadaptée, la mesure d’impact n’est pas dénuée de risques, notamment celui de brider l’innovation, or l’étude souhaite éviter de tels écueils.
Un sujet moins simple qu’il n’y paraît Mais qu’est-ce, au juste, que la mesure d’impact social ? Elle peut être comprise de deux façons. Au sens large, l’évaluation d’impact consiste, pour une structure, à mesurer son activité et les effets de celle-ci sur les bénéficiaires. Elle peut lui servir à améliorer son organisation en interne ou à dialoguer avec les parties prenantes en vue d’obtenir une meilleure reconnaissance, voire des financements. Stricto sensu, l’évaluation d’impact repose sur la théorie du programme (ou du changement), qui suppose une modélisation des liens de cause à effet entre les ressources et les activités réalisées, de sorte à estimer les changements générés chez les bénéficiaires.
Ainsi, l’enquête de satisfaction, qui mesure la perception des bénéficiaires sur la qualité des services fournis, n’est pas une mesure de  l’impact ; pas plus que l’enquête de résultats, qui décrit des changements intentionnels ou non, positifs ou négatifs, survenant à court, moyen ou long terme pour l’ensemble des bénéficiaires à la suite d’une action. Au sens strict, la mesure d’impact est la caractérisation scientifique de la part des résultats attribuables à l’action évaluée.
L’événement organisé le 8 mars par KPMG permettait de saisir l’étendue de cette nuance. Le cabinet de conseil et d’études présentait son deuxième baromètre de la mesure d’impact social, élaboré grâce aux réponses d’associations et d’entreprises sociales, à l’occasion d’une demi-journée de tables rondes et de débats avec les acteurs de l’ESS. Une centaine de personnes représentant tout type d’acteurs de cet écosystème – mutuelles,secteur sanitaire et social, associations, banques, organismes de crédit, fondations, consultants et accompagnateurs – s’étaient déplacées. Le baromètre a révélé que 53,1 % des opérateurs sociaux et 55,5 % des bailleurs de fonds déclarent mener des démarches de mesure d’impact social. Mais la mesure de l’impact social stricto sensu est mise en œuvre par... 5,6 % d’entre eux.
Deux témoignages d’organisations de l’ESS à vocation sociale ayant mis en œuvre une démarche de mesure d’impact ont permis de comprendre les enjeux de cette mesure, mais aussi sa complexité – voire ses risques. Thierry des Lauriers, directeur de « Aux captifs la libération » (55 salariés et 200 bénévoles), une association qui va à la rencontre des personnes dans la rue (sans-abri et prostituées) pour les accompagner, si elles le souhaitent, vers une existence plus digne, a d’emblée expliqué sa vision prudente. « C’est notre détachement de l’efficacité qui fait notre efficacité, et nous refusons par principe de répondre à la question “combien de personnes sortez-vous de la rue ?”, car le sentiment de dignité que nous apportons n’est pas mesurable, chiffrable », a-t-il expliqué, enchaînant sur un autre point important à ses yeux : évaluer le coût social évité ne doit pas faire partie de la mesure de l’impact social. « Cependant, les financeurs nous interpellent sur ce sujet, et nous avons décidé de prendre la main pour ne pas nous faire imposer des outils inappropriés », a-t-il poursuivi. L’association a donc élaboré, grâce à la constitution d’un échantillon de trente personnes, un premier tableau de suivi d’évolution (« regarde dans les yeux quand on lui parle », « accepte de parler », etc.), afin d’acter les étapes positives de la relation. Pour aboutir à une mesure, l’association accueillera un jeune chercheur dans le cadre d’un contrat Cifre pendant trois ans. Un soutien qui n’est pas à la portée de tous les acteurs de l’ESS...

L’exemple d’une mesure randomisée
Le second exemple venait de l’Association nationale des groupements de créateurs (ANGC), qui accompagne des jeunes de moins de 25 ans vers l’emploi, non pas en les orien- tant vers les besoins du marché au prix d’une formation, mais en prenant appui sur leurs projets. « Nous sentions bien que nous faisions mieux que d’autres organismes avec nos valeurs et notre méthode, mais il nous fallait convaincre les financeurs. Alors nous avons décidé de mesurer notre impact social sur la base d’une étude randomisée », explique Cécile Campion, directrice. Coût : 400 000 euros (pris en charge par des organismes spécia- lisés) – et d’importantes questions éthiques, car une telle étude a nécessité la constitution de deux groupes de 400 jeunes éligibles, mais dont l’un est resté sans accompagnement pour servir de groupe-test. L’étude, menée sur cinq ans, a démontré un impact meilleur que les missions locales, et les financements ont permis de passer de 14 à 27 antennes en France de 2017 à 2018. La table ronde qui a suivi a permis un dialogue avec la salle sur ce sujet moins simple qu’il n’y paraît. Thierry Racaud, directeur des études de l’Adie (Association pour le droit à l’initiative économique), a rappelé que le caractère scientifique de la mesure d’impact social est en partie un mythe, car les définitions diffèrent selon les pays. Marine Leenhardt, responsable innovation et évaluation de la Fondation du Crédit coopératif, a souligné l’importance de commencer de façon graduelle, par des évaluations de résultat, par exemple, pour se familiariser avec la collecte des données. Les questions de la salle ont fait émerger l’idée que les entreprises sociales naissent, innovent et se développent pour répondre à des besoins non ou mal pris en compte par les pouvoirs publics ou par le marché ; elles ont donc un impact intrinsèque. Il est toujours possible d’aller plus loin et de mesurer cet impact... en gardant à l’esprit qu’il s’agit d’une démarche lourde, coûteuse et complexe, qui peut susciter des tensions en interne si elle apparaît intrusive et imposée. Sans oublier qu’une démarche de mesure d’impact mobilise des ressources humaines et détourne du cœur de l’activité. Mais les organisations de l’ESS auraient-elles encore le choix si la puissance publique en faisait un préalable à toute forme de soutien et de financement ?

Lisa Telfizian