Mesurer l’impact est indispensable à toute démarche de responsabilité sociale et environnementale. Mais la mesure est pleine de pièges où va se nicher le greenwashing. Dans ce premier épisode, nous identifions les principaux pièges et quelques pistes très concrètes pour les surmonter.

Pourquoi mesurer l’impact ?

Mesurer l’impact sert d’abord à décider , arbitrer, arrêter les projets peu impactants et être ainsi plus frugal :

• au niveau d’un produit,  pour prioriser entre fonctionnalités ou expérimentations. Par exemple, sur la Startup d’Etat France Chaleur Urbaine, nous priorisons la prospection sur les réseaux de chaleur ayant le plus fort potentiel d’économies de CO₂ ;
• au niveau d’un portefeuille de produits, pour allouer les ressources (financières, humaines) sur les produits en fonction de leur potentiel. Ainsi, avec le contrat à impact l’Etat rembourse les investissements privés ou publics en fonction de l’impact mesuré.

La mesure d’impact permet aussi de communiquer :

• rendre compte aux parties prenantes : les financeurs, mais aussi les contribuables ou le public, notamment dans le cas de financements publics ou citoyens, à travers des rapports d’impact comme celui de toogoodtogo. Rendre compte va devenir progressivement plus contraignant par la legislation, autant s’y mettre aujourd’hui.
• convaincre :  la mesure d’impact peut être un argument marketing fort pour rassurer et embarquer des utilisateurs, financeurs, donateurs.

On voit ici les risques de manipulation des chiffres dans un objectif de communication.

Les pièges de la mesure … et nos conseils

Piège 1 : Eviter les métriques de vanité

Comme nous le rappelle le fameux proverbe chinois, le premier piège est de confondre impacts intermédiaires et long terme. C’est ce qu’on appelle les “métriques de vanité”, par exemple le nombre d’inscrits à une application de formation plutôt que l’acquisition réelle de nouvelles compétences.

💡 Conseil :

Modélisez votre graphe d’impact (aussi appelé théorie du changement) pour expliquer la chaîne entre

• activités (ex. : développement d’application, community management, ..),
• résultats (outputs : ex. une application, une communauté d’inscrits),
• effets court terme (outcomes : le suivi de formation,…)
• impact long terme (ex. acquisition de compétences, taux d’emploi, …). C’est bien celui-ci  qui est le plus important à évaluer.

Voir cet exemple de théorie du Changement pour un programme de fermes locales (source)

Piège 2 : Comment être sûr qu'on y est pour quelque chose ?

Comment s’assurer que l’impact obtenu est attribuable à notre action et non à des facteurs extérieurs ? Bob l’emploi, site de conseil à l’emploi, déclare sur sa page métrique : “42%

des utilisateurs de Bob nous ayant indiqué avoir retrouvé un emploi considèrent que Bob y a contribué”. Las. Face à ce sondage déclaratif douteux, une étude d’impact rigoureuse par le CREST conclue “Nous  n’observons  aucun  effet  ni  sur  l'accès  à  l'emploi,  même

temporaire, ni sur les montants d'indemnisation versés” (source)

💡 Conseil 1 : comparez avec un groupe témoin de référence sur la même période,  ne vous contentez pas de mesurer une amélioration sur votre population pilote alors que des facteurs externes ont pu améliorer la situation pour tous.

💡 Conseil 2 : faites appel à des statisticiens pour avoir une démarche scientifique inspirée des méthodes d'évaluations médicales ou sociales (comme l’a fait le Crest), notamment pour avoir un échantillonnage statistiquement représentatif et un protocole sans biais. A noter que ces 2 conseils ne s’appliquent que si votre produit a une base d’utilisateurs conséquente pour adopter une démarche statistique.

💡 Conseil 3 : justifiez vos hypothèses.  Les liens de causalité qu’on imagine sont basés sur des hypothèses fortes à expliciter et justifier, comme le fait l’ADEME sur cette étude d’impact de l’allongement des appareils électroniques :

Piège 3 : Attention aux omissions et effets rebond (ou comment cacher la poussière sous le tapis…)

Google se dit neutre en carbone depuis 2007. Attention au mensonge par omission : Google ne prend en compte que ses activités directes (scope 1 et 2 du bilan carbone selon l’Ademe), ignorant l’impact bien plus important du scope 3 : les tonnes de marchandises superflues boostées par son modèle publicitaire.

D’autre part, les experts nous alertent de plus en plus sur le risque d’”effets rebond” :  quand une optimisation énergétique incite à surconsommer. Par exemple,  le covoiturage génère plus d'émissions globales de voyages , les rénovations thermiques en allemagne a incité les allemands à monter la température de leurs logements.

💡 Conseil : brainstormer sur les effets indirects et les effets rebond, en recherchant la littérature scientifique sur le sujet et en conviant des experts du secteur et des sociologues.

Piège 4 : comment mesurer un effet retard ?

La dimension temporelle est aussi un défi : comment prendre des décisions rapidement quand le résultat de nos actions ne pourra être mesuré qu’à long terme (par ex. la réduction de diabètes dans 40 ans).

💡 Conseil : suive un indicateur avancé, prédictif de l’impact final en étant facilement mesurable rapidement qui vous servira d’”Etoile du Nord” pour vous guider au jour le jour. Cela peut être le taux de mauvais cholestérol prédictif de complications diabétiques, voire même l’engagement sur une application mobile de coaching médical, si une étude prouve la corrélation à la réduction du diabète.

💡 Conseil : analyse par cohortes, consiste à suivre des groupes d’utilisateurs ayant suivi des expérimentations différentes, pour comparer les résultats plusieurs mois (ou années) après. Pour un site web ou mobile, les outils d’analytics offrent des fonctions d’analyse par cohorte.

Cohort analysis (source Clevertap.com)

Piège 5 : Mélanger des choux et des carottes

Faut-il ajouter de la vidéo consommatrice de CO₂ pour augmenter la rétention de formation en ligne améliorant l’employabilité ? Les impacts sont hétérogènes : économiques, environnementaux, sociaux ou sociétaux. Comment additionner des choux et des carottes pour prendre une décision ?

💡 Piste 1 : convertir en euros. C’est le paradigme de la comptabilité écologique, qu’on retrouve dans la valeur tutélaire du CO₂ des rapports Quinet, dans la méthode EP&L de PWC (Environmental Profit & Loss), ou la méthode Goodwill (décrite dans le prochain épisode)

Attention à bien justifier les hypothèses de conversion. Combien vaut la tonne de CO₂ économisée, son prix sur le marché carbone ? D’autres comme Thierry Rayna de la Chaire IPP critiquent la simplification de cette valorisation monétaire qui masque ses hypothèses souvent politiques. En outre, l’impact peut être mesurable de façon plus ou moins subjective comme le bien-être, ou l’éducation. Dès lors, le risque est de mal mesurer ou pire de négliger ce qui est difficilement quantifiable.

💡 Piste 2 : assumer des choix politiques. Etre transparent sur ses arbitrages entre différents impacts, par exemple entre émissions de gaz à effet de serre et pouvoir d’achat. Voire même les mettre à délibérer de façon publique, via un comité d’éthique comme celui de l’INRIA, ou un panel citoyen, comme celui de la convention citoyenne pour le climat.  Comme le résume l’infectiologue Valérie d’Acremont “On est arrivé aux limites des choix basés uniquement sur la science. Nous sommes au moment des choix de société. Les citoyens doivent pouvoir prendre part à l’élaboration de leur futur.”

Source www.conventioncitoyennepourleclimat.fr

Piège 6 : Faire une usine à gaz incompréhensible

A vouloir prendre en compte toute cette complexité, on risque d’accoucher d’une usine à gaz difficile à interpréter, ce qui entraîne défiance par rapport aux indicateurs. Comment comprendre facilement. Mais comment simplifier sans être simplificateur ?

source

💡 Conseil : avancer par petits pas de façon agile : commencer humblement en identifiant

• l’impact principal à long terme
• l’indicateur avancé qui lui soit corrélé : ce sera l’indicateur “Etoile du Nord” à suivre au jour le jour
• discuter régulièrement des résultats et de leur pertinence dans l’équipe et avec les parties prenantes

Conclusion

Mesurer l’impact est nécessaire pour décider et communiquer,  mais difficile ! Nos conseils :

1. Définissez vos impacts long terme
2. Utilisez les méthodes statistiques (groupe témoin, et expertise)
3. Brainstormez sur les omissions et effets rebonds
4. si l’effet est tardif, identifiez un indicateur avancé comme étoile du nord, et analysez par cohortes pour suivre dans le temps
5. si vous mesurez plusieurs facteurs, explicitez votre mode de comparaison, soit les hypothèses de conversion en €, soit un arbitrage politique explicite
6. avancez par petits pas