Des repères pour évaluer une action

Il est toujours très complexe d’évaluer un projet de médiation. Les puristes diront qu’il faudrait un suivi avec un « groupe témoin » pour être sûr des bénéfices que l’on peut vraiment imputer au projet en lui-même. Certains évaluent selon le contentement de chacun, d’autres y renoncent parce qu’ils ne voient pas comment s’y prendre. Essayons de donner quelques axes de travail pour y parvenir.

L’évaluation quantitative

L’évaluation quantitative est en générale la plus simple à faire : elle consiste à fixer un objectif chiffré en amont du projet et à rapporter le chiffre réalisé en fin de projet. Cette évaluation peut porter sur un nombre d’actions menées, de bénéficiaires touchés, un taux de rotation, de fréquentation, un nombre de manifestations etc. On ne s’attardera pas sur ce point, qui ne pose souvent pas de difficulté particulière.

Le baromètre de satisfaction

L’une des façons spontanées d’évaluer un projet consiste à mesurer la satisfaction des participants et/ou des meneurs de projets (enseignants, bibliothécaires, auteurs, artistes, etc.), soit par l’observation et l’interprétation de ce qu’ils ressentent (« les jeunes étaient très contents »), soit en écoutant leurs propos de façon informelle, lors d’une restitution par exemple. Ce baromètre affectif est gratifiant et utile si le projet a parfois été laborieux : il permet de terminer sur une note enthousiaste et encourageante pour l’année suivante. En revanche, il ne rend pas compte de l’action. Un projet peut satisfaire tous les contributeurs sans avoir atteint ses objectifs, et inversement, il peut concorder avec ce qui était prévu mais avoir été mal reçu par les bénéficiaires ou par ses meneurs, sur le terrain.

Questionnaires, bilans, entretiens : comment faire ?

A la question « évaluation », répond souvent « questionnaire », « bilans », « réunions »… On a tendance en effet à substituer la forme au fond, le support au contenu. Les questionnaires ou les bilans, par exemple, sont avant tout des moyens de réunir des informations et des analyses de ce qui s’est passé lors du projet. Ils ne permettent pas, en eux-mêmes, de l’évaluer. Ce sont des outils de collecte de données. Ils doivent s’adapter à ce que l’on cherche.

Que cherche-t-on à évaluer ?

C’est la question centrale de l’évaluation. Avant d’évaluer un projet, il faut avoir une hypothèse à valider ou à invalider, un objectif déterminé. C’est ainsi que l’on peut mesurer s’il a été atteint. Cela peut paraître évident mais c’est la condition sine qua non pour y arriver. L’injonction au montage de projets, à l’accueil de classes ou au partenariat, pourrait parfois conduire à lancer des actions sans avoir, au préalable, bien déterminé :

• les besoins auxquels il répond,
• les objectifs qu’il vise,
• les moyens qu’il déploie pour y parvenir.

Or, ce sont des données essentielles pour conduire un projet cohérent, plus encore lorsqu’il est réalisé en partenariat entre plusieurs structures. L’évaluation peut porter sur des éléments distincts : on peut vérifier la concordance ou la discordance entre les objectifs visés et les résultats. Lorsqu’il y a des écarts, peut-être peut-on repérer des bénéfices inattendus ? Mesurer l’adéquation entre les moyens utilisés et les résultats obtenus est un des pans possibles de l’évaluation. S’attacher aux modes de collaborations et au fonctionnement du projet pour en détailler les points forts et les faiblesses ou interroger ses bénéficiaires sur la réception qu’ils en ont eue, font aussi partie de l’évaluation. En d’autres termes, il faut circonscrire dès le départ le ou les éléments sur lesquels on portera son attention : objectifs/résultats ; moyens/fonctionnement ; diagnostic/impact sur les bénéficiaires… Plusieurs structures partenaires n’auront pas forcément les mêmes objectifs et n’évalueront pas nécessairement les mêmes éléments.

Quand évaluer ?

L’évaluation est souvent associée à la phase finale des projets. Mais si l’on repose sur les questions que l’on vient de citer, on comprend qu’elle puisse se situer à des moments clés différents. Un phasage du projet permet de bien cibler les étapes auxquelles on pourra mesurer des résultats pertinent.

Créer des outils ou des repères

Pour ce faire, il faut déterminer des indicateurs, c’est-à-dire s’aider d’outil qui permettront de montrer une progression, un accroissement ou une diminution, un changement, une action déclenchée chez les bénéficiaires par le projet en cours, etc. L’hypothèse de départ permet de créer des indicateurs pertinents. Parmi ses objectifs, une médiathèque veut donner envie de lire à des jeunes à l’occasion de tournois de jeux vidéo (qui sont un moyen pour y parvenir), en leur présentant une offre de livres. Elle décide d’évaluer les bénéfices de l’action sur les jeunes en prenant pour indicateur leur taux d’emprunt (quantitatif) et leur feuilletage des livres sur place (observation). Elle veut aussi rendre compte de la partie immergée du projet, à savoir la collaboration opérationnelle avec une association spécialisée dans les jeux vidéo. Pour ce faire, elle prend pour repère le nombre de réunions, les engagements listés par chaque partie dans la charte de partenariat au début du projet, le calendrier prévisionnel, etc. qui sont autant d’indicateurs possibles.

Pour conclure cette brève note sur l’évaluation

Un même projet peut être évalué tout à fait différemment selon les objectifs qu’on lui assigne et ce que l’on cherche à mesurer. Une bonne nouvelle, donc puisque cela signifie que c’est au porteur de projet qu’il revient de déterminer ce qu’il souhaite évaluer. Lorsque l’objet de l’évaluation est bien défini, il peut déterminer ou créer des indicateurs qui l’aideront, et choisir les outils les plus adaptés pour relever les informations du terrain (observation ; entretiens individuels, en groupe ; questionnaires ; tableaux de bord…) puis les moments propices auxquels collecter les informations. Ensuite, vient la phase d’analyse. On l’aura compris, l’évaluation demande du temps. Il faut donc l’intégrer dans le planning du projet et y réfléchir en parallèle avec les objectifs.

Sonia de Leusse, directrice, Lecture Jeunesse