L’évaluation d’impact en éducation au développement

Contexte, spécificités, méthodes, et recommandations
En tant qu’acteur visant le changement social, Oxfam-Magasins du monde mène de nombreuses activités éducatives et politiques en faveur d’un modèle économique plus juste. Ces activités s’inscrivent dans l’éducation permanente et l’éducation au développement, visant toutes deux une meilleure compréhension du monde ainsi que des changements individuels et collectifs en vue de la transformation sociale.
Une campagne fait place à une autre, les interpellations politiques se succèdent, les animations se répètent, les outils pédagogiques s’étoffent.
Dans le tourbillon de ces activités, il apparait nécessaire de pourvoir prendre un pas de recul et de s’interroger sur leur impact. Comment mesurer les effets de ces actions sur l’objectif final ? Les actions mises en place sont-elles adéquates pour atteindre cet objectif ? Et comment influent-elles sur ce changement global souhaité ?
Vaste chantier qui s’inscrit dans une tendance actuelle à évaluer tout, à tout bout de champ. Cette « culture de l’évaluation » est relativement récente dans le domaine de l’éducation au développement et elle pose de nombreuses questions. Ce sont ces questions, ces défis, que nous tenterons de relayer ici.

L’évaluation, c’est quoi ?

Evaluer, comme le souligne Thierry De Smedt [[highslide](1;1;;;)
Professeur au département de communication de l’UCL et membre du groupe de recherche en médiation des savoirs (GreMs).
[/highslide]]

consiste à se poser la question du sens de ce qui se fait. Évaluer est donc un acte de liberté, un acte d’autonomie car il permet de décrire, de clarifier ce qui a été entrepris. L’évaluation oblige à se mettre en question constamment et à évoluer.

Dans le cas qui nous intéresse, à savoir évaluer l’impact d’un processus éducatif, il s’agit de mesurer s’il y a eu changement, si l’action entreprise a permis de faire évoluer des comportements et des attitudes, et non seulement des connaissances. Il ne s’agit donc pas de mesurer des activités, mais bien les changements opérés par la mise en place de ces activités.

Les risques et dérives

Avant d’aller plus loin, il apparait nécessaire de poser quelques précautions à ce travail d’évaluation d’impact.
Dans le domaine de l’éducation au développement (ED), et dans le milieu socioculturel en général, le questionnement sur l’évaluation apparait, entre autres, suite aux incitations des pouvoirs publics. En effet, les bailleurs de fonds souhaitent que les ONG présentent leur programme d’activités dans une optique de gestion axée résultats (GAR), ce qui exige de définir de manière claire et cadrée les objectifs, résultats et indicateurs.
Sans remettre en cause la nécessité de clarté sur l’utilisation des fonds publics, et si l’on se réfère à la définition de l’évaluation donnée par Thierry De Smedt précédemment citée, cette optique empêche de pouvoir « sortir du cadre », d’évoluer en apprenant de ses pratiques, d’observer des effets inattendus d’une activité.
On met donc le doigt ici sur une première dérive de l’évaluation : confondre le fait de devoir « rendre des comptes » et la « capitalisation d’expériences ». Comment concilier, comme l’expose Adélie Miguel Sierra [[highslide](2;2;;;)
Evaluer les apprentissages en vue des changements sociaux, in Traces de changement, n°196, Evaluations, juin 2010.
[/highslide]] , de manière constructive la nécessité d’apprendre de sa pratique à partir d’une méthodologie d’évaluation cohérente avec les principes de l’ED et l’obligation de rendre compte aux différents bailleurs de fonds sur la pertinence de son action à partir d’un cadre imposé ? La réponse : il vaut mieux choisir. Même avec les moyens restreints dont disposent les ONG.
Le second risque, lié au premier, touche à la manière d’évaluer. Si l’objectif de l’évaluation est de rendre des comptes aux bailleurs de fonds, sans doute le cadre logique est-il approprié. Mais sa vision linéaire du changement, sans effets inattendus possibles, et basée sur le fait que tout soit quantifiable, ne permet pas de réellement réfléchir sur ses pratiques. Et bien que les indicateurs quantitatifs soient une première base d’indication, la dérive vers l’impératif de quantification est grande.
Et cette vision de l’évaluation comme une logique coût-bénéfice est dangereuse. Regarder si les résultats ont été atteints (souvent de manière quantitative) a peu de sens si on n’essaie pas de comprendre pourquoi ces changements ont eu lieu. La logique de résultats [[highslide](3;3;;;)
Brigitte Gaiffe, Concilier le conciliable, in Antipodes, n° 191, Iteco, décembre 2010.
[/highslide]]

limite l’émergence de nombreux apprentissages issus du processus éducatif en lui-même et du contexte social et culturel dans lequel il s’insère, ainsi que des interrelations entre les acteurs en présence. La prise en compte de l’imprévu permet de découvrir des effets inattendus, souvent porteurs de sens.

Il faut donc explorer d’autres voies, imaginer d’autres méthodes.

Spécificités en ED

Ces précautions posées, voyons maintenant ce qui constituent les spécificités de l’évaluation d’un processus éducatif en ED.
Jeffs et Smith [[highslide](4;4;;;)
Jeffs et Smith, M.K., Informal Education, Educational Heretics Press, 2005.
[/highslide]] identifient quatre points d’attention particuliers en ce qui concerne l’évaluation dans le cadre de l’éducation non formelle. Il est intéressant de les reprendre ici, tant ils soulèvent des questions qu’il faut impérativement prendre en compte lorsque l’on met en place un processus d’évaluation.

1. La question des influences multiples. Une action éducative n’arrive jamais seule, et ne peut être isolée d’autres facteurs qui peuvent influer sur le comportement d’un individu.
2. La question de l’impact indirect. Il est possible d’identifier les personnes avec lesquelles on travaille directement, mais elles-mêmes ont une influence sur d’autres personnes. Cet impact indirect est quasiment impossible à quantifier.
3. La question de la preuve. Il est extrêmement rare de pouvoir suivre le changement, même sur une base individuelle. Il faudrait pour cela mesurer un état X chez l’individu et mesurer son état Y, après intervention de l’action éducative. Et s’interroger sur « pourquoi » ce changement a eu lieu.
4. Le quatrième point d’attention se réfère au problème de calendrier. Le type de changement qui intéresse les acteurs de l’ED ne se produit pas du jour au lendemain. Les changements de valeurs et de comportement sont difficiles à évaluer, surtout quand ils se produisent. Comme c’est la transformation sociale qui est visée, le changement s’effectue sur le long terme.

Notons encore un dernier point particulier de l’ED. Nous souhaitons construire avec les individus une meilleure compréhension du monde; nous souhaitons également qu’ils puissent développer une réflexion critique sur les enjeux abordés (mondialisation, inégalités, justice économique, etc.), ainsi que sur leur positionnement. Comment, dès lors, évaluer de manière purement objective, quantifiable, fonctionnelle, un positionnement subjectif que nous demandons nous-mêmes aux individus de construire ?
Le choix des méthodes utilisées pour évaluer doit refléter cette subjectivité inhérente au processus d’ED lui-même. Il doit aussi tenir compte des quatre points d’attention précédemment évoqués.

Des méthodes qualitatives, participatives, dialogiques

En juillet 2009, une étude [[highslide](5;5;;;)
Capitalisation des pratiques d’évaluation en éducation au développement, étude commanditée par ACODEV, juillet 2009.
[/highslide]] a été commanditée par ACODEV pour faire état des pratiques d’évaluation en éducation au développement en Belgique francophone. Les constats qu’elle pose sont intéressants à plus d’un titre. Nous en relevons quelques-uns, de manière non-exhaustive.

• L’analyse des méthodes et outils mis en place par les ONG montre que la plupart d’entre elles cherchent avant tout à évaluer les changements de connaissances et non de comportement.
• La plupart du temps, les méthodes mises en place ne permettent pas d’évaluer l’impact de changement d’une action (avant-après) mais seulement son effet présumé (après).
• Il est difficile d’objectiver des changements immatériels tels que les représentations, attitudes ou comportements.
• La plupart des ONG éprouvent des difficultés méthodologiques et techniques ; elles expriment un besoin de renforcement, essentiellement sur les questions d’impacts à long terme des actions en ED.

Face à ces constats, et même s’il existe peu de cadre de référence sur lesquels les ONG s’appuient pour établir les termes de références des évaluations en ED, il est nécessaire de chercher à dépasser les méthodes conventionnelles (approche documentaire, questionnaires, entretiens individuels) pour construire des méthodes plus participatives et dialogiques.
En se basant sur le travail de Paolo Freire et de Joanne Rowland, Mark Smith [[highslide](6;6;;;)
Mark Smith, Evaluation, in Encyclopedia of informal education, 2001-2006.
[/highslide]] définit 4 caractéristiques d’un travail d’évaluation dialogique :

1. L’évaluation fait partie d’un modèle de réflexion-action du changement.
2. L’évaluation donne de l’autonomie (du pouvoir d’action) aux participants lorsque les conclusions et les recommandations sont fondées sur un consensus entre les parties.
3. Le dialogue et la recherche, plutôt que la mesure, sont au cœur de l’évaluation.
4. L’évaluateur est un facilitateur plutôt qu’une personne extérieure objective et neutre.

Il s’agit donc d’abord de définir le cadre de référence dans lequel on se trouve : quelles hypothèses de changement faisons-nous ? Expliciter le modèle de changement auquel on se réfère est nécessaire pour évaluer correctement son action. Beaucoup d’ONG belges font référence au « continuum éducatif » [[highslide](7;7;;;)
Modèle pédagogique basé sur un enchainement (pas nécessairement linéaire) « sensibilisation-conscientisation-mobilisation/action-consolidation ».
[/highslide]], de manière plus ou moins explicite, pour construire leurs actions éducatives. La mesure de changement s’inscrit ici davantage dans une approche individuelle. A la différence de la « grille de Bengoa »[[highslide](8;8;;;)
Voir à ce propos : J. Bengoa, L’éducation pour les mouvements sociaux, in Antipodes n° spécial « L’action sociale pour faire quoi ? », Iteco, 1996.
[/highslide]], qui permet, elle, de s’inscrire dans une mesure du changement social. Les divers cadres théoriques issus de la pédagogie, de la sociologie ou de la communication doivent inspirer la réflexion des acteurs d’ED.
Il s’agit également d’inclure les apprenants et les formateurs dans le processus de recherche et d’évaluation, plutôt que de faire une évaluation sur eux. Ces approches participatives les incluent pleinement au travail d’analyse.
A titre d’illustration, citons la méthode de « recherche-action », qui, selon Mark Smith, permet d’inclure la recherche et l’évaluation participative dès le début d’une action d’éducation. La recherche-action, c’est [[highslide](9;9;;;)
Bogdan, R. et Biklen, S., Qualitative Research for education, Boston : Allyn and Bacon, 1992.
[/highslide]]

la collecte systématique d’informations conçue pour révéler les changements sociaux.

A la différence d’une méthode plus traditionnelle dans laquelle un expert externe (ou l’éducateur tout seul) recueille l’information, l’organise et en tire des conclusions quant à la réussite ou non de son action, la démarche de recherche-action intègre les participants dans le processus-même d’évaluation. [[highslide](10;10;;;)
Mark Smith, Plaidoyer pour la recherche-action, traduit de l’anglais par Brigitte Gaiffe, in Antipodes, n°191, Iteco, décembre 2010.
[/highslide]]

Nous les encourageons à réfléchir sur les processus auxquels ils ont participé, aux changements qu’ils peuvent constater et ainsi de suite.

L’évaluation s’intègre ici dans l’action, dès le départ.
Cette méthode permet également de contourner les problèmes identifiés plus haut, qui font la spécificité des actions d’éducation non-formelle (problème des influences multiples, de l’impact indirect, de la preuve et du calendrier).
Dans le but de contourner également ces problèmes, Mark Smith propose par ailleurs d’établir des liens entre nos activités en tant qu’acteurs éducatifs et la recherche théorique. Des références à la littérature existante permettent de répondre à certaines interrogations posées par les acteurs éducatifs ou les bailleurs de fond.

Recommandations

Si l’évaluation nécessite du temps et des moyens (humains et financiers), elle n’en reste pas moins nécessaire à notre travail d’éducation. Bien qu’il soit nécessaire de ne pas tomber dans le piège du « tout à l’évaluation », il s’agit ici d’un réel défi pour les acteurs de l’éducation au développement.
Les recommandations ci-dessous sont à partager avec les autres organisations du secteur, dans le but d’alimenter les réflexions, et de partager les expériences.
Une méthodologie nouvelle doit être mise en place pour faire face aux risques et spécificités de nos actions.
Une méthodologie qui se distingue du modèle linéaire mis en place à l’initiative des bailleurs de fond (cadre logique, GAR).
Une méthodologie qui tienne compte des processus pédagogiques à la base de l’éducation au développement, de ses spécificités et ses finalités. La recherche-action en est un exemple.
Une méthodologie qui explicite d’abord le modèle de changement dans lequel nous nous inscrivons, en l’enracinant dans des cadres théoriques (ceux de la pédagogie, de la communication, de l’apprentissage, du changement de comportement, du changement social, du développement). A titre d’exemple, le continuum éducatif, la grille de Bengoa pour ne citer qu’eux.
Une méthodologie basée sur l’expérience et l’expertise des acteurs du Sud, en matière d’éducation populaire.
Une méthodologie qui doit également se mettre en place avec d’autres acteurs du Nord dans le secteur de l’ED. Par exemple, mesurer l’efficacité commune de l’ensemble de nos actions d’ED, établir des baselines communes de manière macro, etc.
Une méthodologie qui soit travaillée dans un espace organisationnel dans lequel puissent émerger ou être traitées de façon collective les questions d’évaluation.
Une méthodologie qui, de ce fait, soit partagée au sein même de l’organisation. Proposer par exemple un guide de l’évaluation et de suivi ; systématiser la récolte d’information, etc.
Une méthodologie qui permette la capitalisation des expériences. Il ne suffit pas de faire des évaluations, mais il faut savoir à l’avance ce qu’on va en faire, à quoi elles vont servir, comment les résultats vont être partagés avec les acteurs concernés.
Enfin, une méthodologie qui a pour but, à terme, de permettre d’améliorer l’ancrage et la mobilisation sociale en vue de relations Nord-Sud plus justes.
Le chantier est ouvert…
Géraldine Dohet
Service Education