Vous allez nous dire : « Mettre en place une démarche participative ce n’est déjà pas si simple, alors l’évaluer par-dessus le marché, c’est au-delà de mes ambitions ». Et pourtant… À quoi bon faire participer différents acteurs si l’on n’est pas capable de dire si cette participation a véritablement servi à quelque chose ? Si vous êtes d’accord avec cette rhétorique, nous vous invitons à aller jusqu’au bout de cet article. Son objectif est de vous montrer qu’évaluation ne rime pas avec dépression et que l’on peut adapter ses appréciations à la hauteur de ses ambitions. C’est parti !

Le B.A. BA

Le B.A. BA de l’évaluation d’une démarche participative, c’est être capable de dire combien de personnes ont participé à la démarche, s’il y avait plus de femmes que d’hommes, s’il n’y avait que des défenseurs de l’environnement et aucun représentant de la profession agricole, ou encore si un élu a monopolisé la parole et que les participants invités n’ont eu que cinq minutes pour s’exprimer. 

Comment faire ?

Évaluer les caractéristiques démographiques des participants

Dans un premier temps, demandez-vous ce que vous voulez savoir à propos des participants. Par exemple, si vous voulez savoir si les participants sont représentatifs de la population du territoire, quelles sont les données dont vous disposez sur la population du territoire afin de pouvoir les comparer avec les données que vous collecterez sur vos participants ? Si vous comptez utiliser les données de l’INSEE (Institut national de la statistique et des études économiques), vous pouvez ainsi utiliser les mêmes indicateurs que ceux utilisés par l’INSEE (par exemple pour l’âge : > 18 ans/19-24 ans/25-64 ans/65-79 ans/> 80 ans). Cela vous facilitera la comparaison par la suite. Il en est de même pour le genre, le lieu de résidence, la catégorie socio-professionnelle, etc.

Cela vous permet donc d’établir une liste de caractéristiques individuelles et des options associées que vous souhaitez connaître à propos des participants. 

Ex. de caractéristiques = âge, genre, lieu de résidence, catégorie socio-professionnelle, type d’usage(s) de la rivière, composition du foyer, activités associatives, numéro de téléphone ou email, etc.

Ex. d’options associées = pour l’âge : 18 ans/19-24 ans/25-64 ans/65-79 ans/> 80ans

Pour recueillir ces informations, plusieurs options sont possibles, chacune ayant ses avantages et ses inconvénients (tableau 1)

Ce tableau n’est bien sûr pas exhaustif. 

Et l’anonymat dans tout ça ?

Il est bien sûr possible d’organiser une démarche participative où chacun garde l’anonymat. C’est d’ailleurs le cas de la plupart des réunions publiques pour lesquelles aucune inscription n’est requise et auxquelles chacun peut participer et intervenir sans même avoir à se présenter. Il y a encore une fois des avantages et des inconvénients à cette option. D’un côté, cela permet par exemple de limiter les préjugés entre les participants (« lui c’est un écolo », « c’est un maire de droite »). D’un autre côté, vous ne pourrez pas justifier, si une décision est prise, si la salle n’était pas en fait remplie de membres de la Fédération nationale des syndicats d'exploitants agricoles ou de Green Peace qui sont venus faire pencher la décision en leur faveur. Plusieurs options sont possibles entre l‘anonymat absolu (personne ne sait qui est qui) et l’analyse démographique poussée. Il est par exemple possible pour l’organisateur de la démarche participative de collecter des données sur les participants, de leur présenter les résultats génériques (pourcentage de représentants de la société civile, pourcentage de représentants de l’administration, etc.) tout en maintenant l’anonymat des individus.

Le règlement général sur la protection des données (RGPD) donne des principes et des étapes à suivre dès lors qu’une organisation publique ou privée collecte et traite des données personnelles. Il s’agit notamment d’informer les participants sur le type de données collectées, dans quel but, par qui, qui a accès aux données et à qui elles seront communiquées, les durées de conservation des données, etc. (cf. «En savoir plus » à la fin de l'article) 

Suivre et évaluer le déroulement de la démarche

A minima, il s’agit de dire qui a participé à quel(s) évènements participatifs. Pour cela, vous pouvez tout simplement faire circuler une liste de présence comme évoqué ci-dessus ou proposer aux participants de se pré-inscrire ou de s’inscrire à leur arrivée. Les caractéristiques individuelles mentionnées ci-dessus ne seront collectées qu’une seule fois au début de la démarche. Lors des évènements suivants, seul le nom-prénom de la personne ou son numéro de participant (si vous avez choisi d’attribuer un numéro à chaque personne) lui sera demandé. Ces informations pourront ensuite être saisies dans un fichier Excel (une ligne par participant, une colonne par évènement, et dans chaque case 1 si la personne a participé à l’évènement, rien sinon). Cela permettra d’analyser rapidement le nombre de participants à chaque évènement, le taux de rétention (les participants qui sont venus au premier évènement sont-ils revenus par la suite ?) et la composition du groupe de participants à chaque évènement. Pour les pilotes de la démarche, ces données sont essentielles pour adapter le processus participatif chemin-faisant. Elles permettent par exemple de savoir s’il vaut mieux organiser un évènement le soir ou en journée en fonction des participants ciblés, si les évènements en amont du bassin versant ont attiré une catégorie socio-professionnelle particulière et ceux en aval une autre, etc.

Au-delà de ces données sur le nombre et les caractéristiques des participants et des évènements, il est également possible de suivre et évaluer le déroulement de la démarche, par exemple :

  • si tous les participants ont pu s’exprimer ;
  • si les documents nécessaires ont été mis à disposition des participants ;
  • si le facilitateur ou la facilitatrice a équitablement réparti les temps de parole ;
  • si des tensions ou des conflits ont émergé entre les participants ...

Il existe divers référentiels qui proposent des « éléments types » à évaluer pour définir si une démarche participative se déroule bien ou non. Vous trouverez par exemple dans ce numéro un encadré sur la boussole de la participation développée par le Cerema. Cette boussole est basée sur les valeurs et principes définis dans la charte de la participation du ministère de l’Environnement, de l’Énergie et de la Mer [1] (voir aussi l’article de Joana Janiw dans ce numéro). D’autres référentiels existent qui définissent les principes d’une « bonne » participation. Le plus connu dans la recherche sur la participation est celui de Gene Rowe et Lynn J. Frewer (2000) qui inclue neuf critères d'acceptation et de processus (traduction de l’anglais issue de Concertation Décision Environnement, 2009) :

  • critères d'acceptation :
    – représentativité des participants,
    – indépendance des participants,
    – engagement précoce,
    – influence sur la politique finale,
    – transparence du processus,
  • critères de processus :
    – accessibilité des ressources,
    – définition des rôles de chacun,
    – structuration et clarté du processus de décision,
    – rapport coût-efficacité.

Les pilotes de démarche participative peuvent utiliser un référentiel existant pour évaluer le déroulement de leur démarche. Ils peuvent également définir eux-mêmes les critères qui leur semblent les plus pertinents pour évaluer le bon déroulement de la démarche. Il peut être également pertinent d’associer un petit groupe de cinq à dix personnes pour y réfléchir, chacun ayant un point de vue différent sur ce qui constitue une « bonne » démarche participative. Ce groupe de pilotage du suivi-évaluation peut par ailleurs contribuer à garantir que ces principes de bonne participation, définis en amont, soient respectés tout au long de la démarche. Ils peuvent également contribuer à la collecte ou à l’analyse des données, ainsi qu’au partage des résultats.

Ces principes de bonne participation constituent souvent le contenu des chartes de la participation, qui sont ensuite communiquées et entérinées par l’ensemble des participants. Le suivi évaluation vient donc ici en appui direct à la mise en œuvre de la démarche participative.

Par ailleurs, les pilotes de démarche participative peuvent faire appel à un ou des garants de la participation, dont le rôle est précisément d’assurer de façon indépendante le respect des règles de participation, selon des principes généraux ou une charte locale. Le garant peut être une personne du territoire, qui se met alors en retrait de la démarche participative par neutralité. Il existe également des garants professionnels qui peuvent avoir un rôle officiel pour les procédures suivies par la Commission nationale du débat public.

Il ne s’agit pas seulement de définir les principes de bonne participation, il faut également collecter des données afin de savoir si ces principes ont été respectés ou non. C’est ce que va faire un garant ou un observateur de la participation. Par exemple, si un des principes est que chacun ait l’opportunité de s’exprimer, l’observateur va noter qui a pris la parole au cours des différents évènements, éventuellement pendant combien de temps, et si le facilitateur ou la facilitatrice a proposé aux personnes qui ne s’étaient pas encore exprimées de le faire. 

Évaluer les impacts de la démarche

Nous avons abordé dans les deux paragraphes précédents l’évaluation procédurale, c’est-à-dire du processus en tant que tel, par opposition à l’évaluation d’impacts, qui vise à mesurer les effets de la démarche sur les participants (ex. : est-ce qu’ils ont appris quelque chose ?), sur le projet ou la politique (ex. : est-ce que le projet a été modifié suite aux propositions faites par les citoyens ?) ou encore sur le porteur de la démarche lui-même (ex. : est-ce que le gestionnaire de l’eau met en place des approches participatives de manière plus systématique suite à cette démarche ?).

Le champ de l’évaluation d’impact est vaste. Comment ne pas s’y perdre ? 

Ce qui est important ici, c’est l’impact que vous voulez atteindre avec votre démarche sur votre territoire. C’est ce qu’il conviendra d’évaluer. Gardez en tête que différents acteurs peuvent avoir différentes visions de l’impact attendu de la démarche. C’est pourquoi nous vous conseillons de réaliser les étapes qui vont suivre avec un petit groupe de personnes qui seront en charge du suivi-évaluation (tableau 2). 

Plusieurs types d’impacts peuvent-être générés par les démarches participatives (et évalués !). Le tableau 3 en recense quelques-uns à titre indicatif.

La figure 1 présente quelques exemples de méthodes de suivi-évaluation simples à mettre en œuvre.

N’attendez pas d’avoir fini la démarche participative pour l’évaluer !

L’évaluation est d’autant plus utile lorsqu’elle est faite chemin-faisant. À quoi bon attendre la fin de la démarche et produire un beau rapport que personne ne lira ? (un peu de cynisme ne fait jamais de mal !).

L’évaluation chemin-faisant, ou in itinere pour les connaisseurs, permet notamment :

  • de savoir si le public qui participe est bien le public visé. Par exemple si la démarche vise les jeunes et que l’évaluation montre que les participants sont en majorité des cinquantenaires, cette évaluation chemin-faisant permettra d’adapter la démarche pour essayer de mieux toucher les jeunes, par exemple en passant par des réseaux sociaux en ligne, en faisant rentrer les ateliers dans le temps scolaire des lycées, etc. Vous allez me dire : le facilitateur aura bien remarqué si les participants sont plutôt ridés ou jeunets. Oui mais quid d’une démarche participative en ligne ? Et si ces données permettaient chemin-faisant de valoriser la démarche et d’attirer plus de monde ? Ex .: 250 jeunes de la commune ont déjà participé, vous aussi, venez donner votre avis !
  • de savoir si la démarche va dans la bonne direction et a bien les effets escomptés. Par exemple, dans le cadre d’un plan de gestion de la ressource en eau (PGRE) visant à mieux partager les ressources en eau sur un territoire où il en manque, l’évaluation peut permettre de se rendre compte chemin-faisant que les habitants pensent que ce sont les agriculteurs qui consomment le plus alors qu’en fait la majorité de la consommation d’eau est domestique. Le savoir permettra d’en discuter, de mettre les chiffres sur la table, et de chercher des solutions en connaissance de cause. Sans l’évaluation, les habitants auraient probablement proposé beaucoup de solutions orientées sur la réduction des consommations agricoles. 

Par ailleurs, la réflexion sur l’évaluation est très utile à la réflexion sur la démarche en elle-même. Comme nous l’avons évoqué ci-dessus, réfléchir à ce qu’est une « bonne » démarche participative du point de vue des différents acteurs impliqués est aussi utile à l’évaluation qu’à la construction de la démarche en elle-même.

Qui évalue ?

Différentes personnes peuvent contribuer à différentes étapes du suivi-évaluation. La réflexion sur les objectifs et les indicateurs, par exemple, peut être faite par un petit groupe de cinq à dix personnes dédié au suivi-évaluation, puis une ou plusieurs personnes extérieures peuvent être embauchées pour collecter et analyser les données. Les porteurs de la démarche participative peuvent également choisir de s’auto-évaluer et/ou de demander aux participants de le faire. Dans la plupart des cas, le suivi-évaluation est porté par une multiplicité d’acteurs. Cela permet de répartir les tâches et de valoriser la multiplicité des points de vue. Quels que soient les choix que vous ferez, chacun a des avantages et des limites. Par exemple, embaucher une personne extérieure permet d’avoir un regard plus « neuf » sur la démarche mais les participants hésiteront peut-être plus à se confier que s’il s’agit d’une personne qu’ils connaissent. 

Quels que soient les évaluateurs du processus participatif, nous considérons que le suivi-évaluation est toujours subjectif. Même dans le cas de l’embauche d’une personne extérieure, cette personne, de par son âge, son genre, son employeur, son origine géographique, et ses connaissances aura son regard propre sur la démarche. Les personnes qu’elle sollicitera pour collecter les données (participants, organisateurs) auront eux-aussi leur point de vue sur cette personne qui conditionnera au moins partiellement leurs réponses. Cette subjectivité fait partie intégrante du suivi-évaluation. Le tout est d’en faire un avantage plus qu'un obstacle et de la prendre en considération au moment de définir qui évalue.

En conclusion

Nous espérons vous avoir convaincus que l’évaluation d’une démarche participative peut se fondre dans la démarche participative elle-même : l’évaluation permet de se poser les bonnes questions au moment d’élaborer la démarche participative, elle permet de mettre en débat la multiplicité des points de vue et des attentes dès le départ et d’éviter d’éventuels conflits et déconvenues par la suite. L’évaluation permet également d’adapter la démarche chemin-faisant, par exemple si les participants ne sont pas ceux escomptés ou si le sujet de débat proposé ne répond pas aux problématiques qui préoccupent majoritairement les acteurs de terrain. Enfin, elle permet de valoriser les résultats et les impacts de la démarche en se basant sur des données concrètes (evidence-based en anglais).

L’évaluation d’une démarche participative n’est pas insurmontable, elle n’est pas réservée aux scientifiques ou aux experts. Elle est à la portée de qui s’en donne les moyens et elle peut être adaptée aux ambitions et aux ressources que l’on se donne. Il est tout à fait possible d’élaborer et de mettre en œuvre le suivi-évaluation d’une démarche du début à la fin ; tout comme il est possible d’en externaliser une partie ou de se reposer sur des guides et protocoles existants (la boussole du Cerema – voir l'article de Anne Hilleret dans ce même numéro, la démarche ENCORE proposée dans le tableau 3, les critères d’évaluation de Rowe et Frewer ou encore les ressources listées dans l'encadré « En savoir plus »). Un seul mot d’ordre : pouvoir répondre aux questions que l’on se pose, et rester ouvert aux surprises et aux effets inattendus que peut engendrer toute démarche participative. 

 


[1] https://www.ecologie.gouv.fr/sites/default/files/Charte_participation_public.pdf

Pour citer cet article :

Référence électronique :
HASSENFORDER, Emeline ; FERRAND, Nils, Évaluer une démarche participative, Revue Science Eaux & Territoires, Des démarches participatives pour penser ensemble la gestion de l’eau et des territoires, numéro 35, 2021, p. 90-95, 17/06/2021. Disponible en ligne sur <URL : http://www.set-revue.fr/evaluer-une-demarche-participative> (consulté le 22/10/2021), DOI : 10.14758/set-revue.2021.1.14.

Ajouter un commentaire

Télécharger au format PDF
↑ Haut de page