Toute politique publique nécessite une évaluation. En ce qui concerne la Trame verte et bleue (TVB), un groupe de travail initié par le ministère en charge de l’environnement a produit en amont de la rédaction des schémas régionaux de cohérence écologique (SRCE), des propositions pour concevoir cette évaluation. Ces propositions ont permis de mettre à disposition des acteurs territoriaux un ensemble de questions évaluatives et d’indicateurs, centrés sur les objectifs communs des SRCE, et des règles d’organisation du dispositif. Au-delà de la présentation du cadre méthodologique retenu, les auteurs de cet article s’interrogent sur les perspectives d’amélioration et d’appropriation du dispositif dans un contexte de forte évolution législative de la TVB.

En 2008, l’évaluation des politiques publiques entre dans la Constitution (article 24). Cette inscription traduit une préoccupation croissante pour « la bonne utilisation des fonds publics ». Dans un contexte budgétaire de plus en plus contraint, des dispositifs de suivi et d’évaluation sont mis en œuvre pour accompagner et mesurer les effets des politiques publiques. Ils aident à la prise de décision pour l’amélioration continue des politiques. Selon les textes, ces dispositifs  doivent être rigoureux, transparents, adaptatifs et respectueux de la pluralité des points de vue dans un souci d’intérêt général. L’exercice nécessite une méthode précise, claire et partagée entre les acteurs.

Dans le cadre de la politique Trame verte et bleue (TVB), la définition d’un dispositif de suivi et d’évaluation des schémas régionaux de cohérence écologique (SRCE) a été rendu obligatoire par la loi. Nous présentons dans cet article la méthode mise au point pour élaborer le dispositif de suivi et d’évaluation des SRCE. Cette méthode originale s’appuie sur le croisement de méthodes préexistantes. Elle est issue des échanges ayant eu lieu au sein d’un groupe de travail mis en place à l’initiative du ministère en charge de l’environnement, et piloté par Irstea. Réuni entre 2011 et 2013, ce groupe avait pour mission de proposer un dispositif de suivi et d’évaluation aux équipes régionales en charge de l’élaboration des SRCE (services de l’État en région et/ou conseils régionaux).

Évaluation et suivi des politiques publiques

Définitions officielles

La définition « officielle » de l’évaluation des politiques publiques est présentée dans le décret nº 90-82 du 22 janvier 1990 : « Évaluer une politique, c’est rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et d’atteindre les objectifs qui lui sont fixés ». L’évaluation a pour but de former un jugement de valeur sur une politique, dans une perspective d’amélioration et de prise de décision. C’est aussi reconnaître et mesurer les effets propres d’une politique (Deleau, 1985), en faisant  la part entre les effets imputables à l’action publique considérée et l’influence de facteurs exogènes.

Le suivi d’une politique publique est une démarche de mise en observation d’une évolution via la collecte et l’analyse régulière d’informations. Des paramètres et outils divers doivent pouvoir quantifier et qualifier l’évolution à étudier. Leur synthèse aura valeur d’indicateur (à proprement dit) de l’évolution étudiée.

La différence entre les deux dispositifs se situe dans leur temporalité. L’évaluation est ponctuelle, le suivi est en continu dans le temps.

Critères d’évaluation, questions évaluatives et suivi

Le suivi et l’évaluation des politiques s’appuient sur cinq critères internationalement reconnus (Fédération des Parcs naturels régionaux, 1999) qui structurent l’analyse de la définition et de la mise en œuvre d’une politique au regard des enjeux présents sur un territoire et des autres politiques existantes (figure 1) :

  • la « pertinence » apprécie l’adéquation des objectifs de la politique par rapport aux problématiques et enjeux identifiés sur un territoire ;
  • la « cohérence interne » apprécie les moyens mis en œuvre pour atteindre les objectifs définis ;
  • la « cohérence externe » analyse  les relations (synergies, complémentarités, contradictions) entre les différentes politiques susceptibles d’interagir sur un même territoire ;
  • l’« efficience » apprécie les coûts et moyens investis pour les réalisations et les résultats obtenus ;
  • l’« efficacité » analyse les réalisations et les résultats obtenus au regard des objectifs initialement fixés. Elle nécessite en particulier d’étudier le niveau de mise en œuvre des actions prévues et les moyens mobilisés pour cette mise en œuvre.

Suivre et évaluer une politique revient à l’interroger afin de l’améliorer. Les cinq critères sus-définis permettent d’organiser cette interrogation en formalisant des questions dites évaluatives. Les réponses aux différentes questions évaluatives vont constituer l’évaluation de la politique étudiée. Cela suppose que les acteurs puissent rassembler régulièrement les données et les informations sur lesquelles s’appuieront les dispositifs de suivi et d’évaluation pour quantifier et qualifier chacun des critères. Ces informations à récolter peuvent être qualitatives ou quantitatives. Pour des informations non mesurables, les analyses qualitatives sont généralement mobilisées. Pour les informations mesurables, les indicateurs peuvent être des outils efficaces.

Indicateurs de suivi et d’évaluation

Un indicateur est un élément concret, observable, permettant de procéder à l’évaluation à partir de critères préalablement définis (FORMAPAP, 2004). C’est un outil d’aide à la décision (pilotage, ajustements et rétro-correction) permettant de mesurer une situation ou une tendance, de façon relativement objective, à un instant donné et/ou dans un espace donné. Un indicateur doit rendre compte de façon concise des phénomènes complexes et les rendre compréhensibles auprès d’un public ciblé.

Organiser les indicateurs

Systèmes d’indicateurs

Choisir des indicateurs qui rendent compte de la complexité des phénomènes est particulièrement délicat. La tentation est souvent de retenir des listes de nombreux indicateurs dans une optique d’exhaustivité. Cependant, ces listes sont généralement peu opérationnelles, chacun des acteurs choisissant tels ou tels indicateurs en fonction de ses moyens et de ses intérêts.

La plupart des indicateurs utilisés dans le cadre des politiques publiques sont en fait des indices synthétisant plusieurs indicateurs : c’est par exemple le cas du produit intérieur brut (PIB) ou encore de l’indice de développement humain (IDH). Mais le calcul des indices réduit souvent trop fortement la complexité des phénomènes.

Face à ces critiques, la notion de système d’indicateurs a été développée pour traduire le besoin d’un ensemble organisé et cohérent d’indicateurs. Les indicateurs regroupés en système peuvent être nombreux et ainsi conserver un certain niveau de complexité des phénomènes étudiés tout en facilitant leur lecture.

Modèles pour organiser les indicateurs

La modélisation est l’outil privilégié pour représenter les dynamiques et simuler les conséquences de l’action. Un modèle permet une représentation et donne une vision intégrée des enjeux en reliant les différents indicateurs par des relations sémantiques ou causales. Le modèle va permettre d’organiser et de confronter :

  • les enjeux de la politique étudiée,
  • les intentions, en distinguant les actions destinées à influer sur les causes, de celles de correction des effets,
  • les conditions de réalisation,
  • les effets attendus et la réalité des effets.

Le modèle DPSIR (Force motrice – Pression – État – Impact – Réponse)  a été retenu par le groupe de travail. Ce modèle organise la séquence suivante (figure 2) : les activités humaines (secteurs économiques, consommation, démographie, technologies, etc.) constituent les forces motrices du système représenté. Ces activités exercent des pressions sur l’environnement (air, eau, sol, habitats, espèces...), par exemple, émissions de polluants. Par conséquent, l’état de ces composantes environnementales est affecté (par exemple, concentrations de polluants). En aval, ces changements d’état induisent des impacts sur la société, par exemple sur les services rendus par les écosystèmes (par exemple, qualité de l’eau potable). La société élabore et met en œuvre des réponses pour agir sur les forces motrices, les pressions, l’état et les impacts.

Application à la politique régionale Trame verte et bleue

Enjeux et objectifs de l’évaluation de la TVB

Dans le cas de la TVB, l’évolution des espèces, des milieux et des continuités écologiques est influencée par une multitude de facteurs. Le suivi et l’évaluation des SRCE doivent permettre de mettre en exergue l’écart qui peut exister entre la « gestion intentionnelle » [1] (ce qui a été fait spécifiquement dans le cadre de la politique) et la « gestion effective » [2] (la totalité de ce qui a été fait, au titre du SRCE, mais aussi des autres politiques) des éléments identifiés dans le SRCE.

L’objectif du suivi et de l’évaluation est d’apprécier la contribution de la politique régionale TVB à la préservation et la remise en bon état des continuités écologiques et donc, à la préservation de la biodiversité. L’évaluation concerne principalement les effets (les résultats) de la politique, le SRCE, politique définie et caractérisée par des objectifs, des moyens et des réalisations (les actions menées, les démarches et outils utilisés).

Le suivi et l’évaluation de la TVB ont été rendus obligatoires par la loi n° 2009-967 du 3 août 2009 et le décret n° 2014-45 du 20 janvier 2014. Ces textes précisent que l’évaluation des SRCE a lieu six ans après leur adoption et peut conduire à leur révision ou à leur maintien en l’état. L’évaluation est dite « a posteriori », c’est-à-dire qu’elle apprécie « ce qu’a donné » le SRCE après son lancement et sa mise en œuvre [3].

L’évaluation permet également de vérifier :

  • la cohérence entre les SRCE et d’autres politiques (notamment les schémas directeurs d’aménagement et de gestion des eaux – SDAGE) ;
  • la contribution des SRCE à la cohérence nationale de la TVB telle que demandée par les Orientations nationales adoptées par le décret n° 2014-45 du 20 janvier 2014.

Un cadre méthodologique original

La méthode de production de recommandations nationales à destination des équipes régionales en charge des SRCE a été construite par Irstea et le groupe de travail constitué des directions régionales de l’Environnement, de l’Aménagement et du Logement, des conseils régionaux, mais aussi du ministère en charge de l’écologie, du Muséum national d’histoire naturelle, de l’Office national de l’eau et des milieux aquatiques, du Service de l’observation et des statistiques et de l’Office pour les insectes et leur environnement. D’autres structures ont été associées ponctuellement : la Fédération des conservatoires botaniques nationaux, le Centre d’études techniques de l’équipement de l’Est, l’Institut national de la recherche agronomique, etc.

L’originalité de la méthode développée dans le cadre de ce groupe de travail tient dans le croisement des critères de suivi et d’évaluation avec le modèle DPSIR pour offrir un cadre de réflexion et d’échanges entre les acteurs (figure 3). 

Appliqué à la TVB, le modèle DPSIR met en évidence que (i) les forces motrices liées au développement de la société (urbanisation, modification des pratiques culturales, etc.) induisent (ii) des pressions sur les territoires qui participent à la fragmentation des milieux naturels et qui modifient par conséquence (iii) l’état de l’environnement et, plus particulièrement, celui des continuités écologiques et des espèces qui en dépendent. Cette modification d’état a (iv) des impacts sur les services rendus par la biodiversité à la société. Cet état et ces impacts induisent donc (v) des réponses de la société, ici le SRCE. Ce sont d’abord ses effets sur chacun des quatre autres segments du modèle DPSIR (i.e. les enjeux de la TVB) qui seront évalués (critère d’efficacité). L’efficacité du SRCE dépend du choix des objectifs, des moyens mobilisés et de la mise en œuvre des réponses. L’évaluation des SRCE interroge donc sa pertinence (les objectifs fixés par la politique SRCE répondent-ils aux enjeux identifiés sur le territoire ?), sa cohérence interne (adéquation des moyens – humains, financiers, techniques – avec les objectifs fixés ?), son efficience (les réalisations sont-elles à la hauteur des moyens investis ?) et sa cohérence externe (les réponses proposées et leurs effets sont-elles en cohérence avec les autres politiques menées sur le territoire ?).

Six étapes clés du groupe de travail

Six étapes ont rythmé le travail du groupe.

Premièrement, il s’est avéré que certains objectifs des SRCE sont implicites dans les textes de lois. Un premier travail d’explicitation des objectifs a été réalisé par le groupe de travail.

Deuxièmement, pour chacun de ces objectifs et à partir des cinq critères de suivi et d’évaluation des politiques publiques, le groupe a identifié des questions évaluatives, dont les réponses constitueront l’évaluation.

Dans un troisième temps, le groupe a déterminé les informations à récolter pour répondre à chaque question évaluative.

Quatrièmement, il a étudié la possibilité de construire des indicateurs pouvant apporter ces informations : existe-t-il un indicateur « idéal » ? S’il n’existe pas, quel indicateur s’en rapproche le plus ?

Chaque indicateur est sélectionné en fonction de sa pertinence au regard de sa contribution à au moins une question évaluative. Un indicateur facile à calculer n’est pas retenu s’il ne contribue pas à l’évaluation.

La faisabilité a été étudiée pour chaque indicateur en fonction de plusieurs critères relatifs :

  • aux données : l’accessibilité, la qualité, la pérennité, l’échelle de précision ;
  • à la méthode de construction de l’indicateur : la facilité de mise en œuvre, la fréquence des mises à jour, les coûts, les besoins humains (compétences spécifiques), la fiabilité ;
  • aux résultats : la facilité d’interprétation.

D’autres critères ont également orienté le choix des indicateurs, notamment :

  • possibilité de calcul au niveau national pour toutes les régions,
  • appui sur des référentiels existants : Observatoire national de la biodiversité, suivi des SDAGE…
  • spatialisation des indicateurs pour localiser les résultats.

Le choix des indicateurs a fait émerger des difficultés liées aux données, aux méthodes de calcul ou aux coûts, menant le groupe de travail à hiérarchiser les indicateurs selon trois niveaux. Les indicateurs « Recommandés » constituent un tronc commun pour l’ensemble des régions. Ils sont pertinents pour l’évaluation et ont une bonne faisabilité. Deuxièmement, les indicateurs « Complémentaires » sont pertinents pour l’évaluation, mais sont difficiles à mettre en place dans l’ensemble des régions car ils demandent des données spécifiques que seules certaines régions possèdent. Troisièmement, les indicateurs « À développer » sont d’une très grande pertinence pour l’évaluation, mais ont une mauvaise faisabilité : leur méthode de calcul serait à développer à travers des travaux et expérimentations à mener au niveau national.

Enfin, le groupe a identifié le besoin de mener des analyses qualitatives complémentaires quand aucun indicateur ne pouvait répondre à une question évaluative.

Cinquièmement, une fois les objectifs, questions évaluatives, indicateurs et analyses qualitatives définis, Irstea a procédé à une vérification des indicateurs, en reliant chaque indicateur aux composantes du modèle DPSIR pour garantir que toutes les composantes du système seront renseignées. Hormis les impacts sur lesquels aucune information disponible n’a pu être identifiée, les autres composantes ont toutes été renseignées par au moins un indicateur.

Enfin, la dernière étape a consisté à mener une consultation sur le dispositif proposé par le groupe auprès de toutes les régions de France. Elle a permis d’évaluer la pertinence des questions évaluatives, la pertinence et la faisabilité des indicateurs et des analyses qualitatives identifiés pour y répondre. Cette consultation a permis de finaliser le dispositif de suivi et d’évaluation des SRCE.

L’encadré 1 illustre la prise en main du dispositif d’évaluation et son appropriation par les régions autour d’un exemple de question évaluative.

Dispositif produit pour les SRCE

Au total, vingt-et-une questions évaluatives ont été identifiées couvrant les cinq objectifs des SRCE. Pour y répondre, quarante-sept indicateurs ont été identifiés et classés en fonction, notamment, de leur faisabilité :

  • vingt indicateurs recommandés aux régions pour constituer un tronc commun ;
  • vingt-deux indicateurs complémentaires pour les régions souhaitant/pouvant aller plus loin ;
  • cinq indicateurs souhaitables mais qui restent à développer.

En complément des indicateurs, vingt-sept analyses qualitatives ont été identifiées.

L’ensemble du dispositif proposé a fait l’objet d’une note et de fiches détaillant chaque indicateur proposé (cf. http://www.trameverteetbleue.fr/outils-methodes/suivi-evaluation).

Conclusions et perspectives 

La méthode proposée ici est une base solide pour construire un dispositif de suivi et d’évaluation de l’ensemble d’une politique, depuis sa conception jusqu’à sa mise en œuvre effective.

Cette méthode a été testée dans le cadre de la TVB et peut être utilisée pour d’autres politiques publiques environnementales. Elle a permis de structurer un jeu d’indicateurs mis à la disposition des régions.
Récemment, plusieurs évolutions réglementaires et législatives ont bousculé la politique TVB. En 2015, la loi « NOTRE » a introduit un nouveau schéma régional d’aménagement, de développement durable et d’égalité des territoires (SRADDET). Ce schéma intégrera plusieurs schémas régionaux sectoriels, dont le SRCE, et devra être élaboré par les conseils régionaux d’ici 2019. La majorité des SRCE ayant été adoptée en 2014 et 2015, cela laisse peu de temps pour leur suivi et leur évaluation, même si un bilan des SRCE est prévu avant leur intégration dans les SRADDET. Un nouveau dispositif de suivi et d’évaluation sera à adapter pour le SRADDET en reprenant la même méthode de travail. Cependant, après quelques années de vie de ces SRCE, la plupart des porteurs ont repris des indicateurs issus de la proposition du groupe de travail, mais sans reprendre ni les questions évaluatives, ni les analyses qualitatives. Les porteurs de cette politique n’ont pas réussi à s’approprier la méthode d’évaluation. L’accent a trop été porté sur les indicateurs, et pas assez sur les autres éléments de la méthode. Le manque de moyens et de compétences expliquent probablement ces lacunes. De plus, le nombre d’indicateurs étant élevé, peu ont été finalement mis en place. C’est pourquoi, pour le dispositif de suivi et d’évaluation des SRADDET, il sera important de remettre les questions évaluatives au cœur du débat, de mettre en exergue l’intérêt des analyses qualitatives dans l’exercice d’une évaluation ex-post, et de réduire fortement le nombre d’indicateurs pour favoriser leur mise en place.

Enfin, tout au long de ces travaux, le principal facteur limitant a été le manque de connaissances relatives aux continuités écologiques. Sans définitions claires ni méthodes de mesure du bon état des continuités écologiques, il apparaît très difficile d’évaluer précisément les réels effets d’une politique visant à répondre à cet enjeu. 

 


 

[1] La gestion intentionnelle est désignée comme l’ensemble des « initiatives qu’un acteur spécialisé entreprend, dans le contexte d’une situation de gestion effective, pour faire évoluer l’état du milieu dans un certain sens » (Mermet, 1992).

[2] La gestion effective désigne le mode de conduite du milieu tel qu’il résulte de l’ensemble des actions humaines qui l’affectent.

[3] L’évaluation d’un SRCE se distingue de l’« évaluation environnementale » d’un SRCE qui est réalisée lors de l’élaboration du SRCE (préalablement à son adoption, « a priori ») et jointe au SRCE.

Pour citer cet article :

Référence électronique :
AMSALLEM, Jennifer ; TONNEAU, Jean-Philippe ; CHAURAND, Julie, Méthode d’élaboration d’un dispositif de suivi et d’évaluation de la politique Trame verte et bleue : application aux Schémas régionaux de cohérence écologique, Revue Science Eaux & Territoires, Trame verte et bleue : la continuité écologique en marche dans les territoires, numéro 25, 2018, p. 20-25, 27/06/2018. Disponible en ligne sur <URL : http://www.set-revue.fr/methode-delaboration-dun-dispositif-de-suivi-et-devaluation-de-la-politique-trame-verte-et-bleue> (consulté le 22/10/2019), DOI : 10.14758/SET-REVUE.2018.25.04.

Ajouter un commentaire

Télécharger au format PDF
↑ Haut de page