Outils de politique territoriale, les parcs naturels régionaux ont été créés pour protéger le patrimoine naturel et culturel et pour valoriser ces ressources endogènes dans un objectif de développement local et régional. Mais comment évaluer leur contribution au développement socio-économique des territoires concernés ? Les auteurs de cet article ont  utilisé la méthode d’appariement comme outil d’évaluation des politiques de sept parcs en Auvergne et Rhône-Alpes, pour étudier leurs effets sur l’économie locale, en particulier par rapport au tourisme et à l’emploi local.

Les aménités environnementales et leur gestion sont aujourd’hui au cœur des discussions sur le développement rural durable dans les économies avancées. La littérature sur les aménités souligne le développement de certains espaces ruraux fondé sur leurs aménités, naturelles, bâties ou culturelles, et plus largement sur leur qualité de vie et environnementale. Plusieurs définitions des aménités coexistent ; l’économie territoriale les considère comme des caractéristiques spécifiques d’un lieu qui créent une valeur ajoutée et augmentent son attractivité à la fois pour les touristes et les résidents (photo 1). Des recherches récentes sur les aménités environnementales, qui décrivent la qualité environnementale d’un lieu, ont montré que les aménités peuvent agir comme pilote et catalyseur de diverses dimensions de la croissance régionale.

Du point de vue du développement local, s’appuyer sur les aménités environnementales peut jouer un rôle clé. Différents outils des politiques territoriales visent donc aujourd’hui à protéger et valoriser le patrimoine naturel et culturel rural. En France, les parcs naturels régionaux (PNR) ont été créés pour protéger et développer des territoires ruraux dotés d’un patrimoine naturel et culturel remarquable, mais qui sont fragiles et menacés. Basés sur une charte signée par les communes adhérentes, les PNR sont des projets de territoire pour un développement durable ; ils mettent l’accent sur la diversification des activités, la mise en valeur des produits de terroir et l’attractivité touristique renforcée par l’identité territoriale. En 2010, les PNR couvraient 13 % du territoire national et regroupaient 3 900 communes et trois millions d’habitants. Ils sont reconnus comme facteurs de développement durable en milieu rural, en s’appuyant sur des activités économiques locales et sur la qualité de l’environnement.

Or, depuis leur création en 1967, il n’y a pas eu d’évaluation des PNR en tant que vecteurs du développement local et touristique, alors qu’il s’agit d’une question classique des travaux en économie régionale : dans quelle mesure une politique territoriale donnée a-t-elle un impact sur le territoire ciblé ? Différentes méthodes d’évaluation existent, ici nous présentons l’appariement afin d’évaluer l’impact de telles politiques (encadré 1). Par conséquent, l’article explore la relation entre la politique des PNR, leurs aménités environnementales et le développement local à l’aide de la méthode d’appariement. Notre étude vise à évaluer dans quelle mesure la gestion des aménités environnementales, via l’outil constitué par les PNR, contribue au développement des territoires concernés. La question de rechercheest la suivante : le fait d’être membre d’un PNR contribue-t-il au développement socio-économique (y compris le tourisme) des communes concernées ? En utilisant une méthode d’appariement, les communes des PNR situés en Rhône-Alpes et Auvergne sont comparées à un groupe de contrôle composé des communes similaires mais localisées hors des limites des territoires. Outil de la politique territoriale, le PNR est évalué en mettant en parallèle le développement de l’ensemble des communes de traitement à celui de l’ensemble des communes du groupe de contrôle.

L’article présente d’abord la méthode d’appariement utilisée dans l’évaluation pour estimer les effets des interventions publiques. Les parcs analysés, les données et les méthodes mobilisées sont détaillés ensuite. Les résultats sont discutés dans la dernière partie, avant de conclure par quelques remarques.

Évaluation des politiques publiques : l’apport des études observationnelles et des méthodes d’appariement

Une des questions majeures en science régionale est l’évaluation de l’impact d’une politique donnée. Dans le champ des études observationnelles, issu du domaine médical, les travaux de Rosenbaum et Rubin (1983) sont largement reconnus par rapport au développement de méthodes d’évaluation qui explorent les relations de cause à effet sur la base d’un modèle conceptuel. Ce modèle fait référence à une situation dans laquelle un traitement peut être attribué ou non à un individu. En science régionale et en économétrie, ce traitement est une intervention publique – subvention, réforme fiscale, aide sociale, etc. – qui peut être administrée à un individu ou un territoire. Les attributs de l’individu, variables normalement mesurées avant le traitement, sont les covariables. Les variables de résultat, mesurées après le traitement, sont les caractéristiques susceptibles d’avoir subi un effet du traitement. L’effet causé par le traitement est simplement estimé par la différence entre les variables de résultat des individus sous traitement et le cas potentiel sans traitement. Étant donné qu’il est impossible d’observer les deux situations (traitement et non-traitement) au même moment, pour un même individu, les méthodes d’évaluation ont pour but de créer une situation témoin des individus traités, dite contrefactuelle.

Le cas idéal pour établir un tel groupe de contrôle est le modèle expérimental où les effets causés par un traitement sont analysés dans une expérience qui attribue de manière aléatoire les individus aux cas « traitement » ou « contrôle ». Il garantit que la comparaison entre les deux groupes donne des estimations non biaisées de l’inférence causale. Cependant, dans les politiques publiques l’administration d’un traitement à certains individus et territoires est toujours basée sur des caractéristiques spécifiques à ces individus (sinon l’intervention publique ne serait pas justifiée). Ces caractéristiques distinguent les individus traités des individus non traités, ce qui cause le problème bien connu du biais de sélection. Autrement dit, la différence au niveau des variables de résultat entre les deux groupes n’est pas seulement due au traitement, mais également aux différences qui existaient avant celui-ci. Comme il y a rarement construction d’un groupe de contrôle ex ante dans les politiques publiques, les approches quasi et non expérimentales sont utilisées pour simuler – le plus précisément possible – une expérience naturelle afin de réduire autant que faire se peut le biais de sélection.

L’appariement fait partie des approches qui sont fréquemment utilisées pour réduire le biais de sélection dans les études d’évaluation de par sa rigueur méthodologique et sa clarté didactique. Il peut être décrit comme une méthode d’échantillonnage à partir d’un grand nombre d’individus de contrôle potentiels, c’est-à-dire qu’il établit un groupe de contrôle dans lequel la distribution des covariables est similaire à leur distribution dans le groupe d’individus traités. L’attrait de la méthode de l’appariement repose sur l’idée de comparer des variables de résultats d’un groupe d’individus traités avec celles d’individus similaires (témoins, jumeaux) mais non traités (Heckman et al., 1998). Étant donné que la méthode diminue la différence entre les deux groupes en ajustant les différences existant au préalable, elle fournit une base valide pour mesurer les effets propres liés au traitement dans les modèles quasi expérimentaux. Par conséquent, plus les données et les covariables prises en compte par le chercheur sont importantes, plus les deux groupes d’individus seront similaires, et plus le risque de biais de sélection sera limité. Cependant, il reste possible que certaines caractéristiques inhérentes aux individus restent non considérées au niveau des covariables, par exemple des différences structurelles entre deux régions.

La littérature propose différentes approches pour établir un groupe de contrôle à l’aide de la méthode d’appariement. Rosenbaum propose l’appariement optimal, qui minimise à la fois les distances inter-individus et la distance globale intra-groupes. Le problème d’allocation optimale, où la similarité entre les individus et entre les groupes est recherchée, peut être résolu par différents algorithmes. Nous considérons ici les méthodes du voisin le plus proche. Il existe des métriques différentes qui permettent de calculer les distances entre individus, dans un espace multidimensionnel créé par les covariables. La métrique la plus fréquemment utilisée est la distance de Mahalanobis parce qu’elle mesure la similarité comme une variable continue. Cependant, cette métrique est moins performante lorsque le nombre de covariables augmente. Différentes méthodes d’appariement ont essayé de contourner ce problème, notamment en utilisant le score de propension (Rosenbaum et Rubin, 1983). Ce dernier est défini comme la probabilité conditionnelle d’exposition au traitement, étant donné les covariables. Ainsi, il permet de considérer un plus grand nombre de covariables simultanément, et de réaliser l’appariement sur une seule variable scalaire. Si le traitement est complètement indépendant des covariables, la différence en termes de variables de résultats entre groupe de traitement et groupe de contrôle est en effet une estimation non biaisée de l’effet du traitement.

Les exemples d’application de la méthode de l’appariement abondent. Un exemple type pour l’évaluation de la politique PNR est celui de la Commission régionale des Appalaches (ARC en anglais) aux États-Unis (Isserman et Rephann, 1995). Cette politique de développement régional a adopté une approche globale d’aménagement du territoire pour développer l’économie de la région en favorisant l’infrastructure physique et sociale et la création de pôles de croissance. En utilisant un modèle quasi expérimental, les auteurs identifient, pour chaque comté de l’ARC, un comté témoin situé à l’extérieur des Appalaches qui est similaire en termes de structure économique et spatiale. Leur méthode d’appariement utilise la distance de Mahalanobis et l’appariement optimal. L’analyse est basée sur trois périodes successives :

  • la première période sert à établir le groupe de contrôle pour l’appariement ;
  • la seconde à vérifier la similarité des deux groupes avant le traitement ;
  • et la troisième à évaluer l’effet de la politique sur la croissance régionale.

Données et méthodes pour l’évaluation de la politique PNR

Notre approche pour évaluer les PNR s’inspire de celle d’Isserman et Rephann (1995). Cependant, en raison de problèmes de disponibilités de données sur le long terme et de dates de création différentes des PNR (début du traitement), l’approche évalue la politique PNR via une analyse en coupe. Elle est basée sur l’appariement et prend en compte des données sur les covariables et les variables de résultat en 2006. Il s’agit donc d’une évaluation ex post par appariement qui est similaire aux études ex post facto, et pas d’une approche quasi expérimentale traditionnelle. Ainsi, cette démarche ne permet pas de conclure sur une inférence causale, c’est-à-dire un effet PNR, mais peut donner des indications significatives quant à un effet parc, plus valide que dans le cas d’une comparaison basée sur les limites administratives, par exemple. Pour éviter les effets de traitement introduits par un appariement après traitement, nos covariables sont différentes des variables de résultat et relatives à des indicateurs des effets d’agglomération et d’aménités environnementales, deux dimensions souvent retenues dans les modèles de croissance régionale, nouvelle économie géographique et développement rural endogène. Quatre méthodes d’appariement ont été testées pour choisir un groupe de communes de contrôle pour les communes PNR :

  • appariement optimal sur les covariables utilisant la distance de Mahalanobis ;
  • appariement optimal sur les composantes principales des covariables ;
  • appariement optimal sur le score de propension (basé sur les distances euclidiennes) ;
  • appariement optimal sur les covariables et sur le score de propension.

Un groupe de contrôle valide et fiable est identifié lorsqu’il n’y a plus de différence statistique entre les covariables du groupe PNR et celles du groupe de contrôle. Nous utilisons des tests de différence de moyenne (t-tests) pour chaque variable afin de comparer le groupe traité et les groupes de contrôle créés par les quatre méthodes. Le test évalue si les moyennes de deux groupes sont statistiquement différentes, en tenant compte des moyennes et des variances. Les mêmes tests ont été utilisés pour estimer si les variables de résultat présentent des différences statistiquement significatives entre le groupe de communes PNR et le groupe de contrôle. Cependant, nous attendons ici le résultat inverse, puisque des différences significatives sur les variables de résultat indiquent un effet de la politique PNR. Bien que non définitif quant à la relation de cause à effet, ce type de résultat constitue une indication raisonnable de l’impact d’une telle politique.

Nous avons analysé sept PNR situés dans les régions Auvergne et Rhône-Alpes. Notre analyse est basée au niveau communal, parce que ce sont les communes qui adhèrent, par leur signature, aux projets des PNR. En 2006, le groupe de communes PNR est composé de 632 communes localisées dans 7 parcs : Chartreuse, Massif des Bauges, Monts d’Ardèche, Pilat, Vercors, Livradois-Forez et Volcans d’Auvergne. L’échelle communale permet de travailler à une échelle territoriale fine avec un grand nombre d‘individus traités (632) et de contrôles potentiels. L’identification d’un groupe de contrôle dans le champ de plus de 35 000 communes en France métropolitaine se base sur les mêmes hypothèses que celles d’Isserman et Rephann :

  • il existe des communes, en France métropolitaine mais hors du périmètre des PNR, qui présentent des caractéristiques similaires avec les communes d’étude en termes de covariables ;
  • la performance de ce groupe de contrôle peut être considérée comme leur situation contrefactuelle.

Afin de limiter les biais introduits par d’autres politiques territoriales majeures dans l’établissement du groupe de contrôle, différentes zones ont été exclues de l’analyse au préalable : les autres PNR, les parcs nationaux, les zones frontalières et côtières qui présentent des dynamiques spécifiques (avec une zone tampon de 20 km) et les agglomérations (unités urbaines et couronnes périurbaines 1998). Enfin, pour garantir une indépendance spatiale entre les communes traitées et les communes de contrôle, nous avons retiré du champ d’analyse les communes situées à moins d’un seuil de distance (5 et 10 km) d’un PNR d’étude. La figure 1 montre la sélection progressive des communes de contrôle potentielles et la localisation des communes traitées et de contrôle (rayon de 5 km).

Dans l’appariement, les deux dimensions effets d’agglomération et aménités environnementales sont représentées par 16 covariables (tableau 1). Les neuf premières reflètent les aménités naturelles ; elles prennent en compte la variation topographique, l’occupation du sol et le climat (précipitation en janvier et nombre de jours > 30 °C en juillet). Les sept dernières représentent les effets de densité et de proximité d’une agglomération : le potentiel de marché (population cumulée selon deux rayons de 8 et 80 km), l’accessibilité au pôle urbain le plus proche (en minutes par le réseau routier), la surface et la densité de l’infrastructure routière.

Pour les variables de résultat, les PNR sont censés agir sur plusieurs dimensions du développement local. L’analyse se concentre donc sur 15 variables de résultat liés à la population, à l’emploi, aux revenus et au tourisme et nous prenons également en compte des variables de croissance (tableau 2).

Résultats

Pour toutes les méthodes d’appariement, de meilleurs résultats ont été obtenus pour la zone tampon de 5 km (autrement dit, plus de différences statistiquement significatives ont été observées au niveau des covariables pour le rayon de 10 km). En ce qui concerne la méthode même de l’appariement, de meilleurs résultats ont été obtenus pour la méthode dite d’appariement optimal sur le score de propension (3). Le tableau 1 présente les résultats de l’appariement, avec les moyennes de covariables avant et après la procédure, et les t-tests correspondants.

Nous constatons une influence notable de la méthode d’appariement sur la significativité de différences entre groupes. Le groupe de communes éligibles pour l’appariement est très différent du groupe PNR, alors que les groupes de contrôle réduisent ces différences. De manière générale, l’appariement réduit significativement le biais puisque la valeur la plus faible de réduction du biais est obtenue pour la variable relative aux précipitations de janvier : 68 %). Bien que satisfaisants, ces résultats montrent également qu’un groupe de contrôle qui réduit de 100 % les différences reste sans doute difficile à réaliser, surtout pour un grand nombre de variables et en particulier à cause d’une grande variabilité inhérente aux communes françaises. La figure 2 illustre la distribution des communes d’étude et des communes appariées avec la méthode (3) par rapport à chaque PNR.

L’estimation de l’effet de la politique PNR est effectuée par les t-tests sur les variables de résultat, présentés dans le tableau 2. Huit (sur quinze) de ces variables ont montré une différence statistiquement significative entre les deux groupes (du moins au niveau de risque 10 %). Dans les communes PNR, la population totale, la croissance des revenus, l’emploi dans l’hébergement et la densité d’hébergement touristique sont plus élevés (différences significatives à 10 %). Les taux d’emploi au lieu de résidence et à temps partiel sont également plus élevés dans les parcs (au seuil de 5 %). Toutefois, les taux de croissance de la population et de l’emploi sont inférieurs dans l’ensemble de communes PNR (sur la période 1990-2006, à 10 %). Aucune différence n’est observée au niveau de l’emploi total, du niveau de revenu, de l’emploi touristique en général ou de la part des résidences secondaires.

Conclusion

L’évaluation des politiques publiques par la méthode de l’appariement représente aujourd’hui une école parmi d’autres en science régionale et un outil puissant de l’économétrie appliquée. Cette approche est très intéressante car elle se fonde sur l’identification des facteurs causaux et d’une relation claire entre cause et effet – deux notions politiquement très pertinentes. Néanmoins, leur utilisation présente des avantages et des inconvénients, tels que vus ici dans le cadre de l’étude de la politique PNR.

Les limites de cette analyse concernent le manque de données sur le long terme ; leur disponibilité permettrait une approche quasi expérimentale sur plusieurs périodes de temps avec plusieurs étapes et un appariement ex ante. Par définition, une analyse en coupe ne tient pas compte des conditions de pré-traitement, ce qui limite la portée des conclusions du point de vue de l’inférence causale et donc de l’« effet propre du PNR ». En outre, le choix d’une zone tampon de 5 km pour les communes éligibles pourrait ne pas être suffisamment adéquat par rapport à la notion d’indépendance spatiale recherchée. Cependant, même si l’hypothèse de similarité entre les deux groupes ne peut pas être complètement satisfaite, une comparaison des performances des communes PNR avec un groupe de contrôle établi par appariement peut être considéré comme davantage valide qu’avec tout autre groupe.

Si nous supposons une procédure d’appariement réussie – dans les limites évoquées ci-dessus – notre évaluation des PNR donne des résultats statistiquement significatifs en ce qui concerne un « effet parc », c’est-à-dire une corrélation positive entre l’adhésion à un PNR et les variables de développement. Les différences les plus significatives ont été observées pour le secteur du tourisme (taux d’emploi à temps partiel, taux d’emploi dans l’hébergement, densité de lits touristiques). Cela tend à confirmer que le tourisme est une activité significative de l’économie locale des PNR, et à montrer le succès des parcs dans le développement du tourisme local (photo 2). Un résultat négatif potentiel de la spécialisation touristique pourrait être indiqué par le niveau de revenu plus faible, probablement lié à l’emploi à temps partiel. Les opposants à la politique PNR qui affirment que les parcs sont préjudiciables à l’activité économique devraient noter nos résultats indiquant que l’emploi total et la densité de l’emploi ne sont pas affectés par l’adhésion à un parc. En ce sens, les PNR atteignent leur objectif de protéger l’environnement sans porter atteinte à l’emploi. Cela est d’autant plus important que l’adhésion à un parc est associée à une plus grande part de la population active employée au lieu de résidence : les parcs semblent avoir une capacité à créer ou maintenir des emplois locaux pour leurs résidents.

En conclusion, l’approche par appariement est généralement très intéressante, malgré quelques réserves. Par exemple, il peut être difficile de trouver des individus similaires pour une politique territoriale ou régionale en raison de caractéristiques régionales et locales spécifiques ; une difficulté encore plus grande que l’échelle géographique l’est, comme le niveau communal dans les PNR. Plus généralement, régions et territoires peuvent se différencier par davantage de facteurs que ceux reflétés par les covariables retenues (caractéristiques structurelles), et notamment par des facteurs plus qualitatifs tels que les réseaux d’acteurs ou l’identité collective, qui sont plus difficiles à prendre en compte dans l’appariement au vu des données disponibles.

Pour citer cet article :

Référence électronique :
CREMER-SCHULTE, Dominik ; DISSART, Jean-Christophe, Évaluation des politiques publiques avec la méthode d’appariement : le cas des parcs naturels régionaux en Auvergne et Rhône-Alpes, Revue Science Eaux & Territoires, Aide à la décision pour le développement territorial , numéro 13, 2014, p. 52-59, 04/07/2014. Disponible en ligne sur <URL : http://www.set-revue.fr/evaluation-des-politiques-publiques-avec-la-methode-dappariement-le-cas-des-parcs-naturels-regionaux> (consulté le 28/11/2021), DOI : 10.14758/SET-REVUE.2014.13.09.

Ajouter un commentaire

Télécharger au format PDF
↑ Haut de page