title: Évaluer les programmes socio-économiques : volume 5, Évaluation transversale des impacts sur l'environnement, l'emploi et les autres priorités d'intervention.

eurovoc_concepts:
EU programme
Structural Funds
economic and social cohesion
economic development
project evaluation
social development
structural policy

formats: pdf print

text: )nds structurels communautaires Evaluer les ρ Évaluation transversale des oi et lion Collection ù*ïï s Commission européenne Fonds structurels communautaires Évaluer les programmes socio-économiques Évaluation transversale des impacts sur l'environnement, l'emploi et les autres priorités d'intervention Volume 5 Commission européenne MEANS est un programme de la Commission européenne. Il vise à améliorer les Méthodes d'Evaluation des Actions de Nature Structurelle. Le programme et la Collection MEANS ont été lancés et supervisés par MM Philippe Goybet et Miguel Angel Benito Alonso DG XVI/G2, Unité de Coordination de l'Evaluation Coordination-evaluation@fmb. dg16. cec. be Sa réalisation a été confiée au Centre Européen d'Expertise en Evaluation (C3E) sous la direction d'Eric Monnier et de Jacques Toulemonde. Les opinions exprimées dans cet ouvrage n 'engagent que les auteurs du texte :. C3E -13bis Place Jules Ferry - F-69006 Lyon - France - c3e@c3e. fr De nombreuses autres informations sur l'Union européenne sont dispo nibles sur Internet via le serveur Europa (http://europa. eu. int), et sur le site Inforegio (http://inforegio. cec. eu. int). Une fiche bibliographique figure à la fin de l'ouvrage. Luxembourg: Office des publications officielles des Communautés européennes, 1999 ISBN 92-828-6627-0 © Communautés européennes, 1999 Reproduction autorisée, sauf à des fins commerciales, moyennant men tion de la source. IMPRIMÉ SUR PAPIER BLANCHI SANS CHLORE Printed in Italy Préface Développer des pratiques appropriées en matière d'évaluation est devenue l'une des actions prioritaires de la Commission afin de contribuer à la bonne utilisation des financements communautaires. En effet, le respect des principes de bonne gestion financière qu'elle cherche à promouvoir dans son programme SEM2000 Efficient Management) repose notamment sur la l'évaluation nécessité de procéder à régulière des actions communautaires. Les Directions Générales en charge des politiques structurelles possèdent dans ce domaine une certaine expérience, car elles ont dû intégrer la démarche d'évaluation dès 1988, tout au long du cycle des interventions structurelles communautaires : lors de leur conception sous la forme d'une évaluation prospective, lors de leur mise en œuvre en tant que renforcement du sys tème de suivi et, enfin, à l'issue de celles-ci afin de tirer les enseignements des impacts obtenus. (Sound and Cependant, la capacité de l'évaluation à contribuer à l'efficacité et à la transparence de ces actions doit s'appuyer sur la crédibilité des méthodes qu'elle emploie afin qu'elles puissent garantir la validité des résultats. C'est pourquoi, il y a quatre ans, à l'initiative de la Direction Générale de la Politique Régionale et de la Cohésion (DG XVI), le programme MEANS a été conçu comme une réponse à ce souci de développer des méthodologies et des pratiques d'évaluation conciliant la rigueur scientifique et les spécifici tés propres aux interventions communautaires, tout en demeurant volon tairement accessibles au plus grand nombre. L'un des résultats les plus tangibles du programme MEANS est la publica tion de cette collection de six ouvrages rédigés par un groupe d'experts indépendants qui traitent des grands aspects de l'évaluation des pro grammes socio-économiques dont un bref aperçu est donné au début de ce volume. Cette collection capitalise des expériences, des échanges et des innovations méthodologiques dans le contexte des Fonds Structurels. leurs Elle permettra aux responsables de l'évaluation de développer pratiques de manière autonome et aux commanditaires de mieux maîtriser cette démarche. Témoin direct lors des grandes rencontres européennes entre spécialistes et utilisateurs de l'évaluation (Bruxelles 1995, Berlin 1996, Seville 1998) de l'engouement que suscitent ces nouvelles techniques, il m'appartient d'in sister sur le fait que le développement de l'évaluation doit aller de pair avec la recherche d'une véritable insertion de ses résultats dans les processus décisionnels afin de savoir si les politiques menées sont équitables, effi caces et adaptées aux besoins. En répondant à ces exigences, l'évaluation apparaît comme un moyen pri vilégié offrant tant aux autorités nationales que communautaires, les garan ties nécessaires pour que les fonds communautaires soient utilisés au mieux des intérêts des citoyens de l'Union. Les enjeux de la Cohésion Economique et Sociale ainsi que les défis que représente le futur élargisse ment de l'Union européenne sont à ce prix. Je me dois enfin de remercier le Comité des Personnalités Indépendantes constitué dès le lancement du programme qui par leur compétence et leur renom ont grandement contribué à asseoir la qualité et la pertinence méthodologique du programme MEANS. Il s'agit de : E. Chelimsky (USA), ex-Présidente de l'«American Evaluation Association» ; K. Kennedy (IRL), Directeur de l'«Economic and Social Research Institute» (ESRI) ; J. R. Cuadrado Roura l'«European Regional Science Association» ; C. Seibel (F), Directeur des Statistiques démographiques et sociales de l'Institut National de la Statistique et des Etudes Economiques (INSEE) ; L. Senn (I), Directeur du Département d'Economie Régionale de l'Université Bocconi ; E. Stern (UK), Directeur de l'unité d'évaluation du Tavistock Institute ; A. Sorber (t) (NL), Chef du «Policy Analysis Department Institut för of the Ministery of Finance» ; L. I. Strom (SV), Statens Regionalforsking (SIR) l'Université ; L. Tsoukalis (GR), professeur à d'Athènes ; H. Wollmann (D), professeur à l'Université de Humboldt à Berlin et membre fondateur de la «European Evaluation Society». (E), Président de E. Landaburu La Collection MEANS : « Evaluer les programmes socio-économiques » La démarche d'évaluation des interventions structurelles de l'Union européenne est entrée dans une phase de maturité ainsi qu'en atteste l'extension prise par les travaux réalisés tant par les Etats membres que par la Commission. Les obligations réglementaires Issues des décisions du Conseil ont largement contribué à répandre la pratique de l'évaluation et ont également stimulé le développement méthodologique. Pendant ces dix dernières années, la Commission s'est employée à promouvoir et améliorer les méthodes d'évaluation des interventions des Fonds structurels. Les principaux enseignements méthodolo giques ont été débattus et diffusés dans le cadre du programme MEANS initié par la Commission dès 1991. Les acquis sont mainte nant suffisamment substantiels pour nourrir une publication complète et accessible pour un public plus large : une Collection de six ouvrages traitant tous les aspects de l'évaluation des pro grammes socio-économiques. Ces ouvrages sont rédigés dans une perspective plus large que celle du strict cadre administratif actuel. En effet, celui-ci est amené à évoluer périodiquement alors que les standards professionnels ont une plus grande stabilité. De manière générale, la Collection s'adresse à des lecteurs non-spé cialistes désireux de disposer des informations indispensables à l'évaluation des programmes de développement socio-écono miques. Ces programmes ont une multiplicité d'objectifs, une dimension de partenariat et un contenu multisectoriel, plusieurs caractéristiques qui appellent des méthodes d'évaluations adaptées et des solutions que n'offre pas encore la littérature technique inter nationale. La Collection complète comprend 6 Volumes conçus pour être complémentaires et fournir les éléments indispensables au pro fessionnel qui souhaite développer de façon autonome ses pratiques d'évaluation. Chaque Volume a été construit de telle manière qu'il puisse être lu et compris indépendamment des autres. Le premier Volume de la Collection MEANS s'intitule « Conception et conduite d'une évaluation ». Il a une fonction de porte d'entrée dans la Collection, ainsi que dans le domaine de l'évaluation des programmes socio-économiques. Il permet au lecteur de comprendre les enjeux de l'évaluation et de savoir ce qu'il peut ou ne peut pas attendre d'une évaluation à un moment et dans un contexte donnés. Il apporte les Evaluation transversale des impacts sur les priorités d'intervention éléments nécessaires pour piloter une évaluation de A à Z: repartirles responsabilités de l'évaluation, définir sa finalité et les grandes lignes de sa méthode, fixer son calendrier et son budget, apprécier la qualité des travaux et enfin gérer l'utilisation de ses conclusions. Le second Volume porte sur « le choix et l'utilisation des indicateurs pour le suivi et l'évaluation ». Il traite des indicateurs utilisés pour le suivi et l'évaluation. Il montre comment les indicateurs peuvent être utilisés pour appuyer des décisions politiques, pour renforcer la gestion et pour mesurer la performance globale des programmes. L'ouvrage propose un cadre méthodologique et un guide pratique d'utilisation des indicateurs dans ces différentes situations. Le troisième Volume présente une sélection des « Principales tech niques et outils d'évaluation » applicables à l'évaluation des pro grammes socioéconomiques. Ces outils sont issus des disciplines scientifiques pertinentes : économie, sociologie, management, géo graphie, etc. Chacun des 23 outils présentés est décrit sous forme d'une fiche comprenant sa description générale, les principes de sa mise en uvre, une liste de ses points forts et faibles pour l'évaluation des Fonds structurels, un exemple d'application et une bibliographie des ouvrages de référence. Plusieurs méthodes adaptées à l'évaluation des programmes socio économiques font l'objet d'une description plus complète dans le quatrième Volume intitulé « Solutions techniques pour évaluer dans un cadre de partenariat ». Plusieurs évaluations pilotes du programme MEANS ont permis de concevoir et de tester des tech niques nouvelles dont le mode d'emploi est décrit en détail : carto graphie conceptuelle d'impact, matrice d'impacts croisés, échelles de notation et analyse multicritère. Le cinquième Volume traite de « l'évaluation transversale des impacts sur l'environnement, l'emploi et les autres priorités d'intervention >■ de l'Union Européenne et des Etats membres. Il aborde entre autres la question des impacts en termes d'égalité des chances hommes femmes ou de compétitivité des PME. Le Volume offre les éléments nécessaires à l'analyse de ces impacts qui ne figurent pas nécessaire ment parmi les objectifs explicites de toutes les actions évaluées. Enfin, le dernier Volume est constitué d'un « glossaire des concepts et termes techniques ». La mise au point de la Collection a en effet imposé un travail rigoureux d'homogénéisation et de définition des termes employés. Chacun des cinq premiers volumes est suivi d'un index dont les termes sont repris parmi les centaines de définitions rassemblées dans le glossaire. Table des matières Introduction i Considérations techniques relatives à l'évaluation d'impacts thématiques II Analyse thématique des impacts relatifs aux priorités politiques Evaluer l'impact des interventions structurelles sur l'environnement Evaluer les impacts des interventions structurelles sur la compétitivité des Petites et Moyennes Entreprises Evaluer les impacts sur l'emploi des interventions structurelles Evaluer l'impact des interventions structurelles sur l'égalité des chances III Evaluations thématiques transversales des domaines d'intervention Evaluer les impacts des interventions dans le domaine de la Recherche et du Développement Technologique Evaluer les impacts découlant d'interventions dans les domaines des transports, des télécommunications et du tourisme IV Cadres de réalisation des évaluations thématiques Une démarche "pas à pas" pour une analyse thématique Les évaluations thématiques transnationales Conclusion Annexes Annexe 1 : Outils d'évaluation et thèmes correspondants Annexe 2: Extraits d'un cahier des charges d'évaluation d'un programme intégrant des éléments thématiques Annexe 3: Exemple de cahier des charges pour une évaluation thématique transnationale Annexe 4 : Liste des encadrés Index 7 13 27 29 61 81 113 137 139 161 177 179 191 201 205 207 209 211 221 225 Introduction l'objectif Les programmes financés par les Fonds structurels poursuivent global de cohésion économique et sociale, qui se décline en objectifs de rat trapage des régions en retard de développement, de développement des zones urbaines et rurales en reconversion économique et sociale ou encore de soutien aux groupes sociaux en difficulté. Les interventions mises en œuvre au titre de chacun de ces objectifs majeurs doivent en outre satisfaire quatre priorités politiques communes à l'Union européenne et aux Etats membres (voir Encadré 1). Ces priorités transversales sont le plus souvent rappelées dans le préambule des programmes. Toutefois on ne trouve pas nécessairement des axes qui leur soient entièrement consacrés au sein des programmes. On trouvera, parfois un sous-programme ou un axe environnemental ou encore des mesures spécifiques en matière de compétitivité des P. M. E. Rares sont les pays ou les régions qui ont inclus, dans leurs programmes 1994-99, des mesures spécifiques en matière d'égalité des chances. Evaluation transversale des impacts sur les priorités d'intervention Encadré 1 - Priorités, domaines et thèmes Les priorités politiques définies pour la période de programmation 1994- 99 des Fonds structurels comprennent : • Ja lutte contre le chômage et la création de nouveaux emplois ; • l'augmentation de la compétitivité des structures productives et plus particulièrement des P. M. E. ; • la protection de l'environnement ; • et enfin, la réduction des inégalités entre les femmes et les hommes. La notion de « domaine », quant à elle, fait référence à des domaines spé cifiques au sein desquels des interventions sont conduites et des réalisa tions sont programmées. Ainsi par exemple les impacts en terme d'amé lioration de la « compétitivité » sont la conséquence des interventions dans le domaine de la recherche-développement, dans les domaines des transports, des télécommunications, etc. La notion de « thème » est utilisée dans cet ouvrage indifféremment pour les priorités politiques et les domaines d'intervention. Une évaluation thé matique peut donc examiner le respect d'une priorité dans l'ensemble des secteurs d'intervention. A l'inverse, une autre évaluation thématique s'intéressera d'abord aux interventions dans un domaine donné et analysera l'ensemble des impacts possibles (notamment pour les quatre priorités ci-dessus). Les quatre priorités énoncées ci-dessus, d'importances variables selon le contexte, sont transversales à l'ensemble des programmes financés par les Fonds structurels. Tous les gestionnaires et opérateurs sont tenus de les appliquer dans la mise en œuvre des mesures, le mode de sélection des projets, la définition des publics visés, etc. Le plus souvent, l'évaluation d'un programme privilégie l'analyse des impacts explicitement décrits par les objectifs principaux des priorités communau taires et des mesures. Elle tend à négliger les priorités transversales qui concernent de façon plus diffuse l'ensemble des mesures des programmes. Des progrès doivent encore être faits si l'on veut que les rapports contiennent des conclusions thématiques fiables à un coût raisonnable. Ces conclusions doivent être présentées sous une forme homogène et suffisamment synthé tique pour que les services de la Commission puissent eux-mêmes, dans un deuxième temps, produire des synthèses au plan européen. Par ailleurs, conformément au principe de subsidiarité, il appartient à la Commission d'évaluer périodiquement les différentes modalités d'interven tion appliquées dans tel ou tel Etat membre pour identifier les meilleures Introduction pratiques et ainsi organiser un transfert de savoirfaire en Europe. Cela s'est traduit par des évaluations qui ont été réalisées à l'échelle européenne pour analyser de façon plus approfondie tel ou tel domaine d'intervention comme les infrastructures de transport, le soutien aux activités de recherche, la formation professionnelle, etc. Ces domaines d'intervention se retrouvent généralement dans la plupart des programmes régionaux avec des intensi tés variables selon les choix opérés. ■ Un Volume destiné aux commanditaires d'évaluation au niveau d'un p r o g r a m me ou de l'Union européenne Ce Volume est destiné aux personnes qui, au niveau du programme ou à celui de l'Union européenne, souhaitent examiner de façon transversale les impacts correspondant à une priorité ou à un domaine d'intervention. Ces évaluations dites « thématiques » se conçoivent différemment selon qu'elles sont réalisées au niveau du programme luimême ou à l'échelle européenne. Au niveau d'un programme, l'évaluation thématique englobe à la fois les impacts directs de mesures dédiées à une priorité donnée (mesures en faveur de l'environnement, par exemple) et les conséquences indirectes des autres mesures (conséquences de travaux routiers pour l'en vironnement, par exemple). Par rapport à un thème donné, ce premier type d'évaluation fait une synthèse de l'ensemble des impacts possibles, directs et indirects, et vérifie également la cohérence d'ensemble (et le renforcement mutuel) des diffé rentes mesures contenues dans un programme. Les conclusions sont le plus souvent consignées dans une série de chapitres consacrés à chacun des thèmes et placés à la fin du rapport d'évaluation. Le deuxième type d'évaluation thématique, qui est de la responsabilité des services de la Commission, s'attache à dégager des conclusions perti nentes pour plusieurs régions ou pays de l'Union européenne. Ces évalua tions procèdent par une analyse « transprogramme » des impacts d'inter ventions semblables. Elles permettent d'identifier les interventions les plus performantes et de faire la part, pour une intervention réussie, entre ce qui est propre au contexte économique, administratif ou institutionnel et ce qui constitue des enseignements généralisables à d'autres unités territoriales, nationales ou régionales. Ce type d'évaluation met en évidence l'efficacité relative des interventions et joue un rôle central dans l'identification des meilleures pratiques. Evaluation transversale des impacts sur les priorités d'intervention Ce volume contient des conseils et propose des solutions à l'intention des responsables publics qui souhaitent inclure ces thèmes dans leur cahier des charges et à l'intention des équipes d'évaluation qui voudront concevoir un programme de travail (voir les exemples de cahier des charges en annexe). Pour relever le défi qui consiste à obtenir des conclusions d'évaluations thé matiques fiables à un coût raisonnable, on trouvera dans les pages qui suivent des grilles d'analyse et des propositions méthodologiques pour : • identifier les impacts potentiels d'un programme en relation avec un thème ; • prendre en compte ces impacts de façon transversale au sein d'un même programme ou au sein d'un ensemble de programmes régionaux ou nationaux ; • identifier et définir des indicateurs appropriés pour suivre et évaluer ces impacts ; • réaliser une collecte et un traitement des informations adéquats ; • et enfin, présenter de façon synthétique les conclusions de l'évaluation. ■ La structure du Volume Cet ouvrage ne prétend pas contenir de manière exhaustive les concepts et les méthodes spécifiquement liés aux thèmes annoncés. On peut en effet facilement imaginer que les experts des politiques de l'emploi considéreront que le sujet n'a pas été suffisamment développé ou que des spécialistes de l'environnement jugeront l'analyse des impacts environnementaux trop superficielle. Toutefois, la raison d'être de ce volume tient précisément aux exigences parfois irréalistes de chacun des spécialistes des différents thèmes concernés par les programmes structurels. Le défi pour l'évaluation thématique est d'analyser les mérites d'un programme par rapport à ses objectifs propres et aussi par rapport aux quatre priorités politiques communes à l'Union européenne et aux Etats membres. Pour des raisons de budget et de temps, on est contraint d'ap porter des simplifications au sein de chaque thème. Pour cela, des concepts et des solutions spécifiques à chaque domaine d'expertise ont été sélec tionnés, et un compromis a dû être trouvé entre la fiabilité et la faisabilité. Le texte est organisé en quatre parties. Des considérations méthodolo giques générales à l'ensemble des évaluations thématiques sont regrou pées dans la première partie avec le souci de mettre en évidence les points communs. Soulignons que certains points constituent de simples rappels Introduction de développements plus substantiels que l'on trouvera dans le premier et troisième Volume de la Collection MEANS. Le Volume 1 décrit en effet la démarche complète d'évaluation et le Volume 3 présente l'ensemble des outils de collecte et de traitement des informations auxquels il est fait référence plus loin. La deuxième partie de l'ouvrage est consacrée aux principales priorités poli tiques : environnement, compétitivité des P. M. E. , emploi et égalité des chances. Les exigences méthodologiques varient d'une priorité à l'autre, notamment en fonction de l'ancienneté du thème sur l'agenda politique européen. Ainsi, la prise en compte d'impacts environnementaux dans une évaluation repose sur une méthode adaptée à l'estimation d'impacts diffus et hétérogènes. En revanche, les impacts sur l'emploi sont par nature plus homogènes dans la mesure où il s'agit de personnes physiques et d'entre prises. Ainsi par exemple, une enquête auprès des destinataires directs est adaptée à l'étude des impacts sur l'emploi mais pas à l'étude des impacts sur l'environnement. L'enjeu de la création et du maintien d'emploi figure depuis le début des années 80 parmi les préoccupations de l'Union européenne. Il s'est donc traduit très concrètement par de nombreuses mesures dédiées à l'emploi au sein des programmes financés par les Fonds structurels. En outre, un grand nombre de travaux conceptuels et techniques ont été conduits sur ce thème par les centres de recherche, ce qui a permis d'accumuler un savoir-faire important. Dans le cadre du programme MEANS, plusieurs ateliers et rapports ont été consacrés au thème de l'emploi. Ce Volume met l'accent sur une simplification et une sélection de solutions réalistes dans un contexte d'évaluation thématique qui ne peut prétendre à la même sophisti cation que l'évaluation d'une politique d'emploi proprement dite. Un thème comme celui de la promotion de l'égalité des chances entre les hommes et les femmes a donné lieu à des avancées conceptuelles impor tantes, par exemple, la notion d'intégration (gender mainstreaming) décrite dans l'Encadré 2. Evaluation transversale des impacts sur les priorités d'intervention Encadré 2 - L'intégration de l'égalité des chances : une définition L'intégration (gender mainstreaming) correspond à la prise en compte systématique des priorités et des besoins spécifiques des femmes et des hommes dans toutes les actions et les politiques communautaires. Cela implique la prise en compte visible et active, dès l'étape de planification, des effets des interventions sur les situations particulières des femmes et des hommes pendant la conception, la mise en œuvre et l'évaluation des programmes communautaires. L'intégration suppose la sélection de mesures visant à adapter l'organisation sociale et économique pour assurer une distribution des rôles plus égalitaires entre les hommes et les femmes. Cependant, les évaluations qui abordent ce thème sont encore peu nom breuses compte tenu de la nouveauté de cette préoccupation dans la plupart des pays. Ces évaluations thématiques sont plus souvent de type ex ante que ex post. Les exemples d'évaluation présentés sont dès lors davantage tournés vers l'analyse prospective que rétrospective. Il a donc été nécessaire, pour préparer ce chapitre, d'aller au-delà des pratiques existantes. La troisième partie du texte traite des évaluations thématiques par domaine d'intervention. Quatre domaines ont été retenus, non pour des raisons stra tégiques mais, plus prosaïquement, parce qu'ils ont fait récemment l'objet d'évaluations thématiques européennes dans le cadre des Fonds structu rels. Sont examinés : la recherche-développement, les transports et les télé communications et le tourisme. Le premier de ces secteurs est abordé de façon détaillée, les deux autres sont succinctement évoqués. Pour une vue plus complète on pourra se reporter au second Volume de la Collection qui traite de l'ensemble des secteurs d'interventions du point de vue des indica teurs de suivi et d'évaluation. La partie IV de ce volume est centrée sur la mise en pratique des approches thématiques dans les deux situations types : l'évaluation d'un programme et l'évaluation thématique trans-programme. Pour la première situation, une procédure standard est fournie afin de structurer la mise en place des éva luations au niveau d'un programme et pour que les conclusions puissent être agrégées et synthétisées au niveau supranational. Pour la deuxième situation, les principes fondamentaux des évaluations thématiques au niveau européen sont présentés, en particulier, les problèmes organisation- nels et d'utilisation propres à ce type de démarche. Enfin, cette dernière partie du Volume contient des recommandations pour renforcer la qualité des évaluations transnationales. I Considérations techniques relatives à l'évaluation d'impacts thématiques L'évaluation des impacts des interventions structurelles se construit autour d'un certain nombre de tâches élémentaires mais d'une grande importance. Elles doivent être entreprises de telle sorte que l'évaluation soit centrée sur un thème, une priorité politique ou un programme dans sa totalité. Ces tâches essentielles sont notamment : la clarification des objectifs explicites et implicites, la sélection d'indicateurs, la collecte de données et l'estimation des impacts nets. Cette partie du Volume a pour objectif de présenter les concepts pertinents et les approches communes aux différents thèmes qui sont examinés dans la suite du texte et d'éviter des redondances entre les chapitres. Cette présentation n'est donc pas spécifique à un thème, elle contient des exemples tirés des sections thématiques du présent ouvrage. ■ Clarifier les objectifs explicites et implicites des interventions centrées sur un t h è me La clarification des objectifs d'un programme est l'une des premières étapes d'une évaluation. Lors de l'évaluation ex ante d'un programme, il est important de clarifier non seulement ses objectifs centraux ou globaux, mais également les objectifs associés à des priorités spécifiques, telles que celles mentionnées dans le présent ouvrage. En ce qui concerne les évaluations à miparcours, des objectifs supplémentaires sont susceptibles d'apparaître en cours de programme et doivent être clarifiés. Même s'il existe un objectif prioritaire unique (par exemple la promotion d'un développement durable pour l'environnement), il est probable que cet objectif ne sera atteint que si des objectifs spécifiques et intermédiaires, sont euxmêmes atteints. Il est donc nécessaire d'établir une hiérarchie claire des objectifs et de spécifier leurs relations. Il est possible de construire un « arbre d'objectifs »afin d'établir cette hiérar chie. Cet outil permet d'examiner la cohérence interne entre les différentes mesures d'un programme par rapport aux objectifs prioritaires généraux : à la fois verticalement, entre différents niveaux d'objectifs, et horizontalement, entre objectifs du programme sur une même « branche » de l'arbre d'objec tifs. Il facilite également l'examen de la cohérence externe d'un programme avec d'autres politiques publiques. Ainsi, par exemple, une intervention structurelle en faveur des PME peut viser le développement de leur capacité d'innovation, le renforcement des réseaux et le transfert de technologie. Parallèlement, de nombreux Etats membres cherchent à créer un environne ment commercial général favorable au développement des petites entre prises. Un examen de la cohérence externe peut s'intéresser plus particuliè rement à la compatibilité des objectifs de ces diverses interventions européennes, nationales et régionales. Si la hiérarchie des objectifs est généralement basée sur des documents officiels, il peut également être utile, dans le cas des évaluations théma tiques, d'intégrer des objectifs implicites dans l'analyse. Un « arbre d'objec tifs » construit de cette façon peut donc être considéré comme un arbre d'objectifs thématique. Bien que l'intégration d'objectifs implicites dans l'analyse permette de mieux comprendre la logique d'un programme, l'utili sation d'objectifs implicites comme critères d'évaluation exige une certaine prudence. Lorsqu'il s'agit de juger le travail d'opérateurs et de gestionnaires Considérations techniques de programmes, les objectifs implicites ne peuvent être utilisés qu'en relation avec les objectifs explicites d'une intervention. Le principe de l'arbre d'objectifs thématique est illustré dans l'Encadré 3 qui met en évidence comment les actions financées par les Fonds structurels sont conçues pour atteindre un objectif global explicite, la cohésion écono mique et sociale. Dans le cas de la promotion de l'égalité entre hommes et femmes, les objectifs associés à cette priorité politique sont en grande partie implicites et l'arbre d'objectifs sera par conséquent plus délicat à construire. Les objectifs généraux (à gauche du diagramme) sont clairement indiqués dans les textes officiels. Ce n'est pas souvent le cas des objectifs intermé diaires et spécifiques. Ces objectifs sont habituellement « construits » impli citement par les différents acteurs du programme et servent à orienter leurs décisions opérationnelles. La hiérarchie des objectifs implicites est présentée dans un arbre d'objectifs thématique qui permet de clarifier les relations entre les actions et les objectifs de la priorité politique et ainsi de structurer la démarche d'évaluation. Encadré 3  Construire un arbre d'objectifs thématique Objectifs globaux < Arbre d'objectifs du programme Cohésion économique et sociale Développement ι équilibré entre ' les femmes et ' les hommes ' Arbre d'objectifs thématique Objectifs intermédiaires et spécifiques Actions Objectifs explicites Objectifs implicites Evaluation transversale des impacts sur les priorités d'intervention Les arbres d'objectifs des chapitres suivants sont présentés à titre d'illustration uniquement. Ils doivent être construits par l'équipe d'évaluation en consultation avec le groupe de pilotage de l'évaluation et en fonction du programme spéci fique à évaluer. En outre, ces arbres d'objectifs ne sont ni exhaustifs, ni définitifs et'doivent être modifiés au fil du temps pour tenir compte de l'évolution des priorités politiques et du contexte socioéconomique. Pour en savoir plus sur la clarification des objectifs à l'aide d'un arbre d'ob jectifs, consultez le Volume 1 de la Collection MEANS. ■ Sélectionner des indicateurs pour les évaluations thématiques Le Volume 2 de la Collection MEANS est consacré aux indicateurs pour le suivi et l'évaluation des interventions des Fonds structurels. Seuls les éléments essentiels sont développés ciaprès. Afin d'évaluer les impacts associés à un thème donné, il convient de définir des indicateurs fournissant une estimation du phénomène à mesurer. Il peut être nécessaire de sélectionner plusieurs indicateurs complémentaires pour estimer un impact jugé important. Pour estimer la qualité de l'air, par exemple, il faudra utiliser un certain nombre d'indicateurs associés à diffé rents types d'émissions atmosphériques. Compte tenu de la multiplicité des objectifs, des différentes composantes d'un programme (axes, mesures, actions) et de la nécessité de tenir compte des priorités politiques transversales, il est difficile d'imaginer un système opérationnel d'indicateurs comprenant des indicateurs pour toutes les com posantes à tous les niveaux. Il est par conséquent nécessaire de sélection ner des indicateurs qui répondent aux besoins les plus importants des ges tionnaires et des responsables politiques et pouvant être collectés à un coût raisonnable. Les indicateurs retenus doivent être fiables, donner la même indication quelle que soit la personne qui les quantifie et fournir des informa tions à jour sur les effets mesurés. La construction d'un système d'indica teurs pour une évaluation thématique exige, avant toute chose, que les questions à évaluer soient dûment établies. En outre, les critères d'évaluation selon lesquels une intervention sera jugée doivent être définis. Enfin, les indicateurs de contexte, qui fournissent des informations sur la situation de référence d'une intervention, et les indica teurs de programme, centrés sur les effets directs et indirects sur les desti nataires d'une intervention, doivent être sélectionnés à la lumière des questions et des critères d'évaluation retenus. Considérations techniques L'analyse approfondie des impacts exige également de prendre en c o m p te les facteurs exogènes, c'est à dire les paramètres socio-économiques sur lesquels le programme n'a pas d'influence et qui ont une incidence sur les effets produits. Il est par conséquent utile d'identifier l'influence spécifique des facteurs concurrents au moyen d'indicateurs appropriés. Un système d'indicateurs est conçu pour permettre le suivi d'une interven tion depuis les ressources employées lors de la mise en œuvre jusqu'aux impacts les plus éloignés dans la chaîne de causalité. Pour cela, les indica teurs fournissent des informations sur les ressources humaines et finan cières employées pour mettre en œuvre une intervention (indicateurs de res sources), sur les réalisations matérielles et immatérielles produites (indicateurs de réalisations) et sur les impacts subséquents sur les destina taires directs et indirects (indicateurs d'impact). Dans la mesure où il existe différents types d'indicateurs et de concepts qui leur sont associés, il est nécessaire d'utiliser des définitions standards, (voir le Volume 2 de la Collection MEANS). Exemple : Indicateurs de mesure des effets d'interventions visant à améliorer la qualité et les ressources en eau Afin d'améliorer et de préserver la qualité de l'approvisionnement en eau, un programme d'investissement est prévu dans le but d'augmenter la quantité d'eaux usées traitées et de réduire les pertes d'eau dues aux fuites. Les indicateurs de réali sation sélectionnés mesurent les réalisations physiques des interventions, telles que, par exemple, les kilomètres de canalisations d'alimentation modernisés, la capacité des nouvelles stations d'épuration construites pour assurer un traitement primaire / secondaire. Un Indicateur de résultat mesure par exemple le nombre de maisons indi viduelles ou d'entreprises raccordées à la station. Les indicateurs d'impacts mesurent notamment le volume d'eau consommé et le volume d'eau perdu correspondant aux fuites. Les indicateurs d'impact reflètent également les améliorations qualitatives et quantitatives des nappes phréatiques et la qualité des rivières. Ils mesurent, par exemple, le taux de prélèvement sur les sources, le pourcentage d'échantillons d'eaux usées conformes aux directives de la CE et le pourcentage de kilomètres de rivières surveillées subissant une pollution légère à modérée. Il est nécessaire de tenir compte de la durée des effets, faute de quoi l'esti mation serait faussée par des informations incomplètes. Cela entraînerait une sous-estimation des effets prévus qui ne se sont pas encore produits et/ou une surestimation des effets temporaires qui sont susceptibles de dis paraître. Evaluation transversale des impacts sur les priorités d'intervention Exemple : Détermination de la durabilité des impacts sur l'emploi de mesures en faveur de la R&D. Un projet pour améliorer la collaboration entre les PME et les organismes publics de recherche produira des effets d'emploi différents sur des durées différentes. A court terme, les effets d'emploi seront essentiellement temporaires, avec des emplois préservés ou créés pendant la mise en place du projet (conseillers, consultants, etc. ). A moyen terme, le recrutement de techniciens, de chercheurs et de scientifiques parti cipant au projet créera des emplois permanents pour les individus associés à la recherche. A plus long terme, on aura des impacts sur l'emploi au sein des PME impli quées dans les projets de recherche, lorsque les innovations créées seront commer cialisées et lorsque les niveaux de production augmenteront. Il convient de tenir compte de quatre caractéristiques de base des indica teurs lors de l'interprétation des données. Premièrement, l'information fournie peut nécessiter un traitement complémentaire, dans la mesure où elle n'est pas toujours utilisable ou communicable sous sa forme initiale. Ensuite, les changements mesurés peuvent ne pas être entièrement impu tables à l'intervention évaluée et, en tout état de cause, l'analyse d'un indi cateur ne suffit pas à établir des relations de cause à effet. En outre, lorsque l'on compare des informations fournies par un indicateur, il est important que la comparaison soit pertinente (c'est à dire que la situation de référence soit la même). Enfin, les indicateurs doivent également fournir des informations sur les facteurs concurrents qui influencent l'évolution de la situation de référence (par exemple, lorsque l'on évalue l'impact d'un programme de création d'emploi sur le chômage, il faut tenir compte des changements de volume de la population active). ■ Rassembler des d o n n é es sur un t h è me Lorsque l'évaluation d'un thème est réalisée dans le cadre d'un programme, il est recommandé de la fonder sur une recherche documentaire et sur des données existantes (par exemple, données de suivi, enquêtes statistiques et rapports d'évaluation existants), complétées par des études de cas, des entretiens individuels et des entretiens de groupe (Voir l'approche « pas à pas » présentée dans la partie IV). Considérations techniques Encadré 4 - La construction d'une méthode d'évaluation et le choix d'outils pour une analyse approfondie des impacts Lorsqu'une analyse approfondie des impacts est nécessaire, il convient de construire une méthode d'évaluation en plusieurs étapes (une « chaîne technique ») qui intègre un ensemble d'outils interdépendants pour la collecte et l'analyse des données primaires. L'approche « pas à pas » des évaluations thématiques, proposées dans le chapitre IV du présent Volume, reste fidèle au concept de « chaîne technique » mais favorise l'utilisation d'une gamme d'outils limitée qui facilite une approche « quick and dirty » de la collecte des données primaires. Les outils nécessaires à l'analyse approfondie ne sont parfois spécifiques qu'à un thème. C'est la raison pour laquelle ils sont présentés séparé ment dans les chapitres consacrés à chacun des thèmes spécifiques. Le choix et l'utilisation d'outils d'évaluation dans le cadre de l'évaluation des interventions structurelles sont abordés de façon plus approfondie dans le Volume 3 de la Collection MEANS. Le suivi et la mise en œuvre des interventions utilisent pleinement les indica teurs de ressources, de réalisations et de résultats. Ils sont quantifiés par les gestionnaires de programme et leurs services, qui effectuent les paiements et créent ou recueillent des informations sur : le nombre de réalisations et / ou le niveau de réalisation physique ; les dépenses ; la description des projets ; les rapports sur les activités des services de gestion. Plusieurs services sont en principe impliqués dans cette activité, et il est donc généra lement nécessaire de centraliser ces données à l'avance, en se concentrant sur les données les plus utiles à la gestion et à l'évaluation des interventions. Pour que ces informations de base soient adaptées et complètes, la collecte des informations de suivi doit être planifiée dès le début, en tenant compte des besoins de l'évaluation. Il n'est toutefois pas toujours possible de renseigner les indicateurs via les systèmes d'information existants. C'est en particulier le cas pour la majorité des indicateurs d'impacts à court et à moyen terme des interventions structurelles. L'utilisation des données de séries statistiques chronologiques à des fins d'évaluation est relativement rapide et bon marché, mais présente un certain nombre d'inconvénients : le décalage inhérent à la production de données Evaluation transversale des impacts sur les priorités d'intervention dans le cadre des enquêtes des offices statistiques nationaux ; l'absence d'un lien direct entre un critère d'évaluation et les statistiques disponibles ; la différence entre la zone géographique couverte par une intervention et les territoires ou groupes de territoires utilisés pour compiler les statistiques. Des observatoires statistiques régionaux ont parfois été créés mais, même lorsque des statistiques sont présentées au niveau des subdivisions territo riales des Etats membres, ces subdivisions ne correspondent pas toujours avec les zones éligibles au titre des Fonds structurels. Dans ces conditions, les tendances soulignées par les statistiques ne permettent pas d'étayer des conclusions relatives aux effets d'un programme donné. Des systèmes d'information statistique sont toutefois en cours de dévelop pement pour pallier cet inconvénient. Eurostat coordonne la collecte des données utilisées pour renseigner les indicateurs d'activité de 35 secteurs industriels dans toutes les zones éligibles pour l'aide au développement socio-économique et à la reconversion industrielle. Ces données sont dis ponibles pour la période 1985-1993 et seront également disponibles pour la période 1994-1999. Les différentes sources d'information sont présentées ci-dessus avec leurs points forts et leurs points faibles (Encadré 5). Encadré 5 - Forces et faiblesses typiques des sources d'information existantes Forces Faiblesses Systèmes de suivi • Produits à intervalles rapprochés • Relativement à jour • Généralement disponibles • Signification explicite • Relativement peu coûteux • Rapports parfois peu fiables • Rarement disponibles pour toutes les mesures/actions • Les données sur les réalisations et les résultats physiques des différentes composantes sont souvent hétérogènes • Difficilement comparables Enquêtes statistiques permanentes • Faible coût • Fiabilité • Richesse • Comparabilité • Facilité d'obtention de l'information • Souvent sans lien direct avec les critères d'évaluation • Niveau géographique pas toujours adapté • Les informations ne sont pas à jour Autres recherches et évaluations • Faible coût • Données déjà analysées • Les informations ne sont pas à jour • Souvent trop limitées pour fournir une réponse fiable et généralisable Considérations techniques Compte tenu de leurs forces et faiblesses respectives, ces sources d'infor mation sont plus complémentaires qu'alternatives. Ainsi, les enquêtes sta tistiques permanentes fournissent des données de comparaison (exemple : évolution de l'emploi au niveau régional et national) et des indications sur l'évolution du contexte (exemple : situation économique, évolution de la population active, croissance ou déclin de certains secteurs) qui permettent d'approfondir l'analyse des impacts, voire dans certains cas, fournissent des indicateurs d'impacts pertinents à faible coût. Les évaluations et les recherches existantes, fournissent quant à elles des éléments de comparai son (effets d'interventions similaires), des éléments d'estimation des coeffi cients d'effets d'aubaine ou de déplacement permettant de calculer des effets nets et des hypothèses sur les façons dont les effets se produisent. ■ Estimation d es i m p a c ts nets La nécessité d'estimer l'impact net d'une intervention existe pour tous les thèmes d'évaluation. Toutefois, les indicateurs ne peuvent fournir des infor mations que sur l'Impact brut d'une intervention (c'estàdire sur le change ment observé dans la situation de référence et la situation des destinataires directs ou indirects). L'impact brut d'une intervention n'est pas une bonne approximation de son impact net, ce dernier devant être estimé de façon précise. La quantification des impacts bruts ne constitue donc qu'une première étape du processus d'évaluation des impacts qui sont véritable ment imputables à une intervention. Bien que les facteurs qui doivent être pris en compte lors du calcul des impacts nets dépendent dans une certaine mesure du thème de l'évaluation et des indicateurs employés, la convention cidessous constitue une définition minimale commune : Impacts nets = Impacts bruts  Effet d'aubaine  Effet de déplacement (substitution)* ("involontaire ou indésirable) L'effet d'aubaine est un terme qui désigne le changement qui se serait produit même en l'absence de l'intervention publique évaluée. L'effet de déplacement ne survient que pour les interventions ciblées sur des zones géographiques. Quant à l'effet de substitution, il est à prendre en compte pour les interventions ciblées sur un groupe social donné. Soulignons que les effets de déplacement et de substitution sont soustraits des impacts bruts uniquement lorsqu'ils ne sont pas des objectifs d'une intervention (voir page suivante). Evaluation transversale des impacts sur les priorités d'intervention Pour apprécier l'ampleur de l'effet d'aubaine, il est nécessaire d'établir la situation contrefactuelle (ou le scénario sans intervention) qui est basée sur des projections détaillées de l'évolution probable des variables clés en l'absence de l'intervention. La reconstruction de la situation contrefactuelle est d'une importance critique pour la précision de l'évaluation des impacts des interventions structurelles. Elle constitue, toutefois, une tâche plus complexe au niveau d'un programme car il faut tenir compte de différentes interventions en interrelation. En pratique, il est très rare de pouvoir recons truire la situation contrefactuelle avec certitude. Tout au plus, peut-on faire une estimation raisonnée et justifiée de cette situation. L'Encadré 6 contient une illustration du principe de l'effet d'aubaine. Dans l'exemple choisi, l'évolution du nombre d'emplois pendant la période de l'in tervention (de l'année de base jusqu'au moment où l'évaluation est faite) est javec moins jo, c'est l'impact brut sur l'emploi. Toutefois, on estime qu'au cours de cette période, en l'absence de l'intervention, le volume des emplois s'élèverait à j sans- L'impact de l'intervention, après déduction de l'effet de déplacement correspond à la différence entre javec et j sans- Encadré 6 - Estimation des impacts nets d'effet d'aubaine Emploi J avec Changement situation (impact brut) Effet d'aubaine Année de base Evaluation Considérations techniques Lorsqu'il y a effet de déplacement, les impacts sur les destinataires sont accompagnés d'effets sur des non-destinataires dans la zone du programme. Par exemple, la réduction de la pollution automobile grâce à la construction d'une nouvelle route peut entraîner un déplacement non souhaité du trafic et de la pollution automobile vers une autre zone du programme. Dans ce cas, l'effet n'est pas voulu et le déplacement doit être soustrait des impacts bruts. Par contre, si le déplacement est un impact recherché de l'intervention (par exemple, le déplacement de petites entre prises industrielles créant des nuisances sonores et atmosphériques d'une zone urbaine à forte densité de population vers un site vert), le déplacement n'est pas soustrait de l'impact brut. Lorsque l'intervention entraîne une substitution imprévue de destinataires au détriment d'autres personnes ou groupes, l'effet doit être considéré comme négatif et soustrait des impacts bruts (par exemple, la reconversion d'employés de sexe masculin remplaçant des femmes dans les entreprises locales). Toutefois, si ces effets sont prévus ou recherchés (par exemple, l'in sertion de chômeurs à long terme aux dépens de chômeurs à court terme), l'effet ne doit pas être soustrait des impacts bruts. Il ne faut pas accorder à l'effet de déplacement la même importance qu'à l'effet d'aubaine dans la mesure où ce dernier est plus essentiel pour l'esti mation de l'impact des interventions structurelles. L'effet d'aubaine est souvent d'ampleur importante et l'impact d'une intervention est par consé quent réduit d'autant. La plus ou moins grande homogénéité des impacts a des répercussions sur la façon dont l'effet d'aubaine, l'effet de déplacement et l'effet de substitution peuvent être analysés. En ce qui concerne l'emploi, les impacts sont homogènes et l'estimation de l'effet d'aubaine et de dépla cement se concentre donc sur un seul critère d'évaluation : le nombre d'emplois créés ou maintenus. En revanche, les impacts sur l'environnement sont hétérogènes (qualité de l'air, qualité de l'eau, biodiversité, etc. ). Il est donc nécessaire d'analyser l'impact d'une intervention à l'aide de plusieurs indicateurs pertinents. De même, les impacts des interventions sur la compétitivité des PME (en termes d'innovations, de produits, de chiffre d'affaires, de valeur ajoutée, etc. ) peuvent être estimés à l'aide d'un ensemble d'indicateurs et l'estima tion de l'effet d'aubaine et du déplacement sera plus délicate. Evaluation transversale des impacts sur les priorités d'intervention L'« effet de levier », correspond aux sommes que le secteur privé a investies comme contreparties des projets financés par les Fonds structurels (voir Encadré 7). Il s'agit donc d'un autre effet qui doit être estimé chaque fois que l'un des objectifs de l'intervention est d'encourager la participation finan cière du secteur privé. Outre les effets présentés ci-dessus, il existe différents effets qui, en fonction du thème de l'évaluation, devront être pris en compte. Dans le cas, par exemple, d'interventions en faveur de l'emploi, on peut être amené à estimer « l'effet multiplicateur » de revenu (c'est à dire l'emploi créé ou maintenu indirectement par le revenu supplémentaire généré par les effets d'emploi directs d'une intervention) et « l'effet fournisseur » (c'est à dire l'emploi supplémentaire créé ou maintenu indirectement chez les fournis seurs des entreprises aidées). Ces effets multiplicateurs et fournisseurs aug mentent l'impact net résultant de la formule ci-dessus. Les impacts nets sont parfois appelés « effets additionnels », terminologie qui entraîne des confusions avec la notion « d'additionnalité » utilisée par la Commission européenne. Ce dernier concept est illustré dans l'Encadré 7 : si le principe d'additionnalité est complètement respecté, le financement des Fonds structurels s'additionne à celui du gouvernement national ; le cas contraire est représenté en haut à droite. Cette notion n'est pertinente que pour le contrôle financier au niveau national et non pour l'évaluation de programme. Considérations techniques E n c a d ré 7 - Additionnante, effets d ' a u b a i ne et de levier Niveau du programme Financement des FS Financement privé Financement desFS Financement privé Financement privé Financement privé Financement public national Financement public national Financement public national Financement public national 100% effet d'aubaine Effet de levier Niveau national /' Financement desFS Financement privé Financement privé Financement privé Financement public national Financement public national Financement public national Financement des FS Financement privé Financement public national 100% additionnalité 0% additionnalité Il Analyse thématique des impacts relatifs aux priorités politiques Les interventions structurelles ont pour but de promouvoir la cohésion éco les politiques des différents Etats nomique et sociale et complètent membres. Pour atteindre cet objectif, elles doivent respecter les priorités politiques de l'Union européenne et les principales préoccupations des citoyens européens. Il existe actuellement quatre priorités politiques spéci fiques auxquelles les interventions des Fonds structurels doivent plus parti culièrement répondre : la protection de l'environnement, la compétitivité des entreprises, l'emploi et l'égalité des chances entre les femmes et les hommes. L'évaluation des priorités politiques peut se dérouler dans le cadre d'un programme ou de plusieurs programmes (évaluation thématique transrégio nale ou transnationale). Dans le premier cas, l'objectif est de fournir des conclusions sur la portée des impacts des programmes sur une ou plusieurs politiques prioritaires. Dans le deuxième cas, l'évaluation est spécifiquement centrée surun thème précis couvrant différentes régions sur différents pays. L'un des principaux objectifs de ce type d'évaluation est de détecter des exemples de bonne pratique. Les chapitres suivants sont structurés autour des points clés présentés dans la première partie. Ces points sont examinés et développés dans le contexte de chacune des quatre priorités politiques. Outre ces points, différents outils d'évaluation susceptibles d'être utilisés pour des évaluations plus approfon dies des impacts sont présentés. Evaluer l'impact des interventions structurelles sur l'environnement ■ Pourquoi fautil évaluer les i m p a c ts sur l'environnement ? • Le cadre réglementaire Le problème de l'environnement est devenu, au cours de ces trente dernières années, une préoccupation internationale qui se traduit par une plus grande prise en compte de ces questions dans la législation et les poli tiques publiques. En 1972, l'Union européenne a fait un premier pas avec la Déclaration de Paris sur l'environnement. L'année suivante, la Commission européenne a publié son premier Programme d'action sur l'environnement et finance depuis 1975, une recherche sur l'Evaluation de l'Impact Environ nemental (EIE). En 1977, elle a entamé des travaux sur l'élaboration d'une directive relative à l'évaluation de l'impact environnemental qui a été approuvé par le Conseil en 1980 après une vaste consultation. En 1985, la Directive 85/337/CE a rendu obligatoire l'évaluation des effets d'un large éventail de projets publics et privés, en s'appuyant sur le principe que « la meilleure politique environnementale consiste à prévenir la création de pollution ou de nuisance à la source, plutôt que de lutter contre les effets a posteriori ». Le Traité de l'Union de 1992 a marqué une étape vers une approche plus active, en exigeant que les considérations environnementales soient intégrées dans la formulation et la mise en œuvre de toutes les politiques. Une stratégie pour obtenir un développement durable (c'estàdire le déve loppement qui satisfait les besoins du présent sans compromettre la capacité des générations futures à satisfaire les leurs) a été décrite de façon détaillée dans le Cinquième Programme d'Action sur l'Environnement, adopté par le Conseil en 1993. Ce texte prévoit que « le mot "durable" renvoie à une politique et une stratégie pour un développement économique et social sans préjudice pour l'environnement et les ressources naturelles desquelles dépendent la poursuite de l'activité humaine et du développe ment ». Ainsi, les politiques de développement économique de l'Union européenne admettent de plus en plus le rapport entre développement et environne ment, et reconnaissent que la cohésion de l'Union imposera de suivre une Evaluation transversale des impacts sur les priorités d'intervention trajectoire durable, à la fois en termes économiques et environnementaux. La réforme des Fonds structurels de 1993 prévoit de manière explicite que, dans toutes les activités bénéficiant de l'aide des Fonds, l'on tienne compte de l'impact sur l'environnement. De fait, tous les projets soumis par les Etats membres pour l'obtention de subventions dans le cadre des Objectifs 1, 2 ou 5b doivent depuis cette date inclure « une appréciation de l'état de l'envi ronnement de la région concernée ainsi qu'une évaluation de l'impact envi ronnemental de la stratégie et des opérations. »'. Cette exigence a été soulignée par la création, en 1993, du Fonds de cohésion qui consacre une partie substantielle de ses ressources à des projets dont les objectifs premiers sont environnementaux. Toutefois, pour les Fonds structurels en général, l'objectif principal de nombreuses interventions n'est pas environ nemental et il existe souvent une tension entre le type d'activités qui est considéré comme nécessaire à la promotion du développement écono mique, et les préoccupations environnementales. • La relation entre l'environnement et la cohésion Il n'existe évidemment pas de corrélation immédiate ou automatique entre le niveau de développement économique d'une région et l'état de son environ nement. Les régions économiquement développées, comme les régions sous-développées, peuvent avoir un environnement sain ou connaître de graves problèmes d'environnement. Par le passé, on a souvent considéré que le contrôle de l'impact sur l'environnement occasionnait des coûts, et avait donc inévitablement un effet contraignant sur le développement éco nomique. Aujourd'hui, il est de plus en plus largement reconnu que la pro tection et / ou l'amélioration de l'environnement et le développement de l'économie sont non seulement interdépendants à long terme, mais offrent en outre des possibilités d'activités complémentaires significatives plus immédiates. Les stratégies de forte croissance et de faible protection de l'environnement ne peuvent être maintenues sur le moyen et long terme. Elles doivent donc être Identifiées et remplacées par des stratégies orientées vers la durabilité. En outre, les stratégies de développement économique peuvent tirer parti de l'effet attractif sur l'investissement que représente un environnement de qualité et utiliser les activités associées à l'amélioration de l'environnement comme moyen d'impulser une croissance économique. Une réponse à des problèmes environnementaux, même très spécifiques, peut à la fois 1. Réglementation du Conseil n° 2081/93, partie I Evaluer l'Impact sur l'environnement apporter des opportunités d'emploi à court et à moyen terme et alimenter des stratégies de développement économique plus diversifiées. Le développement « d'éco-industries » constitue peut-être l'exemple le plus évident de la complémentarité de la protection de l'environnement et du développement économique. Ces industries ont été développées afin de répondre à la demande croissante des consommateurs pour des produits qui respectent l'environnement. Elles résultent également du développe ment des contrôles de pollution et de la prise de conscience générale de l'importance de l'impact de l'activité humaine sur l'environnement. • Le besoin d'évaluation Dans la mesure où la cohésion ne peut être atteinte qu'à travers une activité durable à la fois en termes économiques et environnementaux, le suivi et l'évaluation doivent systématiquement en tenir compte. La Commission est en effet désormais tenue de respecter les préoccupations environnementales dans la conception, le suivi et l'évaluation des interventions structurelles. En ce qui concerne les interventions structurelles dans les régions moins développées et dans les zones rurales, un nombre non négligeable de mesures ont des objectifs environnementaux clairs. Les répercussions sur l'environnement des réalisations financières dans ces zones sont relative ment directes, même si la mesure des effets réels de ces activités s'avère techniquement difficile. Dans les autres régions, les conséquences sur l'en vironnement des activités aidées sont souvent plus diffuses et plus difficiles à évaluer. Les techniques d'évaluation de l'impact environnemental sont devenues de plus en plus sophistiquées au cours des dernières décennies. Toutefois, elles sont pour la plupart limitées à la mise en œuvre de projections ex ante d'impacts dans une perspective d'aide au choix entre différentes politiques et projets possibles. De fait, l'évaluation ex ante des impacts sur l'environne ment est prise en compte de manière de plus en plus significative et systé matique dans la formulation et la planification des interventions structurelles. En revanche, l'évaluation des impacts réels de ces interventions (considé rées individuellement ou globalement) est encore peu développée. Quoi qu'il en soit, la Commission doit veiller à ce que des méthodes soient disponibles pour évaluer l'impact réel sur l'environnement de l'ensemble des activités souvent hétérogènes soutenues par les Fonds structurels et ce pour trois raisons principales : Evaluation transversale des impacts sur les priorités d'intervention • premièrement, il faut mesurer le degré de réussite des efforts de promotion de la cohésion que l'on a obtenu dans l'esprit du développement durable. Pour ce faire, des indications sur l'impact environnemental des politiques structurelles dans leur ensemble doivent être recueillies. • deuxièmement, il convient de vérifier que les priorités environnementales, définies dans les programmes cofinancés, ont effectivement été respectées ; • enfin, concernant les projets individuels, les critères de sélection en rapport avec l'environnement doivent être validés en comparant les impacts escomptés avec les résultats réels. Les politiques structurelles de l'UE sont mises en œuvre par l'intermédiaire de programmes complexes et hétérogènes. Dans la mesure où il est néces saire d'apprécier l'impact global de ces politiques, il convient d'évaluer non seulement l'ensemble des conséquences sur l'environnement des projets dotés d'objectifs environnementaux explicites, mais aussi les implications environnementales des projets et des politiques socioéconomiques, qui n'ont pas d'objectif environnemental explicite ou ne présentent pas d'impact direct sur l'environnement. Malheureusement, les méthodologies pour l'évaluation de l'impact sur l'en vironnement sont appropriées pour des projets spécifiques, mais peu adaptées à des programmes ou à des politiques de plus grande envergure. Il est vrai qu'au cours des dernières années, l'approche dite « Evaluation Envi ronnementale Stratégique » (EES) a été développée pour l'évaluation de l'impact de politiques plus globales. Il apparaît toutefois que cette approche n'est pas encore tout à fait au point techniquement et s'avère plus appro priée dans le cadre d'une évaluation ex ante que pour des évaluations à mi parcours ou ex post. Au vu de ce que nous venons de dire, le présent chapitre s'intéresse plus particulièrement aux techniques qui semblent, sous une forme à la fois sim plifiée et opérationnelle, adaptées à l'un ou l'autre des types d'évaluation. ■ Définir ce qu'il faut évaluer • L'environnement et ses influences Le concept d'environnement couvre un large éventail de sujets aux interrela tions complexes. Il est par conséquent important d'identifier clairement les caractéristiques principales de l'environnement et les mécanismes les plus fondamentaux qui le constituent. Evaluer l'impact sur l'environnement On peut considérer que les ressources naturelles sont simplement un ensemble de ressources consommables. Cette consommation a bien entendu un impact sur l'environnement et peut entraîner des modifications dramatiques de l'écosystème, modifications qui peuvent être jugées positives ou négatives. En fait, l'intervention humaine sur l'environnement va toujours au-delà de la simple consommation de ressources naturelles. Elle entraîne la construction d'infrastructures et d'habitations, l'utilisation d'énergie, le transport de personnes et de biens, ainsi que la production de déchets provenant de ces activités, qui sont autant d'éléments ayant un impact sur l'environnement. Tous sont imbriqués et les changements qui s'opèrent peuvent être négatifs mais parfois positifs. Exemple : Les effets de l'activité agricole sur l'environnement L'activité agricole est très diversifiée aussi bien en termes de production que de tech niques utilisées. L'utilisation de l'agriculture intensive peut avoir des effets négatifs sur l'environnement. Elle peut, par exemple, entraîner une détérioration de la qualité du sol, de l'eau et de l'air, ainsi que la disparition d'habitats et la réduction de la biodiver sité. Mais l'activité agricole peut également avoir des effets positifs lorsqu'elle utilise des cultures qui absorbent le gaz carbonique, et peut contribuer, grâce à une bonne gestion des terres, à la conservation et à l'amélioration de la biodiversité et du paysage ainsi qu'à la prévention des crues et des glissements de terrain. Les déterminants de base de l'évolution de l'environnement sont exposés schématiquement dans une adaptation du cadre « Driving Force-State- Response » (<· Force Motrice-Etat-Réponse ») (DF-S-R) (voir Encadré 8). Ce modèle représente l'environnement comme étant composé essentiellement d'éléments non humains évoluant en interaction pour former des écosys tèmes complexes et à l'équilibre délicat. C'est l'un des nombreux modèles qui ont été élaborés pour expliquer les déterminants du changement envi ronnemental (d'autres exemples plus récents comprennent le modèle Force Motrice-Etat-Impact-Réponse) de l'Agence Européenne de l'Environnement et le cadre DF-S-R adapté par l'OCDE pour inclure les liens agri-envlronne- mentaux et l'agriculture durable. Evaluation transversale des impacts sur les priorités d'intervention Encadré 8 - Adaptation du modèle de développement durable Force Motrice-Etat-Réponse Economie 1 transport énergie industrie agriculture commerce tourisme t Etat de l'environnement Richesse et bien-être Pressions (économiques) ou forces motrices air eau sols Bien-être (public et privé) Utilisation (économique) des ressources faune et flore Ressources naturelles Réponses (des pouvoirs publics) réponses Acteurs ~l administrations ménages entreprises agences internationales J Department of the Environment. (1993), Environmental Appraisal of Development Plans, A good practice guide. London: HMSO. L'environnement peut être défini de manière large comme l'ensemble des éléments naturels qui entourent un individu (homme, animal ou végétal). Dans le modèle ci-dessus, cet ensemble d'éléments naturels comprend l'air, l'eau, la terre, la faune et la flore et les ressources naturelles. Les change ments environnementaux dans le contexte du développement de secteurs économiques spécifiques sont identifiés plus précisément sous la forme : • des Forces Motrices qui peuvent être définies comme les éléments provo quant des changements (aussi bien positifs que négatifs) de l'état de l'envi ronnement. Elles comprennent les processus et les facteurs environnemen taux naturels, les donnés biophysiques et les pressions socio-économiques ; • des changements précis d'états de l'environnement qui traduisent les changements Intervenus et qui peuvent être attribués à ces Forces ; • des réponses en termes de politiques et de comportement qui sont apportées suite à ces changements de l'état de l'environnement. Ce cadre permet d'examiner les problèmes de façon claire et systématique, favorisant ainsi une appréhension équilibrée des considérations environne mentales, économiques et politiques. Par contre, il ne permet pas le rappro- Evaluer l'impact sur l'environnement chement final des différents types de critères alors que ce rapprochement est crucial en matière de développement durable à cause des tensions qui existent entre l'activité économique et les préoccupations environnemen tales. Le concept même de développement durable est basé sur le principe que la croissance économique ne devrait pas entraîner de coût inacceptable pour l'environnement. Mais il est souvent difficile de définir des critères qui permettent de formuler des jugements qui soient valables à la fois en termes économiques et environnementaux. • Les impacts environnementaux induits par la réalisation d'objectifs non environnementaux Le cadre précédent est un outil intéressant de conceptualisation des déter minants des changements environnementaux. Cependant, construit sur la base d'une chaîne de causalité circulaire, son utilisation est limitée pour évaluer les impacts des interventions structurelles sur l'environnement. Une approche plus adaptée consiste à construire une typologie des impacts environnementaux qui associent des préoccupations socio-économiques et environnementales. Une telle typologie construite en vue d'intégrer l'ensemble des probléma tiques de l'Union européenne comprend les six catégories suivantes : • Qualité de l'eau et ressources en eau ; • Atmosphère et polluants atmosphériques ; • Gestion de l'environnement et innovation des entreprises ; • Utilisation des terres et paysages ; • Faune et flore; • Comportement environnemental des individus. Les catégories de cette typologie ne s'excluent pas mutuellement. Ainsi, par exemple, une action ayant pour but de développer les transports en commun, peut avoir un impact direct sur le « comportement environnemen tal des individus » et un impact direct sur « l'atmosphère et les polluants atmosphériques ». En effet, elle réduit l'utilisation des véhicules privés et, par conséquent, les émissions de gaz d'échappement ainsi que la consom mation des ressources énergétiques non-renouvelables. De même, les impacts entrant dans la catégorie « gestion de l'environnement et innovation des entreprises » auront tendance à être en amont d'impacts'entrant dans d'autres catégories. Il est toutefois peu probable que tous ces niveaux d'impact puissent être suivis avec précision. Ce type d'approche permet de Evaluation transversale des impacts sur les priorités d'intervention déterminer l'impact le plus direct tout en laissant ouvertes des possibilités d'identifier les impacts indirects. Cette approche permet également d'analy ser et de travailler séparément sur des thèmes spécifiques. L'Encadré 9 donne les exemples d'effets (impacts et résultats) qui ont servi à construire cette typologie des impacts. Encadré 9 - Tj structurelles E rpologie détaillée des impacts des interventions iur l'environnement Catégories d'impact Exemples d'impacts et de résultats Qualité de l'eau et ressources en eau • proportion accrue des déchets industriels et toxiques traités • proportion accrue de la population raccordée à des installations de traitement des eaux usées • baisse de l'utilisation de nitrates dans l'agriculture • amélioration de la qualité des eaux souterraines, des rivières et des eaux marines • réduction des fuites des eaux traitées au niveau des conduites d'eau • augmentation du traitement des eaux usées Atmosphère et pclluants atmosphériques • amélioration de la collecte, du traitement et du recyclage des déchets industriels solides • accroissement de la réutilisation, de la collecte et du recyclage des déchets Gestion de l'environnement et innovation des entreprises Utilisation des terres et paysages urbains • réduction en nombre et en taille des dépôts d'ordures et baisse de la pollution des eaux souterraines • réduction des émissions industrielles de C02, d'oxydes de soufre et de nitrogene et d'hydrocarbones • nouveaux brevets dans les technologies liées à l'environnement • nouvelles entreprises spécialisées dans les produits et les services liés à l'environnement • accroissement de l'investissement dans les « technologies propres » • traitement et récupération de friches industrielles et de zones urbaines à l'abandon • accroissement du nombre de zones classées et protégées • aires naturelles protégées interdites au développement industriel et aux projets de développement • protection des zones et des monuments historiques et ayant un intérêt architectural Flore et faune • diminution de l'utilisation de pesticides et d'herbicides • maintien de la biodiversité • nettoyage des zones côtières, des plages et des rivières • amélioration de la gestion des zones boisées et des ressources Comportement environnemental des individus • accroissement de la proportion des banlieusards qui utilisent les transports en commun • augmentation de la proportion des touristes hors saison • diminution de l'utilisation des véhicules individuels Evaluer l'impact sur l'environnement • Clarifier les objectifs environnementaux L'évaluation de l'impact environnemental des interventions structurelles a pour objet d'obtenir une mesure des effets d'un ensemble d'activités qui sont toutes conçues pour favoriser la cohésion économique et sociale, mais dont certaines seulement comportent des objectifs environnementaux. Lorsque des objectifs environnementaux sont explicitement intégrés à une intervention, celle-ci est évidemment conçue pour avoir un impact positif sur l'environnement. Toutefois, les impacts des autres interventions sur l'envi ronnement peuvent être positifs ou négatifs. Aussi, une évaluation complète de l'impact sur l'environnement doit prendre en compte la totalité de ces effets. Les objectifs de chaque composante d'un programme et les rapports entre les différents niveaux d'un programme sont rarement articulés aussi claire ment et aussi explicitement qu'on pourrait l'espérer. En outre, comme les répercussions de certaines interventions sur l'environnement sont souvent confuses, il est habituellement conseillé de commencer par clarifier les objectifs. L'approche proposée dans la 1ère partie du Volume pour la clarifi cation des objectifs des interventions des Fonds structurels consiste à construire un « arbre d'objectifs ». A titre d'exemple, la typologie des impacts potentiels a été intégrée dans un « arbre d'objectifs » spécifique aux impacts environnementaux des interven tions structurelles (voir Encadré 10). L'objectif global du programme, qui est de favoriser un développement durable d'un point de vue environnemental, est lié, via des objectifs intermédiaires, à des exemples d'objectifs spéci fiques relatifs à des mesures éventuelles d'un programme et à d'autres inter ventions. Les liens entre les objectifs intermédiaires sont indiqués en fonction de leur position relative et de leurs relations entre eux. Cet arbre est principalement basé sur des objectifs environnementaux supposés expli cites dans la mesure où les objectifs implicites d'un programme sont seulement révélés par des entretiens avec les décideurs et les gestionnaires du programme. Evaluation transversale des impacts sur les priorités d'intervention Encadré 10 - Priorités environnementales des interventions des Fonds structurels présentées sous forme « d'arbre d'objectifs » Objectifs globaux Exemples d'objectifs spécifiques Amélioration Oe la qualité -| de l'eau et de la gestion des ressources en eau • Augmentalion du nombre de ménages et siles industriels raccordés à un système de traitement des eaux usées Amélioration de la qualité de l'air et réduction des polluants atmosphériques • Amélioration de la collecte, du traitement et du recyclage des déchets industriels - 1- Meilleure gestion de l'environnement et innovation des entreprises • Augmentation de la recherche sur l'environnement • Augmentation de l'efficacité énergétique des PME Promouvoir le développement durable sur le plan environnemental Meilleure utilisation des terres et protection des paysages Protection de la llore et de la faune • Augmentation du nombre de sites indus triels dans les zones développées • Amélioration de la protection des sites classés • Amélioration de la protection des zones côlières et marilimes Comportements humains plus responsables par rapport à l'environnement • Développement des transports en commun • Renforcement du tourisme vert L'arbre d'objectifs facilite l'identification précise des objectifs environne mentaux d'un programme, la clarification des relations et des priorités internes ainsi qu'un meilleur jugement à la fois de la cohérence interne des éléments d'un programme en relation avec l'environnement et de leur cohérence externe avec d'autres politiques publiques. • Effets nets et bruts sur l'environnement L'environnement est soumis à une combinaison complexe de pressions provenant de l'activité économique et des effets du comportement indivi duel et collectif, ainsi que des effets d'un éventail d'interventions de poli tiques publiques. Ainsi, un impact environnemental observé n'est pas entiè rement attribuable à une intervention. Il est donc important d'en déterminer l'effet d'aubaine, afin de pouvoir évaluer ses effets nets. Dans ce contexte, l'effet d'aubaine est le changement environnemental qui peut être conforme aux objectifs environnementaux poursuivis mais qui se serait produit même en l'absence de l'intervention. Evaluer l'impact sur l'environnement L'effet de déplacement fait référence dans ce contexte au déplacement géo graphique d'impacts environnementaux négatifs plutôt qu'à leur diminution. Le déplacement est devenu un sujet de préoccupation en matière d'environ nement, avec, par exemple, des pratiques consistant à « délocaliser » des activités produisant des déchets toxiques et radioactifs vers d'autres sites qui ne sont pas mieux équipés pour prendre en charge de telles substances mais qui sont moins contrôlés. Exemple : Calcul de l'effet net d'une rocade sur l'environnement La construction d'une rocade a entraîné une importante réduction du trafic dans le centre d'une ville. Après achèvement du projet, on a enregistré une baisse d'environ 20% des émissions de gaz d'échappement. Ce chiffre représente l'impact brut de l'in tervention. Or, dans la même période, l'accroissement dans le reste du pays de l'utili sation des véhicules privés a conduit à une augmentation de 5% des gaz d'échappe ment (situation contrefactuelle). Cependant, bien que la rocade ait eu un effet environnemental positif évident, un certain nombre de zones résidentielles de banlieue, situées à proximité de la rocade, ont subi une augmentation du trafic car les automobilistes ont modifié leurs trajets habituels pour tirer parti de cette nouvelle configuration. L'augmentation des gaz d'échappements qui en résulte et qui corres pond à l'effet de déplacement de l'intervention a été estimée à 10%. Pour passer de l'effet brut de l'intervention à son effet net, il faut enlever l'effet d'aubaine (situation contrefactuelle  situation de base) et l'effet de déplacement. Il est également important de vérifier qu'aucune des mesures contenues dans un programme ne conduira à dupliquer des politiques régionales déjà en place. En admettant que des mécanismes d'aide aux projets de R&D accroissent la R&D sur l'environnement, l'impact positif sur l'environnement d'une mesure d'aide à la R&D d'un programme pourrait ne pas être entière ment attribuable à cette mesure. Une partie de cet impact devrait être par conséquent soustraite de l'impact brut. ■ Exemples d'impacts par d o m a i ne d'intervention Trois grands types d'interventions sont généralement pris en charge par les Fonds structurels : la fourniture d'infrastructures de base ; l'aide à l'environ nement productif et le développement des ressources humaines. Chacun de ces types d'interventions peut avoir des impacts sur l'environnement, comme l'illustrent les trois exemples cidessous. Evaluation transversale des impacts sur les priorités d'intervention • Les impacts potentiels de la fourniture en infrastructures de base La prise en charge de la fourniture d'infrastructures de base a généralement pour but de favoriser indirectement la cohésion en allégeant certaines contraintes spécifiques qui pèsent sur l'activité économique (par exemple en fournissant une eau de bonne qualité conforme à des procédés de pro duction spécifiques) ou en réduisant les coûts de production (par exemple en améliorant le réseau routier). Que les projets d'infrastructure aient ou non des objectifs environnementaux explicites, ils ont des impacts significatifs sur l'environnement, et l'évaluation de l'impact économique d'un projet de ce type doit être complétée par une évaluation de son impact environne mental permettant d'apprécier la durabilité du développement induit. Exemple : Programmes pour un système de rail léger au Royaume-Uni Le South Yorkshire Supertram et le Midland Metro ont été financés dans le cadre de l'Objectif 2 au Royaume-Uni. Ces deux projets devraient entraîner la création de nouveaux emplois, non seulement dans la construction et le fonctionnement des nouvelles infrastructures, mais également en raison de la plus grande compétitivité de la région compte tenu de ses meilleures liaisons avec les grands axes de transport et de la réduction des temps de déplacement. Ces deux projets devraient également générer une baisse de la pollution sonore et atmosphérique et une augmentation de l'investissement immobilier résidentiel et commercial ainsi qu'une augmentation de la valeur de celui-ci. Réalisations > 1/ I Construction d'un nouveau système de transport sur rail 1 1 w Baisse de l'utilisation de véhicules privés I Effets Baisse des niveaux sonores > Baisse des émissions de gaz d'échappement — Amélioration de la qualité de l'air _ Meilleur système de transport collectif Réduction des temps de trajet » Meilleure compétitivité Priorité • L'environnement productif Différents types d'aides à l'investissement productif constituent traditionnel lement une composante majeure de la plupart des stratégies de développe ment régional. Ces aides soutiennent le développement d'une plus grande Evaluer l'impact sur l'environnement capacité de production, d'une plus grande productivité et d'autres types d'aide directe aux entreprises (par exemple en termes de marketing, de R&D ou de pratiques de gestion spécifiquement respectueuses de l'environne ment). Il peut aussi s'agir d'aides indirectes favorisant des activités complé mentaires et pouvant inclure des services environnementaux. L'impact sur l'environnement de ce type d'intervention peut être positif ou négatif selon la nature de l'activité subventionnée. Exemple : Audits et conseils en matière d'énergie auprès des PME (Royaume-Uni) Afin d'améliorer la compétitivité des PME de la région de Knowsley, à Liverpool, le projet Powersave a commissionné des experts de la compagnie d'électricité locale pour visiter les entreprises, évaluer leur rendement énergétique et proposer des plans d'amélioration. La mise en œuvre de ces plans a été cofinancée à part égale par le FEDER et la compagnie d'électricité. Pour un investissement total de 3. 7 MECU, on est parvenu à des réductions de coûts de plus d'1 MECU par an et à une diminution significative des émissions de C02. Réalisations > Effets ΐ> Gestion énergétique des PME Baisse de la consommation de carburants — >■ Baisse des émissions d e C 02 — >. Amélioration de la qualité de l'air Réduction des besoins énergétiques Baisse des coûts de production Amélioration de la compétitivité Priorité I I • Les interventions dans le domaine des ressources humaines Les interventions d'aide au développement des ressources humaines ont pour but de renforcer et d'améliorer les compétences et les aptitudes des personnes actives afin d'augmenter leur employabilité. L'objectif est également de rendre plus compétitive l'économie locale dans laquelle ils tra vaillent grâce à de meilleurs niveaux d'adaptabilité et de productivité. Dans la mesure où ces interventions augmentent soit la sensibilisation à l'environ nement des destinataires soit leur capacité à s'engager dans des activités qui ne sont pas préjudiciables pour l'environnement voire qui ont un impact positif sur l'environnement, elles augmentent le potentiel de durabilité du développement induit. La probabilité que l'activité soutenue ait un impact Evaluation transversale des impacts sur les priorités d'intervention positif sur l'environnement est bien évidemment plus élevée si le développe ment des ressources humaines luimême, ou l'emploi pour lequel ses desti nataires ont été formés, ont un objectif environnemental. Exemple : Le développement d'activités de recyclage en Allemagne Une société de Geissen (Allemagne), destinataire d'une aide des Fonds structurels, avait pour objectif de fournir au niveau local des emplois et des qualifications pour les chômeurs, une formation aux employés ainsi que des services ayant un impact positif sur l'environnement. La société a été créée en 1988. En 1996, elle employait 370 personnes, en formait 150 et avait recyclé des milliers d'appareils électroménagers (réfrigérateurs, lavelinge et sèchelinge). Le travail de recyclage de cette société a également généré une réduction significative des émissions de CFC et des rejets d'huile. Réalisations Création de centres de formation Recyclage d'appareils électroménagers Augmentation de l'emploi Meilleur niveau de compétences dans le domaine du recyclage O Réduction des émissions de CFC Réduction des déchets d'huile Diversification de l'économie dans des écoindustries Priorité Il est généralement difficile de prévoir si le développement économique sera accompagné de retombées environnementales positives et, par consé quent, s'il sera durable à long terme. Il convient toutefois de garder présent à l'esprit qu'un projet qui a des effets négatifs sur l'environnement n'implique pas nécessairement un développement économique non durable. Des mesures d'atténuation peuvent être introduites pour éviter, réduire ou pallier l'impact environnemental négatif d'une Intervention. Ces mesures peuvent réussir à stopper la détérioration de l'environnement, voire conduire à une nette amélioration, permettant ainsi un développement durable. ■ Définir et sélectionner des indicateurs • L'utilité et les limites des indicateurs Le Volume 2 de la Collection MEANS est consacré aux indicateurs de suivi et d'évaluation des interventions des Fonds structurels. Ce Volume consacre, en particulier, une section aux indicateurs sur l'environnement. Evaluer l'impact sur l'environnement Les impacts globaux sur l'environnement des politiques structurelles de l'U. E résultent d'un très grand nombre de types d'activités qui se situent elles-mêmes dans un ensemble de contextes locaux variés du point de vue environnemental. Pour obtenir une vue d'ensemble précise de la nature et de l'ampleur des impacts, il est nécessaire de se doter d'informations reflétant les aspects les plus importants du changement de l'environnement. Pour pouvoir suivre les changements de l'environnement, les indicateurs doivent montrer quelle en est l'évolution en incorporant une description de la situation à un moment précis (valeur au point zéro) qui permet par la suite de mesurer, grâce au suivi, les changements intervenus. Pour ce faire, il est nécessaire de sélectionner et de définir un nombre d'indicateurs suffisam ment limité pour pouvoir être renseignés et donc centrés sur les questions les plus pertinentes, tout en étant suffisamment large pour refléter les déve loppements les plus significatifs. Par exemple, il est probable que les niveaux globaux de pollution atmosphérique ou aquatique ne peuvent pas être influencés de manière notable par des projets individuels, même relati vement importants. Dans ce cas, une simple mesure de la réduction des émissions de polluants, émis par des sources précises et connues de conta mination (industries spécifiques, points d'émission importants), sera proba blement plus utile. Par contre, pour des sources diffuses telles que celles de certains secteurs de production (par exemple le niveau d'utilisation d'engrais artificiels) ou celles provenant des habitudes et des comporte ments individuels (par exemple les niveaux d'utilisation des véhicules privés), une estimation des réductions attendues de ces émissions pourrait suffire. • Les efforts récents en matière de développement d'indicateurs de développement durable Des efforts considérables ont été faits depuis 1992, notamment par les Nations Unies, l'OCDE et Eurostat, pour développer des indicateurs dits de « développement durable ». La Commission des Nations Unies pour le développement durable, a produit un cadre méthodologique pour la défini tion, la collecte et l'interprétation de 132 indicateurs. Ces indicateurs sont construits dans le cadre de référence Force Motrice-Etat-Réponse (décrit plus haut) pour quatre catégories de données : données économiques, sociales, environnementales et institutionnelles. EUROSTAT publie des informations sur l'environnement (qui, pour un certain nombre d'entre elles, ont été préparées conjointement par l'OCDE) et propose deux bases de Evaluation transversale des impacts sur les priorités d'intervention données en ligne (New Cronos et Envstat). Eurostat est également impliqué dans un projet sur « les indices de pression » (ou Forces Motrices) dont le but est à la fois d'établir un cadre de référence pour mesurer l'impact de l'ac tivité économique sur l'environnement et, pour ce faire, de construire des indicateurs de base. Enfin, l'Agence Européenne pour l'Environnement a été créée pour fournir des informations relatives à l'état de l'environnement, y compris un rapport triennal sur l'environnement en Europe, dont le premier a été publié en 1995. La Commission européenne travaille également sur les indicateurs pour l'environnement, notamment sur la construction d'un « Système européen d'indices de pression sur l'environnement ». Ces indicateurs permettent de décrire l'évolution des tendances pour dix domaines politiques clés. Lorsque ces séries de données seront établies, elles pourront être pondérées et combinées avec des indices, pour donner des informations plus utilisables et mieux adaptées aux besoins particuliers de chaque politique. Ces indices sont essentiellement des approximations de mesures plus directes de l'impact des politiques, moins faciles à établir. Par exemple, dans le cas de la deforestation, un indice idéal ne serait pas un simple indi cateur du taux de deforestation, mais associerait cet indicateur avec un indi cateur des incitations au défrichage des forêts. De même, un indice utile ne se limiterait pas à comptabiliser les quantités d'herbicides utilisées chaque année, et refléterait plus directement le problème. Il est toutefois possible de construire des indicateurs ad hoc au niveau régional pour évaluer les impacts sur l'environnement, comme le prouve l'exemple suivant. Exemple : L'utilisation d'indicateurs « ad hoc » (France) L'évaluation du programme d'aide au développement des zones rurales, dans le cadre de l'objectif 5b, en Bourgogne, exigeait la construction d'indicateurs d'impact environnemental au niveau régional. Le pourcentage de haies détruites a été utilisé comme indicateur d'impact sur l'environnement pour les opérations de remembre ment. En outre, cette mesure a été affinée en définissant différentes qualités de haies détruites. Dans le secteur des travaux publics, les impacts ont été mesurés en fonction du nombre de nouveaux bénéficiaires d'installation de traitement des eaux et en termes d'augmentation du nombre équivalent d'habitants ayant accès aux Installa tions. L'impact des projets de gestion des ordures a été mesuré par l'augmentation en tonnes/mois des ordures collectées en décharges et l'augmentation en tonnes/mois des ordures ayant fait l'objet d'une collecte sélective. Evaluer l'impact sur l'environnement • Sélectionner des indicateurs pour un programme donné Les indicateurs ne sont utiles que s'ils reflètent les changements à évaluer. Dans une certaine mesure, la nature de ces changements est parfois évidente. Une certaine réflexion est toutefois nécessaire pour veiller à ce qu'ils soient identifiés et interprétés de façon adéquate. Que les indicateurs de l'impact environnemental obtenus soient en rapport avec l'état de l'envi ronnement ou avec les changements des forces agissant sur l'environne ment, les évaluateurs doivent être conscients de la variété des impacts potentiels sur l'environnement. Ces impacts peuvent être, soit les conséquences directes d'une activité soutenue (par ex. les dommages occasionnés par la construction d'une infra structure importante, telle qu'une autoroute), soit les conséquences indi rectes de ces mêmes actions, (la création d'un parc naturel peut avoir un impact direct positif sur l'environnement, mais a finalement des impacts négatifs, en raison du comportement des visiteurs se rendant sur le site et utilisant le parc). Les impacts sur l'environnement peuvent être de plus ou moins long terme. Ils peuvent être temporaires ou cumulatifs. Il est important de s'assurer que les différents types d'impacts sur l'environnement auxquels il est fait référence ci-dessus soient pris en compte dans toute évaluation. Au cours de ces dernières années, les indicateurs de l'état de l'environne ment sont devenus de plus en plus sophistiqués. En voici quelques exemples : • un indice de l'évapotranspiration fournit une indication relative à l'état et au caractère de la végétation dans une région donnée ; • un indice de l'utilisation totale de la production primaire nette d'une région fournit une indication relative au degré d'exploitation de sa végétation. En pratique, l'utilisation de tels indicateurs pour l'évaluation des opérations diverses et fragmentaires cofinancées par les Fonds structurels reste presque inconcevable. En outre, la capacité de ce type d'indicateurs à refléter l'état de l'environnement est largement due à leur indépendance vis- à-vis d'influences individuelles. Dans le cas des interventions des Fonds structurels, ce type d'indicateur est trop général et les Impacts des projets soutenus ne pourraient pas être clairement identifiés. Pour cette raison, une approche « bottom-up » est plus appropriée pour sélectionner les indica teurs d'évaluation des impacts environnementaux des programmes structu rels. Cette approche consiste à établir un système d'indicateurs qui permette de suivre les impacts des interventions du niveau microécono mique au niveau macroéconomique. Evaluation transversale des impacts sur les priorités d'intervention Ces évaluations cherchent à répondre à deux types de questions fondamen talement différentes et qui exigent l'utilisation d'informations de différente nature. Pour ce qui concerne les composantes d'un programme environne mental, la question portera bien évidemment sur l'atteinte des objectifs explicites. Concernant toutes les autres interventions, la question peut être formulée ainsi : quel est l'impact environnemental potentiel au niveau du programme donné (ou d'un ensemble homogène de programmes dans un Etat membre particulier) ? Il est souvent difficile d'attribuer avec certitude à des projets spécifiques, des modifications spécifiques de l'état de l'environnement. Il faut donc émettre des hypothèses raisonnables sur l'impact probable d'une activité sur la base d'informations qui ne reflètent pas avec précision l'état de l'envi ronnement. Dans certains cas, cela est parfaitement satisfaisant (notamment dans le cas de réductions de sources précises et connues de pollution de l'air ou de l'eau). Toutefois, plus la relation entre les impacts des interventions et leur impact sur l'état de l'environnement est indirecte, plus il est difficile de développer une mesure de l'impact convaincante (exemple : des mesures de formation des ressources humaines pour l'acquisition de compétences environnementales). Ce problème est moins gênant que l'on pourrait s'y attendre car les objectifs environnementaux d'une intervention structurelle sont souvent exprimés en termes de changement des pressions sur l'environnement. Ces objectifs intègrent donc des hypothèses sur les relations entre ces causes et l'état de l'environnement. En supposant ces hypothèses valides, il est possible de centrer l'évaluation de l'impact environnemental du programme sur l'analyse des « Forces Motrices » concernées. Lorsque l'on évalue l'impact sur l'environnement à un niveau multi- programme/politique, il est nécessaire défaire référence systématiquement à des séries de données sur des variables d'état, même s'il est impossible d'établir un lien direct entre ces séries de données et l'impact réel des inter ventions. Evaluer l'impact sur l'environnement A titre d'exemple, un système d'indicateurs qui pourrait être utilisé pour rechercher les impacts, à la fois sur le plan environnemental et socio-écono mique, provoqués par la construction d'une station d'épuration, est présentée dans l'Encadré 11. Encadré 11 - Exemple d'un système d'indicateurs pour la construction de stations d'épuration Indicateurs de programme (concernant l'intervention et ses effets) Indicateurs de contexte (concernant les zones assistées) Indicateurs de réalisation Progrès Capacité Respect des délais du projet Nombre de nouvelles stations d'épuration construites Capacité maximale annuelle de traitement (m1) Indicateurs de résultat Traitement par rapport à la demande et aux standards de traitement % des eaux usées subissant un premier traitement % des eaux usées subissant un traitement supplémentaire Indicateurs d'impact Consommation Effet économique indirect Volume des eaux usées traité Nombre de ménages et/ou d'entreprises raccordés à un système de traitement des eaux usées par programme après une année % des eaux usées traitées % des ménages et/ou d'entreprises raccordés à un système de traitement des eaux usées Nombre d'unités économiques (entreprises, exploitations agricoles, etc. ) qui déclarent que le nouveau système d'alimentation en eau les a libérés d'une contrainte pesant sur leur développement Environnement % des échantillons d'eaux usées prélevés sur des points précis et connus de pollution qui montrent une baisse de certains polluants % de km de rivières soumises à un contrôle dont le niveau de pollution standard a été dépassé Source : Volume 2 de la Collection MEANS Alors que l'approche top-down de la mesure des impacts environnemen taux est dominée par l'utilisation d'indicateurs quantitatifs (par exemple les indices construits par EUROSTAT), une approche bottom-'up peut être basée sur des indicateurs qualitatifs. Le cas échéant, ce type d'indicateur peut être par la suite transformé en indicateur quantitatif. Evaluation transversale des impacts sur les priorités d'intervention Exemple ¡Utilisation d'un indicateur qualitatif d'impact sur l'environnement Une équipe d'évaluation française devait évaluer l'impact environnemental d'une autoroute. Leur méthode a consisté à envoyer un groupe de personnes photographier ce qu'ils considéraient être des « points noirs » dans le paysage, vu de l'autoroute, avant que des mesures correctrices ne soient prises. La même enquête photogra phique a été faite une fois les mesures correctrices prises. La différence entre le nombre de <· points noirs » avant et après les mesures a été enregistrée. Pour résumer, il conviendra de sélectionner des indicateurs environnemen taux qui vont audelà de ceux habituellement utilisés dans l'évaluation des politiques structurelles, et qui ne sont pas pour autant les indicateurs sophistiqués développés par les spécialistes pour suivre le changement de l'état de l'environnement. Ces indicateurs d'impact seront de préférence constitués d'indicateurs de l'évolution des forces motrices agissant sur l'en vironnement plutôt que d'indicateurs d'évolution de l'état de l'environne ment. On trouvera, dans le Volume 2 de la Collection MEANS, consacré aux indicateurs de suivi et d'évaluation, une présentation plus détaillée des indi cateurs ainsi que de nombreux exemples. ■ Les p r i n c i p a l es s o u r c es d ' i n f o r m a t i on Pour évaluer l'impact sur l'environnement des interventions structurelles, il faut d'abord disposer d'une appréciation la plus juste possible de la situation environnementale actuelle. Chaque document de programmation devrait donc contenir les informations suivantes sur l'environnement : • une description des principales caractéristiques environnementales de la zone géographique couverte par le programme ; • une identification de toutes les zones particulières présentant une signifi cation environnementale marquée ; • la nature, la cause et l'emplacement de toute pollution significative ou de tout autre problème environnemental ; • une description des politiques environnementales nationales/régionales en cours ; • une information sur les autorités et les procédures environnementales nationales et régionales ; • une projection de l'impact environnemental prévu du programme dans son ensemble et de chacune des priorités et des mesures qui le constituent ; • les détails de toutes les mesures proposées pour atténuer les impacts négatifs sur l'environnement des mesures contenues dans le programme. Evaluer l'impact sur l'environnement S'il n'est pas toujours possible de trouver tous ces détails dans un document de programmation, celuici reste le point de départ incontour nable pour structurer les informations. Les systèmes de suivi de programme devraient pouvoir fournir des données sur la production et l'utilisation des ressources qui sont indispensables pour répondre à de nombreuses questions d'évaluation. Par contre, ils ne peuvent pas, a priori, fournir de données sur l'évolution de l'environnement dans la région concernée. Lorsque, dans la phase de préparation d'une intervention, on s'aperçoit que des données spécifiques au contexte parti culièrement importantes pour l'évaluation des impacts, ne sont pas dispo nibles, on doit envisager d'inclure une collecte d'information dans le cadre du système de suivi à mettre en place. Les séries temporelles statistiques existantes sur les données environne mentales constituent une source d'information de plus en plus riche qui peut être utilisée en complément de l'information fournie par les documents de programmation. Les séries de données actuelles tendent à se concentrer sur les variables d'état au niveau macroéconomique. L'une des tâches de l'évaluateur est d'établir des relations entre ce niveau d'information et celui, microéconomique, du système de suivi. Enfin, il peut également être amené à utiliser des informations provenant de précédentes recherches et évalua tions ou à se lancer dans une collecte et / ou une production de données ori ginales. ■ Exemples de pratiques actuelles dans l'Union européenne Tandis que le Volume 3 de la Collection MEANS détaille les outils d'évalua tion en général, les outils présentés cidessous sont ceux utilisés dans le cas d'analyses en profondeur des impacts. Différentes techniques ont été utilisées pour identifier et analyser l'impact environnemental des politiques publiques. Le choix des techniques d'éva luation les mieux adaptées à chaque cas dépend des exigences particu lières de chaque évaluation. Il est important de noter cependant que chaque technique possède ses points forts et ses limites. Au sein de l'Union euro péenne, ce choix est susceptible d'être influencé par les législations natio nales en la matière ainsi que par les pratiques nationales au niveau de la pla nification de projet, des études de faisabilité ou encore des études techniques habituellement demandées. Evaluation transversale des impacts sur les priorités d'intervention Une appréciation de l'impact des interventions structurelles sur l'environne ment peut être réalisée en utilisant l'approche « pas à pas » qui est présentée dans la partie IV de ce Volume. Les outils que l'on suggère dans ce cas de figure sont principalement des études de cas, des entretiens indi viduels et de groupe. En revanche, pour une analyse en profondeur des impacts sur l'environnement, d'autres outils doivent être utilisés que l'on peut choisir parmi les survivants. • Evaluation Environnementale Stratégique de programme aux PaysBas « L'Evaluation Environnementale Stratégique » (EES) se réfère à l'évaluation environnementale de programmes ou de politiques par opposition aux projets qui font l'objet en principe d'une « évaluation de l'impact environne mental » (EIE). L'EES a été créée pour pallier le risque d'une intervention trop tardive de ΓΕΙΕ dans le processus de planification et pour analyser diffé rentes alternatives. L'EES formalise la manière dont les techniques sont appliquées et propose des guides d'utilisation des techniques de scénario, de radioscopie et de focalisation, d'études de cas, etc. L'Evaluation Environnementale Stratégique s'inscrit dans un processus de planification en cascade au sein duquel on considère que les politiques au niveau international et national déterminent les programmes au niveau régional et les projets au niveau local. Au sein de l'Union européenne, cette approche est de plus en plus fréquemment adoptée en matière de gestion des déchets et d'énergie. Au sein de l'Union européenne c'est aux PaysBas que la pratique de l'EES est la plus développée. L'expérience néerlandaise dans ce domaine remonte au début des années 1980 et l'EES constitue aujourd'hui une obli gation légale pour de nombreux services telles que la fourniture d'eau et d'électricité, la préservation de la nature, les loisirs de plein air ou la gestion des déchets. Ainsi par exemple, le programme national de gestion des déchets créé aux PaysBas en 1992 est révisé tous les trois ans. Des évaluations comprenant des EIE et une EES ont été réalisées à l'initiative du Conseil de gestion des déchets qui fonctionne en partenariat avec les autorités locales, régionales et nationales. Il s'agit d'une approche à trois niveaux : • Une évaluation environnementale stratégique est réalisée au niveau national avant la prise des décisions relatives au choix des options et des techniques de traitement des déchets. Evaluer l'impact sur l'environnement • Une évaluation environnementale stratégique est également faite au niveau régional pour les décisions relatives à l'emplacement des installa tions de traitement. • Enfin, les projets alternatifs sont sélectionnés pour chacun des sites choisis sur la base d'une évaluation de l'impact environnemental. L'EES envisage deux scénarios possibles : premièrement les objectifs du Plan national de politique environnementale sur la production et le recyclage des déchets sont atteints ; deuxièmement, les objectifs ne sont pas atteints mais les mesures et les programmes peuvent atteindre leurs objectifs moins ambitieux. Une stratégie, fondée sur cette analyse, a été formulée pour le développement à moyen terme d'installations d'élimination des déchets. Des réunions régulières avec les autorités provinciales (responsables de la mise en œuvre de la politique) et avec des groupes d'intérêt font partie inté grante du développement de l'EES. La politique a ensuite été mise en oeuvre par les douze autorités provinciales, chacune d'entre elles développant des programmes sur quatre ans. Dans chaque cas, on a fixé des objectifs globaux (par exemple, 400 usines doivent avoir un plan de réduction des déchets à la fin du programme), calculé les besoins, estimé l'amélioration probable en fonction d'indicateurs spécifiques et établi les critères de sélection des projets. Dans le cas des programmes provinciaux, la sélection de projet s'est géné ralement effectuée en fonction des évaluations de l'impact environnemental (EIE). Leur méthodologie étant mieux établie, il n'est pas surprenant que le travail au niveau des projets ait été plus méthodique et plus solidement étayé par un choix précis d'indicateurs. Toutefois, la relation entre les résultats de ce travail au niveau du projet et ceux de l'évaluation environne mentale stratégique n'est pas clairement définie. Il semble que cette dernière apporte des informations de moins bonne qualité. Même s'il n'est pas nécessaire d'adopter des techniques d'évaluation sophistiquées dans le cadre des EES, l'expérience a prouvé que la formalisation du processus d'évaluation est bénéfique pour la conception et la mise en œuvre de poli tiques ayant un impact sur l'environnement. Les avantages d'avoir recours à l'approche formelle intégrée que représente l'EES ont été analysés par les administrateurs de la manière suivante : • les questions environnementales ont plus d'influence sur la formulation de la politique générale ; • les décideurs utilisent régulièrement les résultats de la procédure d'EES qui sont clairs et bien conçus ; Evaluation transversale des impacts sur les priorités d'intervention • bien que les expériences-tests ne puissent pas être, stricto sensu, généra lisables, leur pertinence apparaît de façon plus évidente grâce à une EES et leurs résultats peuvent ainsi mieux influencer la prise de décision. Les autres avantages potentiels du choix d'une approche d'EES sont les suivants : • elle favorise la prise en compte d'alternatives qui pourraient être ignorées ; • elle permet une analyse plus efficace des effets cumulatifs des projets ; • elle facilite à la fois la planification et l'analyse des effets synergiques ; • elle permet de mieux évaluer les effets indirects des actions ; • elle est capable de prendre en compte des impacts différés ; • elle permet le développement de dispositions d'atténuation de mesures croisées ; • elle peut améliorer la communication entre les responsables et le public ; • et enfin, elle fournit un cadre dans lequel les impacts environnementaux cumulatifs et synergiques peuvent être pris en compte de façon systématique. • Radioscopie et focalisation d'un programme au Royaume-Uni Le terme de radioscopie est quelque peu déroutant dans la mesure où il fait référence à deux types de processus en fonction du niveau auquel il est appliqué. Au sein d'une mesure, la radioscopie permet de sélectionner des projets devant être aidés, en appliquant un ensemble standard de critères de sélection de projet (un exemple de ce processus est donné ci-après). Au niveau de la mesure elle-même, la radioscopie fait référence à l'examen initial qui vise à préciser le niveau d'évaluation d'impact environnemental qui est escompté. Le processus de focalisation, par contre, analyse en détail les impacts potentiels des différents projets dans le cadre d'une EIE. En pratique, il s'agit d'un processus plus complexe dans la mesure où les parties prenantes peuvent ne pas être d'accord sur le choix des impacts pertinents. Dans la législation britannique, les différents types de projets sont classés et selon les cas, soumis à une évaluation d'impact environnemental obligatoire (en principe uniquement pour les projets impliquant de gros capitaux et ayant un impact environnemental direct) ou sont contrôlés au moyen d'un certain nombre de critères (tels que la localisation, l'ampleur, la nature des déchets produits, etc. ) afin de juger si une EIE complète est nécessaire. Les impacts environnementaux des projets proposés sont estimés grâce à cette étape de focalisation qui s'appuie sur des discussions entre les promoteurs du projet et les autorités locales de planification. Evaluer l'impact sur l'environnement La région du Merseyside, en Angleterre, fait l'objet pour la période 1994 à 1999 d'un programme d'activités soutenu dans le cadre de l'Objectif 1 par les politiques structurelles. Chaque projet souhaitant être subventionné dans le cadre de ce programme est radiographié par une procédure qui se déroule en deux étapes : • une première étape vise à vérifier la conformité du projet proposé aux règles obligatoires en vigueur au Royaume-Uni ; • une deuxième étape consiste à noter les propositions en fonction de critères environnementaux établis séparément pour chacune des priorités et des mesures du programme et en fonction de l'emplacement précis du projet proposé. Un exemple récapitulatif d'une radioscopie environnementale pour une mesure particulière du programme Merseyside est présenté ci-dessous. Cette approche constitue un exemple particulièrement intéressant d'asso ciation d'objectifs économiques à d'autres objectifs poursuivis dans le cadre d'un programme spécifique subventionné par les Fonds structurels. Encadré 12 - Exemple de formulaire de radioscopie environnementale Priorité 1 : Mesure 1 : Sites et locaux de qualité pour investisseurs industriels et commerciaux. Objectif : Garantir la fourniture adaptée de sites industriels et commerciaux de qualité pour encourager la croissance locale et l'augmentation des opportunités d'emploi. Proiet : Référence : Oui N / A Non 1. Si le développement est appliqué à un site industriel réhabilité, va-t-il réduire la zone en friche et/ou reconvertir certains bâtiments en sites de production ? 2. Le développement respecte-t-il les consignes relatives à l'environnement naturel ou au patrimoine immobilier ? 3. Le développement intègre-t-il de bonnes pratiques d'économie d'énergie, de recyclage de l'eau ou de réduction des déchets, et/ou implique-t-il des mesures environnementales innovantes ? 4. Le site bénéficiera-t-il d'un plan de gestion de l'environnement et/ou des mesures sont-elles en place pour la gestion de l'environnement post-développement ? 5. Des mesures ont-elles été prises pour garantir que le site soit facilement accessible par les transports en commun ? 6. Le développement est-il conçu pour améliorer l'environnement immobilier local, par exemple en minimisant les effets de la délinquance, du vandalisme ou du manque de civisme ? 7. Le projet de développement comprend-il des propositions d'améliorations environnementales telles que l'aménagement paysager ? 1 1 1 1 1 0. 75 0. 75 0. 5 0. 5 0. 5 0. 5 0. 5 0. 38 0. 38 0 0 0 0 0 0 0 Si le projet est dans une zone de priorité, multiplier la note par 1,5 et arrondir à l'entier le plus proche. Note totale : Evaluation transversale des impacts sur les priorités d'intervention Dans les secteurs du Merseyside identifiés comme ayant des problèmes d'environnement particulièrement importants, ou encore dans les zones où l'amélioration de l'environnement pourrait avoir un impact exceptionnelle ment fort sur le développement, la note totale reçoit un coefficient de pondé- • ration supérieur aux autres critères de sélection de projet. Ces zones parti culières ont elles-mêmes été définies selon un certain nombre de critères, notamment : la visibilité et la réputation du site en question, sa proximité par rapport à des couloirs stratégiques de transport ou des sites considérés comme des atouts, ainsi que leur éventuelle sélection pour d'autres sources de financement. Dans le contexte des programmes subventionnés par les Fonds structurels, les Etats membres sont tenus de veiller à ce que toute opération soit compa tible avec la législation et la politique environnementales de l'Union euro péenne. Une forme de radioscopie est par conséquent nécessaire pour toutes les composantes de tout programme, la qualité des critères spéci fiques développés et la conception du processus adopté dans chaque cas jouant un rôle essentiel. La radioscopie est de toute évidence nécessaire au cours de la phase ex ante et doit au moins être confirmée au cours des phases ultérieures de l'évaluation. Il est également utile que les évaluations ex post adoptent une technique de radioscopie afin de concentrer l'analyse sur les mesures qui sont susceptibles de produire les impacts les plus importants. • Etudes de cas des projets en Ecosse On sélectionnera parfois des exemples particuliers d'un phénomène qui servent de base à des études en profondeur. Cette démarche est souvent utile : • lorsqu'un travail exploratoire sur le site est nécessaire faute d'information adéquate ; • pour fournir une analyse détaillée d'un processus particulier d'impact sur l'environnement ; • pour tester une hypothèse ou une affirmation sur un projet particulier. Une étude de cas peut être simple ou multiple et, dans ce dernier cas, peut nécessiter l'utilisation de techniques sophistiquées pour que l'on puisse généraliser les résultats. La sélection des cas étudiés est particulièrement importante pour la pertinence des résultats. Les cas peuvent être sélection nés soit parce qu'il s'agit de cas-types, soit parce qu'ils sont représentatifs Evaluer l'impact sur l'environnement d'une situation intéressante à d'autres égards (par exemple cas limites, cir constances particulières). La collecte des données peut inclure l'utilisation d'enquêtes et d'entretiens. Afin de développer une méthode utile pour évaluer les projets environne mentaux destinés à restaurer ou protéger des sites spécifiques, le Scottish Office a demandé à des évaluateurs d'examiner les méthodes possibles d'estimation des impacts sur l'environnement. Ils ont considéré, sur la base de la première étape de l'étude, et compte tenu du type de projets considéré que la méthode d'évaluation contingente (les différents impacts étant évalués par les gagnants et les perdants au moyen de questionnaires), en particulier, méritait des recherches approfondies. La deuxième étape du travail a consisté à appliquer cette méthode à sept projets. Les cas étudiés comprenaient, entre autres, la rénovation d'un ancien site industriel, la res tauration d'une zone urbaine, la protection d'une zone de montagne et l'aide à un centre de patrimoine industriel. Dans chaque cas, des membres du public ont été interrogés. Les résultats de cette étude de cas ont confirmé la valeur de la technique et donné une indication plus claire des circonstances dans lesquelles elle pouvait être utilisée utilement. Les études de cas multiples peuvent être utilisées pour analyser les effets des interventions dans certains contextes et dans l'ensemble de la région concernée par le programme. Si des dispositions ont été prises pour qu'elles puissent être reproduites, elles peuvent être utilisées pour mieux identifier les impacts en comparant les situations où une mesure a été appliquée aux situations où cela n'a pas été le cas. Un autre sujet qui semble offrir un champ d'action particulier à l'application de cette technique est la relation entre les changements des variables de pression et les variables d'état. Des coefficients peuvent être développés à partir des études de cas pour permettre des calculs de l'impact sur l'état de l'environnement à partir d'indicateurs de changement des pressions. La nature des effets peut être déterminée de façon inductive en utilisant la technique des études de cas ; par contre, cette méthode ne permet pas de déterminer de relation de causalité. • Associer l'analyse coût-avantages et l'analyse multicritère pour évaluer des projets en Irlande L'analyse coût-avantages repose sur une estimation en termes monétaires de tous les coûts et avantages d'un projet pendant sa durée de vie. Elle est Evaluation transversale des impacts sur les priorités d'intervention couramment utilisée pour les évaluations ex ante des projets, afin de choisir entre différents projets alternatifs et pour déterminer lequel est le plus avan tageux sur le plan économique. Une version plus sophistiquée de l'analyse coût-avantages cherche à formuler un jugement fondé sur d'autres valeurs de référence que la monnaie. A partir de la détermination de différents critères d'évaluation, les décideurs pondèrent ceux-ci pour obtenir le classement des projets alterna tifs existants. Cette approche est connue sous le nom d'analyse multicritère. Dans le cas présent, elle offre l'avantage de prendre systématiquement en compte, dans le processus de décision, les coûts environnementaux et les coûts économiques. Elle évite ainsi de traduire tous les critères environne mentaux en termes monétaires, traduction qui est souvent contestable dans le cadre des analyses coût-avantages. En Irlande, le Ministère de l'environnement a demandé à des consultants d'entreprendre des évaluations à la fois pour répondre aux exigences de l'Union européenne dans la sélection de projets spécifiques d'infrastruc tures environnementales (cofinancés dans ce cas par le Fonds de cohésion) et pour établir une méthodologie utilisable pour les prises de décisions à venir. L'analyse coût-avantages traditionnelle a été écartée par les consul tants qui ont estimé que la quantification des avantages en termes moné taires présentait trop de difficultés dans ce cas particulier (projets d'approvi sionnement en eau, de traitement des eaux usées et de gestion de la qualité de l'eau). L'une des faiblesses potentielles associées à l'adoption d'une approche multicritère réside dans la subjectivité des pondérations et l'attribution des scores parfois arbitraires. C'est pourquoi l'approche adoptée associe les techniques d'identification de critères de l'analyse multicritère à un dénomi nateur commun des valeurs monétaires dérivé d'études pertinentes. La base des pondérations utilisées est explicitée dans chaque cas. Cette approche a été appliquée à chacun des trois types de projets à évaluer, avec des variantes dans sa mise en œuvre. Ainsi par exemple, pour des projets d'approvisionnement en eau, l'approche comprenait quatre composantes : • l'identification de tous les coûts associés à chaque projet alternatif ; • la quantification de tous les avantages directs et indirects ; • l'attribution de valeurs aux avantages de chaque projet ; • et enfin, le calcul du ratio coût-avantages. Evaluer l'impact sur l'environnement Pour chaque projet, on a recueilli des données sur les niveaux de demande avant et après, pour les différents secteurs et populations desservies. Des coûts d'exploitation standard ont été appliqués à chaque projet alternatif et trois types d'avantages ont été identifiés : • l'amélioration de la qualité ; • l'augmentation du nombre de nouveaux consommateurs ; • l'élimination et le contrôle des fuites. On a ensuite assigné une valeur unitaire spécifique et un coefficient de pon dération à chacun de ces trois avantages basés sur les études existantes. Les valeurs utilisées ont été justifiées et les raisons pour lesquelles elles ont été utilisées et les limites de leur applicabilité ont été expliquées. Les projets concurrents ont alors été analysés en utilisant des scénarios différents d'évolution probable de la demande et un ratio avantage/coût a été calculé pour chacun d'entre eux. Les projets ont ensuite été classés et les résultats de ce classement ont été clairement expliqués afin que les implications soient évidentes pour les décideurs. Cette approche s'appuie sur des outils de prise de décision dans le cadre de la sélection de projets qui nécessite un professionnalisme de l'évaluateur. En effet, il doit clairement indiquer, soit les hypothèses retenues pour établir le classement des projets (dans le cas de l'analyse multicritère), soit la nécessité pour les décideurs d'arbitrer euxmêmes entre les différents critères. Dans la mesure où elles sont appliquées de façon rigoureuse, ces tech niques peuvent constituer un bon moyen d'évaluer les forces et les fai blesses relatives des différents projets envisagés, mais aussi de fournir une note synthétique de leur durabilité qui peut ensuite être comparée aux per formances réelles. ■ R é s u mé d es p o i n ts essentiels La qualité de l'environnement et la façon dont elle peut être préservée face aux pressions économiques est devenue une préoccupation politique priori taire. Il est de plus en plus largement reconnu que le développement écono mique ne s'effectue pas nécessairement au détriment de l'environnement, et qu'ils peuvent se renforcer mutuellement. S'assurer que le développement économique et la cohésion soient durables exige que l'évaluation des inter ventions structurelles tienne compte à la fois des facteurs économiques et Evaluation transversale des impacts sur les priorités d'intervention environnementaux. Cela signifie que l'évaluation intermédiaire et ex post des impacts environnementaux des projets et des programmes doit être réalisée en complément des pratiques existantes d'évaluation des effets des projets sur l'environnement. Bien que le cadre Force MotriceEtatRéponse standard constitue un outil utile dans certaines circonstances, il ne présente qu'un intérêt limité pour l'évaluation des effets des interventions des Fonds structurels sur l'environ nement. Une approche bottomup est donc proposée qui se concentre, en termes d'impacts, sur les forces motrices et associent les préoccupations à la fois socioéconomiques et environnementales. Les évaluations ex ante de projets prédominent et il existe peu d'exemples de bonne pratique d'utilisation des outils dans les évaluations intermédiaires et ex post. Pratiquement tous les exemples présentés sont donc des exemples d'outils utilisés dans le cas d'évaluation de projet ex ante, mais qui peuvent généralement être adaptés à d'autres situations d'évaluation. ■ Pour en savoir plus. Agence européenne pour l'environnement. (1995), Environment in the European Union, Report for the Fifth Environmental Action Programme, Copenhagen: EEA. Agence européenne pour l'environnement. (1996), Guidelines for Data Col lection for The Dobris+3 Report, Technical Report, Copenhagen: EEA. Commission européenne (1998), A Handbook on Environmental Assess ment of Regional Development Plans and EU Structural Funds Programmes, Commission européenne, DG XVI. Commission européenne (1999), The Thematic Evaluation of the Impact of the Structural Funds on the Environment, Commmission européenne, DG XVI. Department of the Environment. (1993), Environmental Appraisal of Develop ment Plans, A good practice guide, London: HMSO. Ecotec Research and Consulting Ltd. (1997), Encouraging Sustainable Development through Objective 2 Programmes: Guidance for Desk Officers, Note of the European Commission (DGXVI). Fehily, Timoney, Weston. (1995), The Economic Appraisal of Environmental Projects Supported by the EU Cohesion Fund, Report for the Department of the Environment, Dublin. Evaluer l'impact sur l'environnement Ministère de l'Environnement (1998), Evaluation économique et environne mentale dans les décisions publiques, Coll. Rapports officiels. Paris : la Documentation française. OCDE. (1996), La Cohérence dans l'Evaluation Environnementale, Orienta tions générales pratiques pour les projets de coopération pour le développe ment, Paris: OCDE. OCDE. (1997), Environmental Indicators for Agriculture, Paris: Publications Service, OECD. Sadler Β. (1996), Environmental Assessment in a Changing World : Evalua ting Practice to Improve Performance, International Study of the Effective ness of Environmental Assessment, Canadian Environmental Assessment Agency, Minister of Supply and Services Canada. Statistical Office of the European Community. (1997), Indicators of Sustai nable Development, Luxembourg: Office for Official Publications of the European Communities. Wood C. (1995), Environmental Impact Assessment, A comparative review, Harlow: Addison Wesley Longman Ltd. Evaluer les impacts des interventions structurelles sur la compétitivité des Petites et Moyennes Entreprises ■ P o u r q u oi é v a l u er les i m p a c ts sur les P e t i t es et M o y e n n es e n t r e p r i s es ? Les Petites et Moyennes Entreprises (PME) contribuent à la création d'emploi, à la compétitivité et à la croissance. La création d'emploi nette, en particulier dans les entreprises de moins de 100 employés, a plus que compensé les pertes d'emploi dans les grandes entreprises au cours de la période de 1988 à 1995. Malgré ce dynamisme apparent, l'emploi créé par les nouvelles entreprises est souvent précaire, la moitié seulement des nouvelles entreprises dépassant le cap des cinq premières années d'exis tence. Encadre 13  Definition des PME La Commission européenne a adopté une définition standard des PME : Les moyennes entreprises ont moins de 250 employés, un chiffre d'af faires annuel inférieur à 40 MECU ou des actifs inférieurs à 27 MECU et doivent être indépendantes, c'estàdire que 2 5% maximum de leur capital peut être détenu par une grande entreprise. Les petites entre prises ont moins de 50 employés, un chiffre d'affaires inférieur à 7 MECU ou des actifs inférieurs à 5 MECU et doivent être indépendantes. Les microentreprises ont moins de 10 employés (La recommandation sur la définition des PME du 3 avril 1996 est publiée au JO L 107 du 30. 4. 1996). La déclaration politique de Madrid sur les PME2 souligne que le potentiel de croissance et de création d'emploi des PME européennes n'a pas été plei nement utilisé pour différentes raisons. On remarque tout d'abord que la complexité de l'environnement juridique, fiscal et administratif auquel les entreprises européennes sont confrontées pèse relativement plus lourd sur les PME que sur les grandes entreprises. De plus, les PME ont du mal à obtenir des prêts à des taux intéressants ou des capitaux sur les marchés financiers. Enfin, il est difficile pour les petites entreprises d'accéder à certains marchés, en raison d'un manque d'information commerciale ou de difficultés à identifier les partenaires. D'une manière générale, l'environne ment économique européen (en particulier le manque de capitalrisque, 2. Communication de la Commission du 29. 11. 1995 intitulée Small and Medium Sized Enterprises  A dynamic source of employment, growth and competitiveness in the European Union, Document CSE (95)2087 Evaluation transversale des impacts sur les priorités d'intervention l'existence de barrières réglementaires et une certaine aversion à la prise de risque) favorise beaucoup moins le développement des PME et, en particu lier, des entreprises basées sur les nouvelles technologies. Dans ce Volume, le terme « entreprises de haute technologie » s'applique à toute entreprise active dans les secteurs de haute technologie ou qui produit des biens de haute technologie (une typologie des secteurs et des produits a été faite par l'OCDE). Les entreprises moins innovatrices doivent faire un meilleur usage des technologies déjà disponibles pour maintenir leur compétitivité. En effet, rares sont les PME faisant appel aux banques de données de brevets pour trouver les technologies « prêtes à l'emploi » qui pourraient les aider. Dans les zones rurales moins favorisées, les PME, qui représentent une partie relativement élevée de l'emploi dans l'économie locale, font face à des problèmes particuliers. Si les difficultés varient d'une région à l'autre, on peut noter que la qualité des infrastructures et l'éloignement des principaux marchés peuvent poser problème, de même qu'un accès réduit à l'informa tion, une base industrielle peu développée mais aussi la difficulté à trouver des employés dont les qualifications répondent à la demande. Bien que ces facteurs posent problème au développement des PME en général, dans certaines régions le travail indépendant et l'esprit d'entreprise sont des valeurs reconnues et encouragées. Ainsi, certaines régions rurales moins favorisées font partie des régions les plus dynamiques, en termes de déve loppement de nouvelles et petites entreprises, et affichent un taux de création d'emploi supérieur à la moyenne nationale. • Le contexte communautaire Les derniers Conseils européens ont envoyé un signal politique clair en faveur des PME, en particulier à Amsterdam (juin 1997), Luxembourg (novembre 1997) et Cardiff (juin 1998). Le groupe de travail BEST, créé à l'issue du Conseil d'Amsterdam, a présenté son rapport à la Commission en 1998. Ce rapport comprend différentes recommandations pour améliorer l'environnement commercial, notamment en aidant les PME à saisir les opportunités offertes par les programmes communautaires. Le Conseil européen de Luxembourg, spécialement consacré à l'emploi, a défini la promotion de l'esprit d'entreprise en tant qu'orientation commune des poli tiques pour l'emploi de tous les Etats membres. La Commission a ensuite adopté une communication intitulée « Favoriser l'esprit d'entreprise en Europe - Priorités pour l'avenir » qui précise les différentes questions priori taires à la fois aux niveaux européen et national. De plus, les conclusions du Evaluer les impacts sur la compétitivité des PME Sommet sur l'emploi ont souligné l'importance du rôle des PME en soutenant la poursuite du développement d'instruments financiers et de partenariats transfrontaliers. Le Conseil européen de Cardiff a demandé à la Commission de présenter fin 1998 au conseil de Vienne un rapport sur le suivi des recommandations de BEST. Dans la mesure où les PME jouent un rôle essentiel dans le développement local et régional et constituent une force motrice de l'adaptation efficace au changement structurel et à l'innovation, la Commission européenne a recommandé que, dans le cadre des interventions au niveau de l'industrie et des services, l'on tienne systématiquement compte des besoins des PME dans la mise en œuvre des programmes. A cette fin, la Commission a développé un Programme intégré, qui constitue un cadre global de coordi nation de toutes les activités auprès des PME. Il comprend le Troisième programme multi-annuel pour les PME (1997-2000), les contributions d'autres politiques au développement des PME et les Actions concertées qui ont pour objectif de promouvoir la coordination des politiques pour les PME des Etats membres par l'échange des meilleures pratiques. Pour atteindre cet objectif, le Programme intégré définit les cinq priorités suivantes : 1. Simplifier et améliorer l'environnement administratif et réglementaire des entreprises ; 2. Améliorer l'environnement financier des entreprises ; 3. Aider les PME à européaniser et internationaliser leurs stratégies, en parti culier grâce à de meilleurs services d'information et de coopération ; 4. Augmenter la compétitivité des PME et améliorer leur accès à la recherche, à l'innovation et à la formation ; 5. Promouvoir l'esprit d'entreprise et aider des groupes cibles spécifique, tels que les femmes et les jeunes chefs d'entreprise. Les Fonds structurels participent aux objectifs des politiques en faveur des PME en aidant la création et le développement de PME dans le cadre des diffé rents programmes opérationnels. La Banque européenne d'investissement et le Fonds européen d'investissement apportent également une aide aux PME. Bien que les objectifs principaux des interventions structurelles en faveur des PME soient les mêmes sur l'ensemble de l'Union européenne, il existe des différences entre régions, qui sont liées aux objectifs spécifiques. Ainsi, pour les régions de l'Objectif 1, l'accent est mis sur le renforcement du Evaluation transversale des impacts sur les priorités d'intervention système d'aide aux PME. Pour les régions de l'Objectif 2, qui ont subi le déclin des grandes industries traditionnelles, les mesures sont centrées sur la promotion de l'esprit d'entreprise et la création d'opportunités d'emploi alternatives. Pour les régions de l'Objectif 5b, l'accent est mis sur l'aide à la diversification et à la modernisation des PME rurales et, enfin, dans les zones de l'Objectif 6, la priorité est d'aider les PME à surmonter les problèmes associés à l'éloignement des grands centres urbains. Le développement du potentiel des PME européennes en général, et plus particulièrement de leur rôle dans la cohésion économique et sociale, constitue un objectif stratégique essentiel de l'Union européenne. Le niveau de l'aide accordée aux PME en termes de ressources allouées par les Fonds structurels pour la période de 1994 à 1999 reflète l'importance accordée par la Commission aux petites et moyennes entreprises. Par exemple, 10% en moyenne des ressources du FEDER sont alloués à des mesures dédiées à la promotion des PME et à l'amélioration du contextecadre dans lesquelles elles fonctionnent (les conditions de cadre correspondent à l'environnement des entreprises au sens le plus large, y compris : les conditions macroéco nomiques globales, le système fiscal, l'environnement réglementaire, la législation sur la faillite, la politique de concurrence, etc. ). L'aide fournie a pratiquement doublé par rapport à la période 198993. La finalité de l'évaluation des interventions structurelles en ce qui concerne la priorité de compétitivité des PME est définie par la Commission euro péenne comme suit : « Fournir une analyse approfondie et systématique de la contribution et de l'impact de l'aide structurelle aux PME dans les Etats membres de l'Union et les régions ». Ainsi, l'évaluation des interventions structurelles dont l'objectif est d'aider les PME joue un rôle majeur dans l'évaluation des réalisations passées ou en cours des objectifs politiques. Les conclusions de ce type d'évaluations fournissent des informations sur les impacts des Fonds structurels sur les PME, permettent de guider le processus d'orientation politique et, par conséquent, améliorent l'efficacité des futurs programmes dans ce domaine. ■ Définir ce qu'il f a ut évaluer Les évaluations des interventions structurelles en faveur des PME doivent s'intéresser aux stratégies qui soustendent la mise en œuvre des pro grammes (c'est à dire au bien fondé des stratégies compte tenu des forces et des faiblesses des régions aidées, des autres politiques publiques associées aux PME et des idées en cours sur l'aide aux PME). Evaluer les impacts sur la compétitivité des PME Elles doivent également examiner la mise en œuvre des mesures en faveur des PME afin d'en évaluer l'efficacité et les performances. Les impacts de mesures qui ne sont pas spécifiquement ciblées sur les PME doivent également être évalués afin de voir si ces interventions apportent quelque chose aux PME en plus de leurs objectifs déclarés (c'est à dire l'augmenta tion de l'emploi ou de la croissance). • Guide et questions clés des évaluations relatives aux PME L'efficacité des interventions structurelles en faveur des PME dépend autant de la façon dont l'aide est apportée que de sa conception. C'est pourquoi il est important d'examiner la mise en œuvre des programmes. Les éléments clés ci-dessous peuvent servir d'orientation : • Comment les mesures d'aide sont-elles organisées ? La fragmentation des structures et des systèmes d'aide aux PME qui existe dans certains pays a-t-elle été réduite par l'introduction d'innovations telles que les guichets uniques (fonction assurée, par exemple, par les Chambres de Commerce en Allemagne et Business Links au Royaume-Uni) ? Les destina taires sont-ils moins désorientés par les systèmes d'aide ? Qui gère les pro grammes en faveur des PME et dans quelle mesure sont-ils mis en œuvre avec des partenariats entre organismes privés et publics ? Dans les régions où les structures institutionnelles sont relativement faibles, dans quelle mesure les mécanismes d'attribution des programmes d'aide ont-ils été renforcés par une restructuration des institutions, le renforcement des capacités de gestion ou l'implication du secteur privé ? • Comment les différents types de programmes d'aide aux PME sont-ils eux-mêmes évalués ? Comment la mise en œuvre des mesures est-elle suivie et évaluée par les différentes autorités nationales et régionales ? Comment les résultats de l'évaluation seront-ils pris en compte dans la for mulation des développements politiques futurs ou la réorientation des pro grammes en cours ? Un certain nombre de questions clés sont associées à l'impact sur le déve loppement régional des interventions structurelles en faveur des PME : • Les interventions ont pour but, à la fois d'encourager le démarrage de nouvelles entreprises (en fournissant les capitaux de départ), et d'aider les PME existantes. Les questions relatives à la survie et aux performances des entreprises aidées sont donc pertinentes. • Les interventions ont pour but de promouvoir l'échange d'information et la diffusion des bonnes pratiques entre PME situées dans différentes régions. L'importance des réseaux transfrontaliers constitue par conséquent une question importante pour l'évaluation. Evaluation transversale des impacts sur les priorités d'intervention • La création d'emploi et la création de richesse au niveau microécono mique peuvent être contradictoires. Il est donc important d'examiner dans quelle mesure les entreprises aidées réinvestissent leurs bénéfices pour assurer leur survie à moyen et à long terme, ainsi que le potentiel de création d'emploi de ces investissements. En outre, lorsque les interventions structu relles contribuent à la création ou au maintien d'emploi, le coût de cette contribution doit être estimé chaque fois que possible. • Beaucoup de petites entreprises produisent une gamme réduite de produits et de services. Cela signifie que lorsqu'une intervention possède un objectif de diversification, le principal moteur de ce processus sera l'émer gence de nouvelles entreprises spécialisées dans les nouvelles niches du marché, et non pas la réorientation d'entreprises existantes. • Les PME peuvent également avoir une base de clientèle très limitée, et, dans certains cas, leurs produits et services peuvent n'avoir qu'un seul et unique acheteur. Dans cette situation, des relations étroites avec des sociétés plus importantes peuvent avoir un effet positif dans la mesure où les sous-traitants adoptent les normes technologiques et de productivité de leur client ou bénéficient d'un transfert de technologie, d'une formation ou d'une assistance technique. Par contre, la position concurrentielle de ces entreprises sera faible, et le tissu économique de la région sera fragile. La place des entreprises aidées dans les chaînes et les grappes d'approvision nement représente dans certains cas un élément d'évaluation clé. Pour comparer différents programmes au niveau national ou régional, on peut utiliser des techniques top-down pour analyser les informations perti nentes sur le contexte. L'utilisation de techniques bottom-up, par contre, permet de collecter des données sur les réalisations et les résultats des pro grammes, tels que le nombre de PME aidées, le nombre de nouvelles entre prises aidées et l'efficacité de la mise en œuvre des interventions. L'estima tion des impacts des interventions au niveau d'un projet ou d'une mesure se prête également à l'approche de bas en haut. Il est important de distinguer les mesures directement ciblées sur les PME, qui sont facilement identifiées dans les Programmes opérationnels, et celles dont les PME ne bénéficient qu'indirectement, et dont le suivi est donc beaucoup plus difficile. En dernier lieu, il est essentiel de distinguer les différents destinataires en fonction de leur taille en utilisant la classification des PME, microentreprises incluses, établie par la Communauté européenne. Evaluer les impacts sur la compétitivité des PME • Clarifier les objectifs des interventions auprès des PME Le développement d'une hiérarchie des objectifs permettant d'examiner les objectifs stratégiques des programmes structurels à différents niveaux est une étape préparatoire de l'évaluation des interventions auprès des PME. Cette hiérarchie peut être établie en construisant l'arbre d'objectifs théma tique, qui permet d'associer des objectifs spécifiquement dirigés vers les PME à des objectifs socioéconomiques plus vastes dans le cadre des Fonds structurels. Un exemple d'arbre d'objectifs pour des interventions structurelles dans le domaine des PME est présenté dans l'Encadré 14. Les objectifs intermédiaires d'augmentation de la compétitivité et de promotion de l'esprit d'entreprise et, dans une moindre mesure, d'européanisation et d'internationalisation des activités des PME sont les plus étroitement associés aux interventions structurelles. En intégrant des objectifs qui ne sont pas nécessairement uniquement ceux des interventions structurelles (la simplification des procédures de démarrage et du cadre législatif, etc. ), l'arbre d'objectifs permet d'examiner la cohérence des objectifs et de prendre en compte les synergies potentielles. Encadré 14  Exemple d'un « arbre d'objectifs » pour les interventions auprès des PME Objectifs globaux Exemples d'objectifs spécifiques Maximiser la contribution des PME à la cohésion économique et sociale Améliorer l'environne ment économique pour le;; ['ME Européaniser et interna tionaliser les activités des PME Augmenter la compétitivité des PME Promouvoir l'esprit d'entreprise au sein de |— groupes cibles spécifiques • Améliorer l'accès au capital risque • Réduire les charges administratives Augmenter la fourniture de capitaux propres Simplifier les procédures de création Simplifier le cadre législatif Réduire les coûts de transactions internationales Améliorer les stratégies de formation et de coopération • Réduire les barrières commerciales visàvis de pays tiers • Améliorer l'accès liés aux programmes RDT • Adapter les programmes de formation aux nécessités des PME Encourager la culture d'entreprise Augmenter le développement de nouvelles PME Augmenter le nombre de femmes et de jeunes créateurs d'entreprises Liens entre objectifs à court terme Objectifs hors Fonds structurels Π Evaluation transversale des impacts sur les priorités d'intervention • Impacts nets découlant d'interventions en faveur des PME Chaque fois que cela est possible, les impacts nets des programmes destinés aux PME doivent être évalués. Cela implique que les effets d'aubaine doivent être estimés de manière à définir la situation contrefac tuelle (c'est à dire le niveau de chiffre d'affaires, le montant des investisse ments, le nombre d'innovations, etc. qui auraient été observés en l'absence de la politique). Il peut également être nécessaire de prendre en compte les effets de déplacement. Des effets de substitution peuvent également être observés et, dans certains cas, être recherchés (exemple : une augmenta tion de la proportion de femmes et de jeunes chefs d'entreprises, une diver sification des activités de production locales vers des secteurs plus dyna miques). Exemple: Calcul des impacts nets dans le cas d'une aide à la création d'entre prise Un Plan, partiellement financé par les Fonds structurels, fournissant le capital initial pour le démarrage de nouvelles entreprises, a permis le lancement de 60 nouvelles microentreprises, avec un chiffre d'affaires total de 1,36 million d'euros après la première année d'exercice. Les enquêtes sur les destinataires du plan ont établi que 15 nouvelles entreprises, représentant un chiffre d'affaires de 0,38 million d'euros, auraient été créées même sans l'aide du plan (effet d'aubaine). On a également découvert que deux destinataires exerçaient auparavant des activités non déclarées, représentant un chiffre d'affaires total de 32 000 euros. Toutefois, dans la mesure où l'on a estimé qu'il s'agissait d'un effet positif de l'intervention (remplacement d'activi tés non déclarées par des activités déclarées), on ne l'a pas déduit des effets bruts. L'effet net de l'intervention a donc été estimé à 0,98 million d'euros. Dans le cas de l'aide aux investissements (infrastructures physiques, biens d'équipement, recherche et développement, etc. ), l'effet de levier des dépenses structurelles est souvent explicitement recherché. Le cas échéant, l'effet de levier, qui est défini comme le financement privé dans un projet subventionné pouvant être directement attribué à un cofinancement du projet par le Fonds structurel, doit être estimé (cf. les définitions dans la première partie du Volume). ■ Exemples d'impacts par domaine d'intervention Les PME sont directement concernées par les interventions qui ont pour but de soutenir l'investissement productif. En outre, les interventions qui ont pour objectif la construction d'infrastructures de base et le développement des ressources humaines ont, bien évidemment, des effets directs et indirects sur les PME parmi les autres acteurs économiques. Evaluer les impacts sur la compétitivité des PME • Les impacts des infrastructures de base Les investissements d'infrastructure en faveur des PME visent à répondre directement aux besoins des entreprises. C'est le cas, par exemple, des interventions qui soutiennent la construction d'installations spécialement conçues pour favoriser la venue de petites entreprises de haute technologie ou de nouvelles entreprises. Ce type d'infrastructures fait souvent partie intégrante d'un ensemble plus large d'interventions en faveur des PME. D'autres interventions structurelles au niveau des infrastructures ont un impact indirect sur l'industrie, généralement en réduisant les contraintes d'environnement et d'accessibilité (transport, énergie, information). Exemple : Projet d'amélioration routière en Irlande L'un des objectifs premiers des interventions structurelles dans le domaine de l'infra structure de base est l'augmentation de la mobilité à l'intérieur des régions. Le projet de rocade d'Athlone a impliqué la construction d'une rocade à quatre voies de 1 0 km et d'un pont pour franchir un cours d'eau. Le projet ne comportait pas de mesures spécifiques d'aide à l'industrie ou aux PME, mais, en permettant au fret routier d'éviter le centre ville, il a réduit les contraintes pesant sur le développement industriel local et l'accès aux ports et, par conséquent, aux marchés d'exportation. Outre ces effets Indirects, les PME locales ont été directement impliquées dans le projet en qualité de soustraitants. Réalisations > Création d'une nouvelle route à quatre voies Création d'emploi temporaire Emplois créés ou maintenus > Réduction des temps de livraison aux principaux marchés Meilleure accessibilité des PME locales Priorité Γ_ Evaluation transversale des impacts sur les priorités d'intervention • Environnement productif Les interventions dans le domaine de l'environnement productif ont un effet plus direct sur les PME. Il peut s'agir d'interventions dans le domaine du développement rural et de l'agriculture, du tourisme, de la pêche, etc. , qui sans viser spécifiquement les PME, sont conçues pour avoir un impact sur les petites entreprises et leur dynamisme. D'autres interventions visent explicitement les PME (services d'information, fourniture d'installations sur mesure et services de conseil sur site, plan d'aide au capital risque. ). E x e m p le : Initiative O u e st D o u ze (France) L'initiative Ouest Douze, située à Capdenac, Aubin et Decazeville, d a ns le sud de la France, est c o f i n a n c ée par le FEDER, le g o u v e r n e m e nt f r a n ç a i s, les collectivités locales et le secteur privé. C'est un organisme à but non lucratif offrant des conseils t e c h n i q u es et une aide financière (prêts sans intérêts) aux créateurs d'entreprises locaux. C et o r g a n i s me gère é g a l e m e nt un p r o g r a m me de j u m e l a ge d es c r é a t e u rs avec d es sociétés en place, par lequel les anciens destinataires t r a n s m e t t e nt leur expérience à leurs successeurs dans le cadre du programme. Réalisations t\ ,> > Sessions d'aide et de conseil avec les chefs d'entreprises potentiels Possibilités de prêts à taux bonifiés pour le lancement de nouvelles entreprises Formation de nouvelles entreprises Effets > Augmentation de l'activité dans la région t 1 Renforcement de la base de PME dans la région Priorité • Ressources humaines Les interventions concernant l'éducation, la formation et la recherche en ce domaine peuvent être soit directement ciblées sur l'industrie dans son ensemble, soit explicitement orientées vers l'aide aux PME (formation des personnes souhaitant créer leur activité, aide aux projets de recherche & développement, prise en charge des partenariats de recherche avec d'autres sociétés ou instituts, etc. ). Evaluer les impacts sur la compétitivité des PME Exemple : Projet de technologie et de design de meubles (Finlande) Ce projet, basé à PäijätHäme, dans le sud de la Finlande, a pour objectif d'augmenter la compétitivité des entreprises du secteur de l'ameublement. Il favorise la coopéra tion et le travail en réseaux entre fabricants, fournisseurs et organismes de formation. Les programmes de formation professionnelle sont adaptés aux besoins des diffé rentes sociétés, qui reçoivent des conseils sur les stratégies de formation et sur les prévisions des besoins en formation. Ce projet est parvenu à augmenter le niveau de technologie et de design des sociétés participantes et donc leur compétitivité sur les marchés intérieurs et internationaux. Réalisations > Effets > Formations spécifiquement conçues pour les PME Les employés améliorent leurs compétences en suivant une formation Les PME participant au projet améliorent la qualité de leur personnel \ t ï h Les PME participantes augmentent leurs ventes à l'exportation Les PME participantes se développent sur de nouveaux marchés à l'étranger Priorité ■ Définir et s é l e c t i o n n er d es i n d i c a t e u rs Les indicateurs et autres exemples relatifs aux interventions en faveur des PME sont présentés en détail dans le Volume 2 de la Collection MEANS consacré aux indicateurs de suivi et d'évaluation. Le présent Volume contient cependant une fiche d'information sur les indicateurs relatifs à la compétitivité des PME et des entreprises. Les interventions peuvent cibler directement les PME ou bien seulement les concerner indirectement. La définition et la sélection des indicateurs dépen dront, dans une certaine mesure, du type d'intervention étudié. Pour les interventions qui ne sont pas strictement centrées sur les PME, mais sur le secteur de production dans son ensemble, un système d'indicateurs doit systématiquement intégrer le pourcentage de ressources allouées aux PME, le pourcentage de projets concernant les PME, etc. Cette approche corres pond au mainstreaming imaginé initialement pour faire apparaître la prise en compte du principe de l'égalité des chances entre les femmes et les hommes dans les programmes (voir Encadré 2). Evaluation transversale des impacts sur les priorités d'intervention La demande de nombreux services d'aide aux PME dépend en grande partie du contexte économique. La consommation financière aura donc tendance à fluctuer au fil du temps, en fonction de la situation des économies nationales par rapport au cycle économique. Il est également intéressant d'examiner le pourcentage d'aide absorbé par les projets dans les secteurs de haute technologie plus dynamiques. Les indicateurs de réalisations informent sur le nombre d'infrastructures ou de services d'aide qui sont financés. Pour les aides sous forme de presta tions de services qui sont souvent intangibles (gestion de l'information, formation ou conseil), les indicateurs de réalisations concernent la quantité d'aide et de services financés par le programme (heures de conseil reçues par les destinataires, par exemple). Ils renseignent également sur le nombre de destinataires ou de projets aidés. Les indicateurs de résultats donnent des informations sur la façon dont une structure de l'offre d'une région a été modifiée par l'intervention, par exemple en comptabilisant les créations d'entreprises. Il existe également des indicateurs plus complexes, qui peuvent s'intéresser, par exemple à l'effet de levier généré par le financement. Les indicateurs d'impact des interventions en ce domaine reflètent l'hétéro généité des impacts sur les PME. Ils se concentrent généralement sur l'aug mentation de valeur ajoutée d'une intervention, les réactions en chaîne sur les fournisseurs et les impacts sur l'emploi qui peuvent se produire. Pour les entreprises nouvelles, les indicateurs s'intéressent au taux de survie au bout de quelques années. Il convient toutefois d'être réaliste quant aux impacts qui peuvent être observés pendant la durée d'une intervention. Si certains impacts directs sur l'emploi peuvent se manifester dans un délai relative ment court, les impacts indirects sur l'emploi, les réactions en chaîne et les impacts sur les innovations en matière de produits et de processus se pro duisent généralement à moyen et à long terme. L'estimation de ces impacts doit le plus souvent être basée sur les réponses des destinataires. A titre d'exemple, un système d'indicateurs est présenté dans l'Encadré 15. Il peut être utilisé pour suivre la production d'impacts d'une aide à la promotion des exportations des PME. Evaluer les impacts sur la compétitivité des PME Encadré 15  Exemple de système d'indicateurs pour une intervention fournissant une aide pour la promotion des exportations des PME Indicateurs de programme (Associés à l'intervention et à ses effets) Indicateurs de contexte (Associés au domaine aidé) Indicateurs de réalisation Nombre de destinataires Nombre de PME aidées Nombre de PME dans la zone eligible Indicateurs de résultat Taux de satisfaction % de destinataires satisfaits ou très satisfaits par les services d'aide fournis Diversification géographique Nombre de PME devenues exportatrices Nombre de PME exportant vers de nouveaux marchés Indicateurs d'impact Exportations Valeur ajoutée Emploi direct % du chiffre d'affaires des ventes à l'exportation des PME aidées après 10 mois Exportations régionales des PME en fonction du PIB Augmentation de la valeur ajoutée générée après 18 mois Valeur ajoutée moyenne par employé dans la région Nombre d'emplois créés / maintenus nets (dont les équivalents pleins temps occupés par des femmes) associés aux exportations après 18 mois Nombre total de chômeurs dans la zone aidée Source : Volume 2 de la Collection MEANS ■ O b t e n ir d es i n f o r m a t i o ns utiles La portée de l'approche qui est envisagée pour évaluer les interventions auprès des PME dépendra de la qualité et de la disponibilité des données. Elle dépendra également de la possibilité de décomposer les données sta tistiques sur les économies régionales au niveau des régions aidées. Il faut souligner que certains impacts ne peuvent pas être quantifiés et qu'il faut adopter alors dans ce cas une approche purement qualitative. Dans une large mesure, l'évaluation des interventions structurelles reposera sur des données primaires, complétées de statistiques issues de données secon daires. Utiliser la définition qui est basée sur les niveaux d'emploi des petites (de 0 à 50 employés) et moyennes entreprises (de 51 à 250 employés) pose un problème particulier. En effet, une entreprise de taille moyenne de 250 employés n'a pas grand chose en commun avec une entreprise employant Evaluation transversale des impacts sur les priorités d'intervention moins de 50 personnes. De même, une petite entreprise de 50 salariés est très différente d'une micro entreprise qui en compte mois de 10. Lors de la collecte des données primaires, l'hétérogénéité de ces catégories d'entre prises doit être prise en compte. Aussi, l'échantillonnage et le choix des études de cas doivent-ils être faits avec soin. Toutefois, les sources de données disposent rarement d'informations sur des entreprises de moins de 20 salariés, alors que cette catégorie peut être particulièrement intéressante pour certains types d'interventions (par exemple l'aide financière visant à aider les petites entreprises à passer le cap des 20 salariés ou à la création de microentreprises). Les données secondaires ont aussi l'inconvénient suivant : la création d'une entreprise est immédiatement enregistrée dès lors que son propriétaire s'engage dans les procédures administratives, tandis que sa dis parition peut être enregistrée très longtemps après la cessation d'activité. Ce décalage peut entraîner une surestimation de l'activité globale des PME et la prise en compte de sociétés inexistantes dans certaines analyses. De nombreux indicateurs de contexte, comme par exemple le démarrage d'entreprises, peuvent être obtenus à partir d'archives administratives euro péennes ou nationales, de statistiques ou d'enquêtes (par exemple les ren seignements obtenus par les services fiscaux). Eurostat a développé une base de données régionale spécifique, appelée Regio, regroupant les statis tiques industrielles régionales avec des données annuelles comparables pour toute l'Europe depuis 1994. La DG XXIII et Eurostat publient régulièrement un rapport intitulé « Entre prises en Europe ». Ce rapport contient des informations détaillées par secteur, par activité économique et par tranche d'effectifs sur toutes les entreprises de l'Union européenne (en fonction de leur nombre, de leur effectif et de leur chiffre d'affaires), ainsi que des analyses thématiques (démographie des entreprises, innovation des PME, coûts de main d'œuvre et productivité des PME, etc. ). Une publication annuelle de l'Observatoire européen des PME donne un aperçu des performances et des perspectives des PME de tous les Etats membres de l'Espace économique européen et de la Suisse depuis 1993, et fournit des données structurées sur les PME à la fois en termes qualitatifs et quantitatifs, ainsi qu'un certain nombre d'études thématiques détaillées (tourisme, environnement, etc. ). Evaluer les impacts sur la compétitivité des PME La base de données BACH est construite à partir de données très détaillées sur les bilans comptables et couvre 23 secteurs de production dans 12 Etats membres sur la période 19871995. Ces données sont ventilées selon les dif férentes classifications de taille basée sur une définition harmonisée. L'infor mation est fournie par les banques centrales et les organismes de statistiques. Cette base de données est particulièrement adaptée à l'analyse financière. ■ Outils adaptés à l'analyse des impacts sur les PME Les outils d'évaluation font l'objet d'une présentation détaillée dans le Volume 3 de la Collection MEANS. Un certain nombre d'outils particulière ment adaptés à l'évaluation des impacts sur les PME sont toutefois présentés ciaprès. Il est possible d'entreprendre une évaluation de l'impact des interventions sur les PME en utilisant l'approche « pas à pas » présentée dans la partie IV de ce Volume. Dans ce cas, le choix des outils s'organise autour d'études de cas minimales, d'entretiens individuels et d'entretiens de groupe. Toutefois, pour une évaluation approfondie des impacts, d'autres outils d'évaluation doivent être employés. Lorsqu'il s'agit d'examiner les aspects stratégiques des interventions struc turelles on peut avoir recours à des entretiens en face à face ou approfondis. Ces entretiens concernent les acteurs clés des autorités nationales et les principaux responsables des programmes d'aide aux PME dans les Etats membres. L'inconvénient de cette technique est qu'elle exige beaucoup de temps si un nombre important d'entretiens doit être organisé. Lorsqu'un grand nombre de personnes partageant une expérience collective (par exemple la mise en œuvre d'interventions) doit être interrogé, l'utilisation d'entretiens de groupe peut s'avérer plus rapide et plus utile. Toutefois, s'il permet de rassembler des informations qualitatives utiles sur la mise en œuvre d'interventions, cet outil n'est pas adapté à toutes les situations (par exemple lorsqu'une description détaillée de processus est nécessaire, des entretiens individuels sont mieux à même de fournir des informations utiles). Les questionnaires permettent une évaluation de base des impacts des mesures et donnent un aperçu de la contribution des différents programmes à la compétitivité et à la croissance des PME. Ils permettent aussi'de rensei gner sur la mise en œuvre de programmes (c'est à dire l'accessibilité et la livraison de plans financés par l'Union européenne). Un questionnaire bien Evaluation transversale des impacts sur les priorités d'Intervention conçu permet de faire des jugements sur l'importance de la relation entre l'amélioration des performances et l'aide des programmes financés par l'UE. Il est plus rapide et moins coûteux d'utiliser des données de suivi pour constituer des échantillons. Cette pratique n'est pas toutefois sans comporter un risque de biais d'échantillonnage. Il est vrai que les données de suivi peuvent inclure des sociétés non-destinataires, c'est-à-dire des sociétés qui ont pris contact avec les opérateurs mais ne sont pas devenues destinataires par la suite. Cependant, en utilisant des données sur ces entre prises pour construire la situation contrefactuelle on ne prend pas en compte le comportement d'entreprises non-destinataires qui, pour diffé rentes raisons, n'ont pas contacté les responsables du programme, soit parce qu'elles n'en connaissaient pas l'existence, soit par ce qu'elles jugeaient que le coût des démarches pour obtenir une aide était supérieur aux avantages qu'elles pouvaient en tirer. L'analyse factorielle est particulièrement utile pour analyser les caractéris tiques de populations homogènes. Puisque les PME sont très différenciées, cette technique peut être utilisée pour constituer des groupes d'entreprises en fonction de leurs caractéristiques clés. Les impacts sont ensuite analysés en fonction de ces caractéristiques clés. L'analyse factorielle utilise généra lement des données provenant de questionnaires. Cette technique a été utilisée avec succès en Espagne pour évaluer les impacts sur l'emploi des subventions à l'emploi dans le secteur coopératif catalan (Voir Encadré 16). Evaluer les impacts sur la compétitivité des PME Encadré 16 - Exemple d'une analyse factorielle du secteur coopératif catalan L'utilisation de l'analyse factorielle peut être illustrée par un projet d'éva luation ex post, orienté vers les effets d'emploi (création et maintien de postes) d'une mesure de subvention dans le secteur des coopératives catalanes. Dans ce cas, l'évaluation était rendue plus complexe par la diversité des coopératives formant une population hétérogène. Le problème était double : d'une part, il fallait déterminer la pertinence des mesures prises par la région au regard de cette situation ; d'autre part, il fallait évaluer l'importance des impacts sur les coopératives ayant perçu une aide. Etant donné la variété et la faible connaissance de la population et des impacts potentiels, une analyse factorielle a été retenue pour sa capacité à faire émerger les corrélations au sein de la population considérée (environ 3000 coopératives) La première étape de l'évaluation a consisté à envoyer un questionnaire à l'ensemble des coopératives. Il a été complété par des entretiens. Les données ainsi recueillies ont d'abord été analysées par des méthodes statistiques traditionnelles (recherche des principaux descripteurs de la population, réalisation de tableaux croisés). La deuxième étape de l'analyse des données a consisté à réaliser une analyse factorielle en vue d'isoler les variables susceptibles d'expliquer la création d'emplois dans les coopératives : y compris la taille de l'entité, l'âge, le secteur d'activité, le niveau technologique, etc. Source : Volume 3 de la Collection MEANS. Les enquêtes peuvent être préparées ou complétées à l'aide de différentes études de cas. Ces dernières en effet révèlent l'origine des impacts des mesures sur les PME et permettent de tester, justifier ou qualifier les résultats obtenus à partir des enquêtes ou à l'aide d'autres méthodes. Elles peuvent se concentrer sur des types particuliers d'interventions structurelles (organisation de financement, ressources humaines, services d'aide com merciale, innovation et technologie, etc. ). Il est toutefois important de sélec tionner soigneusement les études de cas si l'on veut pouvoir ensuite réaliser une analyse approfondie et une comparaison utile entre différents projets. Evaluation transversale des impacts sur les priorités d'intervention Bien que le choix dépende beaucoup de l'implication des bailleurs de fonds et des organisations partenaires responsables de l'action, ainsi que de la disponibilité d'information de qualité (y compris les données de suivi), il est souhaitable de couvrir les différents types d'actions. Le choix des études de Encadré 17 - Exemple de l'utilisation d'une technique d'étude de cas dans l'évaluation du programme NordTek au Danemark Ce programme, destiné aux petites et moyennes entreprises, comportait une centaine de projets offrant des services aux entreprises dans les domaines de la formation, du conseil, de l'accès à des installations infor matiques modernes,. Il s'agit donc d'un programme que l'on peut qualifier de « soft » par opposition aux programmes « hard », visant à l'amélioration des infrastructures. Les résultats de tels programmes sont difficiles à évaluer précisément car ils sont immatériels. Six mesures de taille importante ont été sélectionnées en tant que cas à étudier. Les mesures devaient, selon les critères de sélection, être repré sentatives de la diversité au niveau des stratégies d'intervention, mais aussi au niveau de leur localisation. De plus, elles devaient avoir bénéficié de financements importants dans le cadre du Programme NordTek et être orientées exclusivement vers les entreprises (et non des instituts de recherche ou des administrations). Les six cas étudiés représentaient une part tellement importante du programme total que l'analyse des impacts de ces interventions permettait de couvrir l'ensemble des phénomènes importants. Il a été reconnu sans ambiguïté que les projets choisis repré sentaient une sélection des « meilleurs cas » du programme. La collecte de données a été faite à deux niveaux opérationnels : au niveau de la mesure proprement dite et au niveau des entreprises. Chacun des cas de mesure a été étudié à 4 ou 5 reprises sur le terrain par les évaluateurs en l'espace de deux ans. A chaque fois, les gestionnaires étaient interrogés, et ils devaient garder les traces des services proposés et des entreprises concernées dans un « cahier d'enregistrement » conçu spécialement pour l'évaluation. L'analyse des documents ainsi obtenus était retransmise aux chefs de projet et discutée lors des visites. Au niveau des entreprises, des données ont été collectées au cours d'entre vues auprès d'un échantillon de 20 PME qui avaient utilisé les services offerts. Enfin, 40 PME qui n'ont pas utilisé les services proposés ont été interrogées dans une dernière étape de l'évaluation. Source : Volume 3 de la Collection MEANS. Evaluer les impacts sur la compétitivité des PME cas peut se faire en tenant compte des initiatives affectées d'un budget élevé, et celles qui sont importantes du point de vue des stratégies de déve loppement régional. L'Encadré 17 donne un exemple d'évaluation s'ap puyant sur une étude de cas. ■ R é s u mé d es p o i n ts essentiels L'importance du rôle joué par les petites et moyennes entreprises (PME) dans la croissance et la création l'emploi au sein de l'Union européenne a été fortement souligné au cours des dernières années. La flexibilité et la capacité d'innovation des PME leur permet de réagir rapidement aux chan gements structurels et de s'adapter rapidement à l'évolution de la demande. Il existe toutefois un certain nombre de facteurs qui freinent la compétitivité des PME européennes. Les imperfections du marché de base et des poli tiques inhibent la croissance et la création d'emploi. L'évaluation des inter ventions structurelles en faveur des PME doit donc avoir un rôle essentiel dans l'appréciation de la contribution effective des politiques à la résolution de ces problèmes. Les interventions peuvent être centrées directement sur les PME ou agir sur les PME en tant qu'élément du tissu industriel. Les PME sont également implicitement visées par des interventions dans d'autres domaines, en parti culier par les interventions ayant pour objectif la diversification des struc tures de production (développement rural, pêcheries et tourisme). En ce qui concerne les techniques empiriques d'évaluation des interven tions structurelles en faveur des PME, l'expérience de leur application dans ce domaine est limitée, mais pourrait s'enrichir rapidement au fur et à mesure que ce type d'interventions devient plus courant. ■ Pour en savoir plus. OCDE. (1993), Les Petites et Moyennes Entreprises: technologie et compéti tivité, Paris: OCDE. OECD. (1998), ßesf Practice Policies for Small and Mediumsized Enter prises, Paris: OECD. OECD, (unpublished), Assessment of SME Policies: An Analytical Framework, Working Document, DST / IND / PME (98)2. Evaluation transversale des impacts sur les priorités d'intervention Grant Thornton International Business Strategies Ltd. (1998), European Business Survey: Prospects and Issues forSMEs, Spring (6). EIM Small Business Research Consultancy (1997), European Observatory for SMEs: Fifth Annual Report, The Netherlands: EIM. the European Commission. (1997), Report European Parliament, the Council, and the Economic and Social Committee and the Committee of the Regions on the Coordination of Activities to Assist Small and Medium-sized Enterprises (SMEs) and the Craft Sector. the Commission from to in favour of SMEs and the craft European Commission. (1995), Activities sector, Luxembourg: Office for Official Publications of the European Community. Evaluer les impacts sur l'emploi des interventions structurelles ■ P o u r q u oi é v a l u er les i m p a c ts sur l'emploi ? • Le contexte communautaire Le chômage structurel est un problème persistant contre lequel l'Union européenne doit lutter, même en période de forte croissance économique. Les victimes du chômage subissent plus qu'une simple perte financière. La communauté dans son ensemble doit à la fois prendre en charge cette partie économiquement inactive de la population, les coûts résultants de l'exis tence de poches de plus en plus permanentes de chômage de longue durée ainsi que les carences qui l'accompagnent et qui tendent à se concentrer à la fois socialement et géographiquement. La réponse de l'Union européenne à cette situation est basée sur le principe qu'un effort global mené sur l'ensemble de l'Union est nécessaire pour mettre en place un contexte macroéconomique qui favorise la création d'emploi. Cet effort doit simultanément coordonner des initiatives et des actions engagées au niveau national, régional et local et intervenir en parte nariat avec les acteurs à ces différents niveaux. Les Fonds structurels sont utilisés pour cofinancer des interventions poli tiques dont l'objectif est à la fois de promouvoir un meilleur équilibre écono mique et social sur l'ensemble de l'Union en réduisant les disparités régio nales et nationales (cohésion) et d'aider au développement global du tissu structurel de l'Union, y compris celui du marché du travail. Ils ont pour but de stimuler la croissance économique et la création d'emploi. Si certains des objectifs des politiques structurelles ont toujours été associés à l'emploi, on a pu observer, au cours des dernières années, une volonté croissante de produire des effets substantiels sur l'emploi, à la fois dans le principe et dans la pratique. Dans la mesure où ils constituent un instrument majeur pour influencer les schémas de développement économique et un véhicule essentiel pour fournir des ressources aux partenaires locaux, il est évident que l'utilisation des Fonds structurels doit refléter la priorité croissante que l'Union accorde à l'emploi. Les types d'impacts sur l'emploi susceptibles d'être produits par des inter ventions structurelles soutenues par les Fonds structurels dépendent des Evaluation transversale des impacts sur les priorités d'intervention instruments particuliers utilisés. Le choix de ces instruments est déterminé à son tour par les objectifs de l'intervention en question. Une intervention dans le domaine des infrastructures ou de l'environnement productif peut avoir pour objectif de générer des effets d'emploi en créant de nouveaux emplois ou en maintenant ceux qui existent déjà. D'autre part, des interventions dans le domaine de la formation ont parfois pour cible le maintien de l'employabi lité des salariés, c'est-à-dire la capacité d'un individu à s'adapter à l'évolution du marché de l'emploi à un moment et à un lieu donnés. Les destinataires de ces interventions peuvent être les personnes qui ont déjà un emploi mais qui doivent s'adapter aux nouvelles conditions de travail, des chômeurs et en particulier des groupes cibles spécifiques, tels que les femmes, les chômeurs de longue durée et les jeunes qui doivent améliorer leur employabilité en per fectionnant leurs compétences ou en en acquérant de nouvelles. Les interventions structurelles se caractérisent par leur concentration sur un nombre limité d'objectifs globaux et par la concentration de chacun des pro grammes soutenus par les Fonds structurels sur l'un de ces objectifs. Ces objectifs globaux sont ciblés soit sur des régions spécifiques, soit sur des groupes sociaux spécifiques et, dans l'un ou l'autre cas, peuvent être définis par rapport à un secteur économique déterminé. La nature de la relation entre ces objectifs globaux et l'emploi varie considérablement. • Evaluation précise de l'efficacité des interventions des Fonds structurels Les avantages potentiels découlant des interventions des Fonds structurels dans le domaine de l'emploi sont conséquents : réduction de la pauvreté et de la misère engendrées par le chômage, création de conditions d'offre de main d'ceuvre favorables à la croissance et à la compétitivité des régions les plus faibles. Ces avantages peuvent également inclure une plus grande compétitivité de l'Europe et le soutien du modèle social européen. Toutefois, pour que les interventions des Fonds structurels soient efficaces, les évalua tions devront être suffisamment sophistiquées pour mesurer les effets d'emploi avec précision. Pour que les interventions structurelles soient efficaces, les mesures ex ante et ex post des effets d'emploi doivent être aussi précises que possible. A un niveau plus stratégique, une information précise permet de mesurer l'impact global des interventions sur l'emploi, permettant ainsi à la Commission euro péenne et au Parlement européen de prendre des décisions justifiées sur la poursuite ou la modification des interventions des Fonds structurels. Evaluer les impacts sur l'emploi Dans la mesure où les interventions des Fonds structurels associent des programmes ayant des objectifs divers, il est particulièrement important d'évaluer non seulement les effets globaux sur l'emploi de ces programmes, mais également les effets de chacune des mesures qui les composent. En outre, dans de nombreux cas, il est nécessaire d'évaluer à la fois les effets généraux sur l'emploi (par exemple, le nombre de nouveaux emplois créés) et les effets associés à des objectifs plus spécifiques (par exemple, combien d'emplois sont désormais concentrés dans une région donnée ou occupés par des jeunes). Toutefois, pour apprécier pleinement l'efficacité des interventions, il convient d'estimer les effets nets d'emploi. Par conséquent, cela signifie que la création ou le maintien de l'emploi qui se serait produit en l'absence de l'intervention doit être pris en compte (effet d'aubaine). De même, il convient de tenir compte des effets d'emploi induits au détriment d'autres parties de la zone du programme (effet de déplacement) et des situations où les individus qui remplissent les conditions pour recevoir l'aide remplacent ceux qui ne sont pas destinataires (effet de substitution non recherché). Enfin, les répercussions plus larges d'une intervention sur les fournisseurs des entre prises destinataires (effet fournisseur), et l'augmentation du pouvoir d'achat des individus aidés (effet multiplicateur), doivent, dans la mesure du possible être également estimées. Il faut aussi tenir compte des interactions permanentes entre les marchés du travail et d'autres types de marchés (marchés des biens, des services, marchés financiers) ou des marchés extérieurs à la zone géographique définie. Par exemple, une augmentation des exportations due à des condi tions économiques favorables à l'étranger aura un effet positif sur la création d'emploi. Autre exemple, une période de taux d'intérêts particulièrement bas pourra avoir des effets positifs sur l'investissement et les exportations avec des avantages notables pour l'emploi. Ces facteurs concurrents doivent être pris en compte pour analyser avec précision l'efficacité propre d'une intervention. En outre, compte tenu de la nature des marchés du travail, les interventions nationales jouent un rôle considérable, et des synergies sqnt souvent générées entre les interventions des Fonds structurels et les initiatives natio nales. Il est donc important d'identifier l'existence de ces synergies. Evaluation transversale des impacts sur les priorités d'intervention Nous avons déjà mentionné cidessus que certaines interventions se concentrent sur l'employabilité des salariés et des chômeurs. L'employabi lité des individus est étroitement associée à l'évolution de leurs compé tences en réponse à l'évolution des besoins économiques. Ce problème du maintien de l'employabilité se pose de manière aiguë dans les anciennes régions industrielles où une évolution structurelle a imposé des change ments profonds de l'organisation de la production et des stratégies d'entre prise. Cette évolution a évidemment généré une réduction de l'employabilité des ouvriers. L'encadré cidessous présente différentes formes d'obsoles cence des compétences et les stratégies de formation des personnes menacées de chômage qui peuvent être employées dans chaque situation. Encadré 18  ■ Différenl :s types d'c ibsolesceni ;e des compétences Forme d'obsolescence Associée à l'individu Associée aux conditions du poste Associée à des changements de poste Associée Associée à l'entreprise au marché Facteur de diminution de l'employabilité Vieillesse, maladie, accident Utilisation in suffisante des compétences Demandes de compétences nouvelles Activité menacée par l'apparition de nouveaux concurrents Déclin de l'em ploi dans un secteur donné Réponse en ter mes de formation des personnes menacées de chômage Révision des compétences déjà acquises ou requalifi cation totale Révision de compétences déjà acquises Formation aux nouvelles exigences du poste Développement des compétences existantes ou requalification totale Formation à un poste similaire dans un autre secteur ou requalification totale Afin de définir clairement de quels types d'effets d'emploi il est question dans ce chapitre, nous ferons référence soit à l'effet de création d'emploi ou l'effet de maintien d'emploi découlant d'interventions dans des domaines autres que les ressources humaines, soit aux effets d'employabilité découlant d'interventions dans le domaine des ressources humaines (et concernant essentiellement la formation). La différence essentielle entre ces deux types d'effets est que, dans le premier cas, les effets d'emploi concer nent la création ou le maintien d'un poste pouvant être occupé par diffé rentes personnes, alors que dans le deuxième cas, les effets d'emploi concernent essentiellement le maintien ou l'amélioration de l'employabilité d'individus, soit en les aidant à conserver un certain niveau de qualification (par exemple dans le cas de la formation continue), soit en leur donnant une plus grande chance de correspondre aux exigences professionnelles des employeurs potentiels et donc de trouver un emploi (cas de la formation des chômeurs). Les caractéristiques de ces types d'effets sont résumées dans l'Encadré 19. Evaluer les impacts sur l'emploi Encadré 19  Différents types d'effets d'emploi Effets d ' e m p l oi Effets de création/maintien d'emploi (Lié à un poste) Emploi créé ou maintenu grâce à la mise en œuvre des interventions des Fonds structurels ou comme conséquence de l'intervention où la création ou le maintien d'emploi est un objectif explicite ou implicite I Effets d'employabilité (Lié à un individu) Emploi maintenu (salariés existants) ou trouvé (chômeurs) grâce aux interventions des Fonds structurels visant particulièrement le maintien ou l'amélioration de l'employabilité par le développement des compétences et des qualifications ■ Définir ce qui doit ê t re m e s u ré • Comment sont produits les impacts sur l'emploi ? Nombreuses sont les interventions qui ne visent pas explicitement la création d'effets d'emploi. Il est donc peu probable qu'elles aient un effet direct substantiel sur l'emploi. D'autres interventions ont pour cible le déve loppement des ressources humaines, y compris la formation et la recherche dont les effets directs sur l'emploi sont limités et à court terme. Ainsi, les effets d'emploi les plus significatifs résultant de l'utilisation des Fonds struc turels sont souvent indirects et tendent à apparaître à moyen ou long terme. Ils peuvent donc s'avérer relativement difficiles à isoler et à mesurer. Cette situation est encore compliquée par le fait que certaines interventions peuvent très bien créer des effets négatifs sur l'emploi dans un premier temps avant de produire des effets positifs à plus long terme. Ceci est parti culièrement vrai pour les interventions ciblées sur l'augmentation de la com pétitivité et de la productivité. L'encadré ciaprès présente les différentes influences des interventions struc turelles sur les schémas d'emploi. S'il est vrai que la distinction analytique clé en matière d'effets d'emploi est de savoir s'ils résultent de changements de l'offre ou de la demande, les types d'effets présentés cidessous constituent une référence plus pratique pour vérifier qu'aucun effet n'est négligé. Evaluation transversale des impacts sur les priorités d'intervention Encadré 20 - La production d'effets d'emploi par les interventions structurelles. • Comme conséquence directe de la mise en œuvre d'une intervention : emplois dans le bâtiment, l'administration et la formation ; • Comme conséquence directe de l'aide apportée, c'est à dire par la création / le maintien d'emplois dans des sociétés nouvellement créées ou en développement ; • Comme conséquence des mesures de formation destinées à accroître l'employabilité des salariés et des chômeurs ; • Comme conséquence d'interventions poursuivant ou non un objectif immédiat et explicite en matière d'emploi, soit en raison des biens et services fournis dans le cadre de l'intervention (par exemple fourniture de matériaux de construction, de matériel de bureau, etc. ), soit du fait d'une amélioration de l'efficience de l'économie locale (par exemple chauffeurs employés pour transporter des biens pour l'exportation car la réduction des coûts de transport résultant d'une nouvelle infrastructure les a rendus plus compétitifs) ; • En réponse à une augmentation de la demande générée par une aug mentation des revenus qui provient elle-même de l'intervention ("effet multiplicateur" - par ex. augmentation du nombre 3'emplois dans le commerce de détail local ou dans le bâtiment pour répondre à la demande des nouveaux employés). Dans la mesure où une grande partie des effets d'emploi présentés dans l'encadré ci-dessus se situe à différents points de la chaîne de causalité, il est important de comprendre les mécanismes de causalité qui relient les interventions à leurs impacts éventuels sur l'emploi. Ces mécanismes sont présentés dans l'Encadré 21 et détaillés dans le résumé qui le suit. Encadré 21 - Interventions des Fonds structurels et mécanismes des effets d'emploi -< (mécanisme causal peu complexe) >- usai très complexe (mécanisme ca (a) Construction et mise en œuvre (b) Subventions à l'emploi (c) Formation (d) Soutien à des activités productives (e) Infrastructure et compétitivité accrue Evaluer les impacts sur l'emploi (a) Activités du bâtiment et de mise en service conduisant à la création d'emploi Presque toutes les interventions structurelles liées aux activités du bâtiment (travailleurs employés pour construire une autoroute, par exemple) et aux activités de mise en service (recrutement de professeurs chargés de dispenser les programmes de formation) ont des retombées sous forme de création d'emploi. Ces retombées peuvent représenter une proportion presque insignifiante (par exemple, certaines mesures d'aide financière) ou bien au contraire la majeure partie des effets. Dans ce cas, le lien entre les interventions et leurs effets d'emploi est encore relativement direct. (b) Soutien à l'emploi conduisant à la création d'emplois Les soutiens à l'emploi pour les chômeurs de longue durée sont un exemple typique de politiques qui ont un effet d'emploi immédiat. Il n'est pas en effet difficile de voir le lien de cause à effet entre l'embauche d'un nouveau salarié et l'aide accordée à l'employeur. (c) Effets d'emploi résultant d'une amélioration des compétences Les politiques de formation offrent un autre exemple de mesures reliées à leurs effets d'emploi par une chaîne complexe. Les politiques de formation visent à remédier aux disparités entre les compétences de la main d'œuvre disponible et celles dont ont besoin les secteurs économiques ayant de bonnes perspectives de croissance. La formation est donc censée améliorer l'employabilité des chômeurs ou des travailleurs dont les compétences risquent d'être dépassées. Dans le cas de la formation des employés en poste, les effets d'emploi sont relativement directs. Moins directement, cela peut conduire à une amélioration de la qualité de la main d'œuvre et ainsi produire une augmentation de la productivité et du nombre de travailleurs qualifiés, ce qui entraîne à son tour une réduction de la pression salariale et pousse les entreprises à augmenter leur taux d'activité et d'emploi. (d) Emplois induits ou favorisés par le soutien des activités de production Cette catégorie regroupe tous les emplois que les entreprises ou d'autres acteurs économiques créent lorsqu'ils développent de nouvelles activités ou lorsqu'ils accroissent leurs activités existantes sous l'impulsion d'un soutien direct (apporté sous forme de subvention ou d'aide à l'investisse ment) ou indirect (apporté sous forme de service, de sites mis à disposition, etc. ). Elle constitue par conséquent le principal canal des effets d'emploi. Toutefois, de même que d'autres types d'interventions créant des effets d'emploi par des mécanismes de causalité complexes, les impacts sur Evaluation transversale des impacts sur les priorités d'intervention l'emploi sont difficiles à attribuer et à mesurer. Ceci est dû en partie au fait que la chaîne des impacts, de l'intervention aux effets d'emploi, se fait plus complexe. En effet, l'acteur économique tiendra compte de bien d'autres facteurs, autres que le régime d'aide proprement dit, avant de décider de créer un emploi. A cet égard, l'impact sur l'emploi des aides à l'investissement proposées aux entreprises constitue un exemple significatif. L'augmentation du taux d'investissement qu'elles permettent devrait favoriser une augmentation des activités économiques de l'entreprise et, par conséquent, une augmen tation de l'emploi. Mais en réalité, si la demande est statique ou en déclin, il peut très bien y avoir perte d'emplois. Cette perte sera due au fait que toute mesure destinée à améliorer les biens d'équipement aura tendance à augmenter la productivité des immobilisations, rendant ainsi la main d'œuvre moins compétitive. Si la demande stagne, on observera une substi tution du capital à la main d'œuvre. Les aides accordées aux activités de production ont également des effets indirects (effets multiplicateurs de revenu et effet fournisseur), qui se tradui sent en effets d'emploi. D'autres étapes doivent être franchies sur la chaîne des impacts et il est donc plus complexe de démêler ces effets. (e) Les effets d'emploi résultant d'un accroissement de compétitivité dû à la construction de nouvelles infrastructures Les effets d'emploi peuvent également découler du gain de productivité, grâce aux infrastructures matérielles (telles que routes, télécommunications, etc. ) et immatérielles (telles que services aux entreprises, recherche et déve loppement, etc. ). Il s'agit d'effets à long terme générés par un mécanisme complexe, situés pratiquement à la fin de la chaîne d'impacts et qui sont donc difficilement identifiables et attribuables à des interventions spécifiques. Si les Fonds structurels produisent des effets d'emploi de diverses manières, les types d'effets d'emplois produits sont également variés. Outre la distinction entre les effets de création et de maintien d'emploi et les effets d'employabilité, deux autres distinctions importantes peuvent être faites. Tout d'abord, l'évaluation devra distinguer les effets d'emploi « durables » (c'est-à-dire, des emplois résultant d'une intervention qui se poursuivra en l'absence de soutien public) de ceux qui sont « temporaires » (c'est-à-dire des emplois qui cessent d'exister lorsque la subvention prend fin). De plus, les emplois liés à la mise en œuvre des interventions sont généralement Evaluer les impacts sur l'emploi temporaires et l'expérience montre qu'il faut s'attendre à ce qu'une partie seulement des autres effets d'emploi perdure au-delà du moyen terme (ainsi une proportion significative des emplois créés dans les entreprises nouvelle ment établies ne se maintient pas durablement). Lorsque l'on mesure les effets d'emploi, il est important de préciser quels sont les emplois qui seront de nature temporaire (c'est à dire ceux qui disparaîtront lorsque le finance ment prendra fin) et de ne pas donner une fausse impression de durabilité pour tous les emplois qui sont la conséquence de l'intervention. Certains emplois sont créés uniquement pour une courte période (emplois tempo raires), et sont souvent liés à la mise en œuvre de l'intervention. Si l'on doit produire des chiffres agrégés, et pas simplement comptabiliser le nombre d'emplois créés par l'intervention, il est préférable d'utiliser les emplois / années comme unité de mesure et la valeur actuelle des emplois créés peut être estimée à partir des emplois/années prévus. Ensuite, les effets d'emploi d'une intervention peuvent inclure à la fois des emplois à plein temps et des emplois à temps partiel. Là encore, il peut être nécessaire de les distinguer lors de la mesure et, en conséquence, deux types de chiffres différents peuvent être produits : d'abord l'équivalent temps plein (ETP) qui va refléter la quantité globale d'emplois générés (par exemple, un emploi à mi-temps et deux emplois à quart de temps seront équivalents à un temps plein), et deuxièmement, le nombre total d'emplois générés (un emploi à mi-temps et deux emplois à quart de temps seront alors considérés comme l'équivalent de trois emplois) qui reflète mieux l'ob jectif de lutte contre le chômage. • Clarifier les objectifs en termes d'emploi Lorsque l'on évalue les effets d'emploi des interventions, il convient de faire référence aux objectifs des interventions en question et à leur rapport à l'emploi. En pratique, ni les objectifs de chaque composante d'un programme, ni les liens entre les différents niveaux d'un programme ne sont pas toujours articulés aussi clairement et de façon aussi explicite qu'ils le devraient. La cla rification des différents niveaux d'objectifs d'un programme cofinancé par les Fonds structurels est d'autant plus nécessaire que l'on n'est pas certain des conséquences sur l'emploi de chaque type d'intervention. Par exemple, des améliorations de l'infrastructure de transport desservant des régions enclavées peuvent diminuer les coûts pour les exportateurs de ces régions et permettre un accès plus facile aux services de soutien, mais Evaluation transversale des impacts sur les priorités d'intervention elles peuvent tout autant exposer les régions concernées à une concurrence plus forte et faciliter l'émigration saisonnière ou permanente de la main d'œuvre. De même, si les plans de formation aidés améliorent généralement le niveau de qualification de la main d'œuvre et la productivité, rendant ainsi une région plus attirante pour des investisseurs extérieurs, ils peuvent, dans certaines circonstances, entraîner une augmentation de l'émigration de nouveaux qualifiés, à la recherche de meilleures opportunités de carrière. En ce qui concerne l'appréciation de la nature des effets d'emploi attendus d'une intervention et l'application des techniques appropriées pour les mesurer, il est important que la Commission puisse travailler étroitement avec les partenaires impliqués au niveau national, régional et local pour définir de façon aussi claire et explicite que possible les objectifs spécifiques de toutes les composantes de chaque programme. Cette tâche est particu lièrement importante pendant la phase ex ante de la programmation. Cependant, on a souvent observé, notamment pour les programmes qui s'étendent sur une période relativement longue, que des problèmes d'ab sorption des crédits, ou encore de la modification de la situation écono mique, peuvent nécessiter de modifier les programmes pour mieux produire l'impact désiré sur l'emploi ou sur toute autre priorité, et d'affiner les objectifs définis à l'origine dans les programmes individuels. Les objectifs en matière d'emploi doivent donc non seulement être clairement spécifiés en début de programme, mais doivent également être ouverts aux modifica tions associées aux nouvelles priorités de la politique ou à l'évolution des conditions économiques. Dans de telles circonstances, il est utile, au cours de la phase ex ante, d'établir « l'arbre d'objectifs » en matière d'emploi d'un programme. Afin d'illustrer l'utilisation de cet outil dans le contexte des interventions destinées à promouvoir l'emploi, un arbre d'objectifs d'emplois est présenté dans l'encadré ci-après. Evaluer les impacts sur l'emploi Encadré 22 - Exemple d'arbre d'objectifs pour la promotion de l'emploi Objectifs globaux Objectifs spécifiques Réduction des disparités entre régions Meilleure contribution à l'emploi des PME Augmentation des opportunités d'emploi Meilleure employabilité des travailleurs en poste Meilleure intégration au marché du travail de groupes spécifiques • Promouvoir la création d'entreprises • Promouvoir l'investissement des PME • Promouvoir l'innovation des PME • Promouvoir la collaboration • Améliorer les services de conseil aux PME • Diversifier la gamme de produits et services des entreprises régionales • Accroître les possibilités d'exportation pour les entreprises régionales • Attirer les investisseurs extérieurs • Adapter les compétences et qualifications des employés en poste • Développer les activités de formation professionnelle • Reconvertir les chômeurs de longue durée • Améliorer la qualification des jeunes • Améliorer les opportunités de formation des femmes Dans l'exemple ci-dessus, qui est composé de différents types d'interven tions que l'on ne trouve pas toujours dans le contexte d'un seul programme, les interventions ciblent une gamme d'objectifs spécifiques eux-mêmes subordonnés à quatre objectifs intermédiaires : augmenter les opportunités d'emploi et le potentiel d'emploi des PME (interventions ciblées sur l'envi ronnement de production), intégrer des groupes spécifiques au marché du travail (interventions ciblées sur la formation des chômeurs) et permettre aux salariés de conserver leur emploi (formation continue). L'objectif global des interventions est de réduire les disparités régionales en matière d'emploi. • Attribuer des impacts sur l'emploi à une intervention Il est important que seuls les impacts découlant véritablement d'une inter vention lui soient attribués. Il convient pour cela d'estimer ses effets nets. La première étape consiste à construire la situation contrefactuelle afin d'estimer les effets d'aubaine. L'effet brut sur l'emploi d'une intervention se définit comme le nombre total d'emplois créés ou maintenus ou le nombre de personnes bénéficiant d'une formation, d'un conseil professionnel etc. Evaluation transversale des impacts sur les priorités d'intervention qui conservent leur emploi ou qui en trouvent un. Dans la pratique, les données sur les effets bruts sur l'emploi sont recueillies par le biais des systèmes de suivi et servent de base pour ce calcul. Pour les interventions ciblées sur la formation des travailleurs en poste menacés de chômage, l'effet d'aubaine est délicat à mettre en évidence car il correspond aux personnes bénéficiant de formations et qui auraient conservé leur poste sans cette formation. Dans ce cas, la situation contre- factuelle doit être établie à l'aide de groupes de contrôle. Le profil des employés destinataires est important pour établir la portée de ce type d'effet d'aubaine. Ainsi, par exemple, les cadres et les employés hautement qualifiés ont plus de chances de recevoir une formation sans l'aide publique. De même, la taille de l'entreprise peut être un facteur déterminant, dans la mesure où les grandes entreprises tendent à entreprendre plus d'activités de formation que les PME. Un effet de déplacement se produit, dans le cas d'interventions sur une zone, lorsque la création ou le maintien d'emplois se fait au détriment d'emplois dans d'autres zones concernées par le programme. C'est le cas par exemple, lorsque des sociétés bénéficiant d'une intervention dévelop pent leur activité et leur effectif au détriment de l'activité d'autres entreprises situées dans la zone du programme. Lorsque l'effet de déplacement n'est pas intentionnel, il doit être soustrait de l'effet brut. Lorsque des interventions visent des groupes de destinataires particuliers (chômeurs de longue durée, mères de famille, jeunes, etc. ), la substitution des destinataires à des non-destinataires peut être recherchée de manière explicite. C'est le cas par exemple lorsque des destinataires peu qualifiés trouvent un emploi au détriment de non-destinataires. De façon comparable, on peut parler d'effet de substitution pour des interventions cherchant expli citement à créer ou à maintenir l'emploi en aidant le développement d'un secteur au dépend d'un autre. Lorsque la substitution est l'objectif explicite des interventions, elle ne doit pas être soustraite des effets bruts. Lorsque, par contre, l'intervention crée un effet de substitution qui ne contribue pas à renforcer la cohésion économique et sociale, il peut être traité comme s'il s'agissait d'un effet de déplacement, et donc doit être soustrait des effets bruts. Evaluer les impacts sur l'emploi Exemple: Programme de formation à la création d'entreprise aux effets nets des effets bruts Un programme de formation à la création d'entreprise a permis la création de 400 entreprises. Cependant, deux ans après leur création, 250 seulement de ces entre prises sont toujours en activité, et 50 n'emploient le créateur de l'entreprise qu'à mi- temps. Les entreprises qui ont survécu ont créé 250 emplois supplémentaires à temps plein et 100 emplois à mi-temps après deux ans (l'objectif de l'intervention étant de créer des emplois durables, on considère que deux ans est un laps de temps suffisant pour juger de la durabilité), le nombre brut d'emplois à la fin de cette période s'élève à 350 (employés) plus 250 (créateurs d'entreprises), soit un total de 600. Toutefois, une partie de ces emplois étant à mi-temps, le nombre d'emplois bruts créés s'élève à 250 ETP (200 + 50/2 + 250 + 100/2 = 525). Si l'on sait que l'effet d'aubaine est de 20% et si l'effet de déplacement qui résulte de l'aide apportée aux entreprises destinataires est estimé à 30%, l'effet net de l'inter vention serait de 262. 5 ETP nets (525 - [525x0. 3] - [525x0. 2] = 262. 5). Les différences entre les concepts présentés ci-dessus en matière d'effets de création/maintien d'emploi et d'employabilité sont résumés dans l'Encadré 23. Encadré 23 - Comparaison des effets d'aubaine, de substitution et de déplacement Définition de création maintien d'emploi Définition d'employabilité Effet d'aubaine Postes qui auraient été créés ou maintenus sans l'intervention Individus qui auraient conservé leur emploi ou trouvé un emploi sans l'intervention Déplacement (interventions sur une région) Postes créés ou maintenus par une société dans la zone visée par l'intervention au détriment d'autres sociétés situées dans la zone de programme qui ont dû renoncer à créer ou réduire des postes en nombre équivalent Entreprises employant ou recrutant des individus qui prennent l'activité et réduisent l'emploi d'autres sociétés situées dans la région visée par le programme et qui n'ont pas formé leurs employés ou recruté du personnel ayant suivi des formations de recyclage Substitution (interventions sur les groupes sociaux) Individus ayant suivi des formations de recyclage qui conservent leur poste au lieu d'être remplacés par des chômeurs qui étaient auparavant mieux qualifiés Chômeurs ayant suivi une formation de recyclage appartenant à des groupes cibles spécifiques substitués à des non- destinataires Evaluation transversale des impacts sur les priorités d'intervention Outre les différents effets soulignés cidessus, l'emploi peut être généré par l'effet multiplicateur (emploi indirectement créé ou maintenu du fait que l'in tervention induit des revenus supplémentaires pour les consommateurs locaux) ou l'effet fournisseur (emploi créé ou maintenu du fait que l'interven tion a une incidence sur les relations entre les destinataires et leurs fournis seurs) que l'on tend à identifier séparément. Il est toutefois pratiquement impossible de quantifier ces effets pour chaque intervention régionale. Les effets d'emploi d'une intervention, qu'ils soient négatifs ou positifs, ne se traduisent pas toujours directement par un effet sur le chômage de même ampleur. Cela s'explique en raison de l'évolution du nombre de demandeurs d'emploi. Ainsi par exemple, le taux d'activité change s'il y a de nouvelles offres d'emploi ; on appelle cela effet d'attraction (effet de travailleurs sup plémentaires). Par exemple, de nouveaux emplois à temps partiel peuvent attirer des femmes ou des retraités qui n'étaient pas enregistrés comme demandeurs d'emploi avant l'intervention. On peut observer un autre effet sur la disponibilité de la main d'œuvre, lié au phénomène de migration : les nouveaux emplois peuvent avoir un effet à la fois sur l'immigration (en attirant des individus qui vont s'installer dans la zone bénéficiant du programme pour obtenir un emploi) et sur l'émigration (en réduisant le nombre de ceux qui auraient autrement quitté la zone desti nataire pour chercher du travail ailleurs). Dans ce contexte, certains effets en termes de migrations pendulaires peuvent être assimilés aux autres effets de migration. Ils peuvent être encore plus importants que les flux de migration permanente, dans la mesure où les nouvelles opportunités d'emploi peuvent encourager de nombreuses personnes domiciliées en dehors de la zone aidée à faire des trajets quoti diens pour venir travailler dans la zone. Plus la zone aidée sera réduite et plus grande sera la probabilité que de nouveaux emplois soient occupés par des individus qui ne faisaient pas partie de la main d'œuvre locale avant l'in tervention. ■ E x e m p l es d ' i m p a c ts par d o m a i n es d'intervention Afin d'illustrer comment les interventions peuvent avoir des impacts sur l'emploi, nous présentons cidessous des exemples correspondant aux trois grands domaines d'intervention des Fonds structurels. Evaluer les impacts sur l'emploi • Infrastructure de b a se L'objectif d es interventions d a ns ce d o m a i ne est en g r a n de partie de réduire les c o n t r a i n t es p e s a nt s ur le d é v e l o p p e m e nt é c o n o m i q ue r é s u l t a nt de l'absence ou de la m a u v a i se qualité de l'infrastructure de base. Ces inter ventions n'ont d o nc pas d'objectifs explicites en matière d ' e m p l o i. Les effets de création et de maintien d ' e m p l oi sont soit de nature t e m p o r a i r e, p e n d a nt la phase de c o n s t r u c t i o n, soit indirects et a s s o c i és à l ' a c c r o i s s e m e nt de l'activité é c o n o m i q u e. Exemple: Amélioration des centraux téléphoniques analogiques (Grèce) En Grèce, au début des années 90, le réseau téléphonique public commuté était ana logique pratiquement à 100%, et donc de mauvaise qualité et peu fiable. L'une des interventions visant à améliorer le réseau a consisté à remplacer progressivement les centraux analogiques en place par de nouveaux centraux numériques. L'objectif de ce programme est de parvenir à 68 - 70% de centraux téléphoniques numériques d'ici l'an 2000. Au furet à mesure de l'installation des centraux numériques, les entreprises et les ménages bénéficient globalement des améliorations du réseau. Le réseau modernisé va permettre aux entreprises de tirer parti des nouvelles possibilités com merciales qu'offre la télématique. Par conséquent, aux effets d'emploi temporaires, résultant directement de l'intervention et se produisant au moment de la mise en service, s'ajoutera l'impact sur les performances économiques des entreprises basées en Grèce, menant indirectement à des opportunités d'emploi permanent. Réalisations > Effets Modernisation des centraux téléphoniques Emplois temporaires bruts créés ou maintenus Emplois bruts créés ou maintenus Réduction des défaillances dans le réseau Entreprises potentiellement raccordées au réseau modernisé Entreprises utilisant la thématique pour trouver de nouveaux marchés -—* Accroissement de la production, des ventes, etc. Priorité LZ^ Evaluation transversale des impacts sur les priorités d'intervention • Environnement productif Pour certaines régions, l'objectif des interventions structurelles est d'aider à la reconversion ou à la diversification économique afin de combattre le chômage structurel. Dans les zones rurales, la diversification des structures de production pour réduire la dépendance vis-à-vis de l'agriculture et encou rager le tourisme, activité exigeant une main d'œuvre importante, constitue un élément essentiel d'une stratégie de développement économique. Exemple: Développer le tourisme en République d'Irlande En Irlande, un Programme Opérationnel concernant le tourisme a été mis en œuvre à partir de 1990. Son objectif global est de générer des effets d'emploi (création de 25 000 emplois supplémentaires). Les interventions avaient notamment pour objectif spécifique de diversifier la gamme de produits touristiques et l'un des produits théma tiques choisis comme cible d'intervention était le développement de conférences dans des centres touristiques. De 1989 à 1993, douze nouveaux centres de confé rence ont été cofinancés. La construction de centres de conférence a produit des effets d'emploi temporaires et un éventuel impact sur la croissance et le caractère sai sonnier des activités des entreprises locales tels qu'hôtels, restaurants, services de conférence, etc. Réalisations Construction de centres de conférence > Emplois bruts créés ou maintenus ,. Emplois temporaires bruts créés ou maintenus Organisation de conférences et d'événements Augmentation du tourisme d'affaire et du tourisme hor s saison 1 Nouvelles activités générées pour la région t Priorité • Ressources humaines Les interventions dans le domaine des ressources humaines se concentrent sur le maintien ou l'amélioration de l'employabilité des individus par le déve loppement de leurs compétences et qualifications, et sur la recherche et le développement technologique. Evaluer les impacts sur l'emploi Exemple: Aide à la formation professionnelle dans le Nord-Est de l'Angleterre Le Nord-Est de l'Angleterre, qui fut une grande région industrielle du Royaume-Uni, a perdu plus de 200 000 emplois dans les secteurs traditionnels (mines de charbon, construction navale, sidérurgie et industrie lourde) depuis 1970. Simultanément, des activités de haute technologie se sont développées dans la région, dans des secteurs tels que la pharmacie, les biotechnologies, l'informatique et l'électronique. Les liens très forts entre l'industrie, les universités et les autres institutions de l'enseignement supérieur de la région font partie des facteurs qui ont contribué à l'émergence de nouvelles spécialisations. Un certain nombre de mesures en faveur de la reconversion industrielle du Nord-Est (CCA 1989-91 et 1992-93) ont pour cible la formation profes sionnelle. Ces mesures comprennent la création d'installations de formation dans des secteurs industriels à fort potentiel de croissance, et plus particulièrement dans les technologies qui sont déjà Implantées dans la région. Réalisations ΐ> Effets ΐ> Emplois temporaires bruts créés ou maintenus Emplois bruts créés ou maintenus Projets de formation préparés en partenariat avec les industries locales Stagiaires au c h ô m a ge à qui l'on propose un emploi au cours du stage Stagiaires qui terminent leur stage avec succès Stagiaires au c h ô m a ge qui trouvent un emploi Destinataires qui obtiennent une promotion Salariés qui conservent leur emploi / 4 ?, LZZI ■ D é f i n ir et s é l e c t i o n n er l es i n d i c a t e u rs Le Volume 2 de la Collection M E A NS présente les indicateurs p o ur le suivi et l ' é v a l u a t i on d es i n t e r v e n t i o ns d es F o n ds s t r u c t u r e ls y c o m p r is p o ur la priorité de l'emploi. N o us en r a p p e l o ns ici les points essentiels. Si l'évaluation ne se limite pas à la seule analyse d'indicateurs, l'existence d'indicateurs pertinents facilite la c o n d u i te de cet exercice. La q u e s t i on d es indicateurs et de leur qualité doit être considérée à deux niveaux : • Dans la m e s u re où la p r o m o t i on de l'emploi est l'un d es objectifs généraux d es F o n ds structurels, le d é v e l o p p e m e nt d ' un s y s t è me d ' i n d i c a t e u rs d o it Evaluation transversale des impacts sur les priorités d'intervention générer un renforcement de l'information sur les effets d'emploi des diffé rentes composantes d'un programme • La question des indicateurs se pose également pour l'approfondissement de l'analyse des effets. Toute analyse approfondie ciblée sur l'emploi nécessite que des indicateurs ad hoc soient définis en fonction des questions d'évaluation et renseignés avec soin. Pour évaluer la contribution des Fonds structurels à l'emploi, il est ainsi sou haitable, d'une part, de veiller à ce que des indicateurs de base et fiables soient intégrés dans le système d'indicateurs d'un programme et, d'autre part, de définir, dans le contexte précis de l'évaluation, les indicateurs clés qui répondront aux questions d'évaluation spécifiques. Lorsque l'on mesure les effets d'emploi, il faut tenir compte des emplois temporaires nécessaires à la mise en œuvre des interventions (par exemple emplois liés à la construction des infrastructures, emplois de conseil aux entreprises, formateurs). Si les indicateurs de réalisation ne sont pas directement ciblés sur l'emploi, ils sont, par contre, souvent essentiels pour analyser les effets d'emploi produits. Ceci est particulièrement vrai lorsque les interventions incluent des prestations de services tels que la formation, l'information ou le conseil qui sont difficilement mesurables, compte tenu de leur nature immatérielle. Il convient de concentrer les efforts sur l'établissement d'indicateurs apportant des informations sur les objectifs les plus significatifs en matière d'emploi. Ces indicateurs concernent le plus souvent les effets bruts directs. Par exemple, si l'objectif d'une intervention est de fournir une aide tempo raire à l'emploi, le nombre d'emplois créés ou maintenus pendant la mise en œuvre peut constituer un indicateur pertinent. Si par contre, l'intervention a pour cible la prévention de perte d'emploi, le nombre d'emplois maintenus dans les entreprises constitue un indicateur pertinent. Les objectifs des interventions structurelles associées à l'emploi sont divers. Par conséquent, la définition des systèmes d'indicateurs doit tenir compte de cette diversité. Il n'existe pas d'indicateur universel des effets d'emploi qui soit pertinent quel que soit le type d'évaluation. Les indicateurs sélectionnés doivent donc être définis de manière très précise. Par exemple, lorsque l'on parle « d'emploi créé », s'agit-il de tous les types d'emploi, ou distingue-t-on les emplois à temps plein et à temps Evaluer les impacts sur l'emploi partiel ? Lorsque l'on parle d'emploi durable, s'agit-il d'un emploi maintenu pendant plus de deux ans, de cinq ans ou plus ? De quelle manière sont définis les groupes sociaux ciblés par les interventions ? Par exemple, l'in formation suivante : « 30% des emplois créés par le projet ont bénéficié à des exclus » a peu d'utilité si l'on ne sait pas comment a été défini le concept d'exclu. • Indicateurs pour approfondir l'analyse des effets d'emploi Au-delà des indicateurs d'emploi clés d'un système d'indicateurs, il est souvent pertinent de recourir, dans le cadre d'une évaluation, à des indica teurs ad hoc qui vont permettre d'approfondir les analyses et d'appréhender les impacts. Ces indicateurs supplémentaires doivent être cohérents avec les questions auxquelles l'évaluation doit répondre, les particularités des interventions et les caractéristiques de la région évaluée. Ils doivent donc être centrés sur : • La proportion d'emplois créés ou maintenus qui sont non qualifiés, qualifiés ou hautement qualifiés. • La rémunération des emplois créés ou maintenus (l'effet ne sera pas le même s'il s'agit de 10 emplois rémunérés au minimum légal ou de 10 emplois de cadres supérieurs). • Les revenus personnels des destinataires. • Le profil des destinataires (même lorsque les objectifs ne font pas référence à des groupes cibles, il peut être intéressant de savoir qui bénéficie de la création d'emploi). Une évaluation de la conformité au principe de l'égalité des chances est pertinente à ce niveau. • La trajectoire professionnelle des destinataires : au-delà du retour à l'emploi, il peut être important de savoir, par exemple, combien de temps il leur a fallu pour trouver un emploi, dans quelle mesure l'emploi correspond à leurs qualifications ou encore l'effet de l'intervention sur leur approche de la recherche d'emploi. • Le type des emplois créés ou maintenus : la distinction entre emplois à temps partiel et emplois à temps plein permet de faire des déductions sur la qualité des emplois créés ou maintenus. Ces déductions doivent toutefois tenir compte du fait que le temps partiel peut être une préférence pour certains destinataires. Les différences nationales en matière de législation du travail et de sécurité sociale sont également des déterminants clés de la qualité de l'emploi à temps plein ou à temps partiel. Il peut enfin être utile d'examiner la proportion de destinataires qui travaillent pour des agences de Evaluation transversale des impacts sur les priorités d'intervention travail temporaire, le taux de syndicalisation dans les entreprises créatrices d'emplois, et de comparer les salaires aux moyennes sectorielles et régio nales. Etant donné que de nombreuses mesures cofinancées par les Fonds struc turels n'ont que des effets à long terme sur l'emploi, mis à part les emplois temporaires nécessaires à la mise en œuvre des mesures, les indicateurs de résultats et les indicateurs d'impacts intermédiaires ou spécifiques peuvent ne pas refléter les effets d'emploi. C'est particulièrement vrai pour les inter ventions en matière d'infrastructures et d'environnement productif. Pour ces types d'interventions, les impacts autres que les impacts sur l'emploi les plus immédiats peuvent être convertis en effets d'emploi prévus. Par exemple, en divisant le chiffre d'affaires résultant de l'intervention par le chiffre d'affaires supplémentaire moyen nécessaire pour créer un emploi à temps plein, il est possible d'estimer le taux maximum d'emplois indirecte ment créés. Cette méthode est utile, dans une évaluation ex ante, pour quantifier les effets attendus d'une intervention. Elle peut également être utile dans une évaluation intermédiaire pour évaluer les effets d'emplois indirects à long terme à partir d'impacts intermédiaires déterminés. Les coefficients de conversion utilisés à cet effet sont déterminés en fonction des expériences, recherches et modèles économétriques antérieurs. Lorsque ces coefficients sont utilisés, leur base de définition doit être claire ment indiquée. Lorsque des interventions dans le domaine des ressources humaines ciblent le maintien ou l'amélioration de l'employabilité, les impacts sur l'emploi interviennent beaucoup plus tôt dans la chaîne de causalité. Dans ce cas, le choix des indicateurs dépend de la définition d'employabilité retenue. Une approche opérationnelle consiste à associer l'employabilité au maintien de salariés dans leur emploi ou au retour à l'emploi de chômeurs. Lorsque l'on étudie le maintien de l'emploi, il est nécessaire de tenir compte du fait que l'emploi peut être maintenu dans une entreprise ou un secteur (dans le cas d'un programme de formation au niveau d'une industrie), mais également qu'il peut être maintenu dans une perspective plus large englobant plusieurs entreprises ou plusieurs secteurs (par exemple, un emploi maintenu à un niveau de qualification comparable à l'extérieur de l'entreprise ou du secteur en question). Plus la perspective du maintien de l'emploi est large, plus son évaluation est problématique, dans la mesure où l'évolution de la situation d'un individu est plus difficile à suivre à l'extérieur Evaluer les impacts sur l'emploi d'une entreprise ou d'un domaine d'activité. En outre, les liens entre les niveaux de qualification, les emplois et les salaires peuvent être très variables et rendre la comparaison très difficile. L'analyse approfondie des impacts nécessite de s'intéresser aux facteurs concurrents, c'est à dire aux facteurs non maîtrisés par le programme et qui ont une influence, positive ou négative, sur l'emploi ou le chômage. Pour évaluer une intervention publique, il est nécessaire de caractériser les effets propres à cette Intervention. C'est pourquoi il est utile de pouvoir estimer l'ampleur des facteurs concurrents grâce à des indicateurs. Des indicateurs d'effets défavorables sur l'emploi doivent également être établis (ex : nombre d'emplois supprimés dans l'agriculture du fait de la rationalisation des exploitations). Ces indicateurs servent à alerter ou à compléter des connaissances relatives aux effets néfastes sur l'emploi de mesures pour lesquelles il n'y a pas d'objectif en termes d'emploi. Des indicateurs peuvent également permettre de porter un jugement en terme d'efficience. Ils mettent alors en relation les indicateurs de résultat ou d'impact avec les ressources utilisées, selon un ratio coût/efficacité. Ils per mettent de fournir une information que l'on peut notamment comparer à des données de référence. Le coût moyen par emploi créé et le coût moyen par emploi maintenu sont des exemples de ce type d'indicateurs. • Précautions à prendre lors de l'utilisation et de l'interprétation des indicateurs Pour évaluer avec précision les effets d'emploi, il faut prendre en compte la temporalité des effets, afin de ne pas produire d'informations fondées sur une sous-estimation des effets attendus (c'est à dire un risque de ne pas prendre en compte les effets qui se produiront plus tard) et / ou une surestimation (risque de ne pas tenir compte de la durée limitée des effets temporaires). Lors des évaluations Intermédiaires, les indicateurs « emploi » sont utiles pour dénombrer les emplois temporaires nécessaires à la mise en œuvre, ainsi que les emplois qui sont des résultats des interventions. Les indica teurs d'impact doivent être utilisés en tenant compte du délai nécessaire à la production des impacts, qui dépend du type d'intervention étudié. Un même indicateur peut servir à mesurer plusieurs niveaux d'effets à diffé rents moments. Dans le cas d'une intervention visant à attirer de nouvelles entreprises dans une zone en reconversion, le nombre d'emplois créés ou Evaluation transversale des impacts sur les priorités d'intervention maintenus pourra comprendre : un indicateur des emplois nécessaires pour attirer des entreprises dans la zone, un indicateur de résultat de l'interven tion qui mesure le nombre d'emplois des entreprises lors de leur implanta tion et un indicateur d'impact qui dénombre les emplois directs et indirects créés dans la zone. Enfin, pour comparer l'information fournie par un indicateur, il convient de veiller à la pertinence de la comparaison. Ainsi, par exemple, une comparai son sur la base de « coût par emploi créé » n'est pertinente que si la situation de référence est analogue. A titre d'exemple, l'Encadré 24 présente un système d'indicateurs pour examiner la production d'impacts sur l'emploi généré par la mise en place d'un programme de formation pour les chômeurs. Encadré 24 - Exemple d'un système d'indicateurs pour un programme de retour à l'emploi Indicateurs de programme (liés à l'intervention et à ses effets) Indicateurs de contexte (liés à la région soutenue) Indicateurs de réalisation Nombre de destinataires Nombre de chômeurs de longue durée participant dans le programme (dont des femmes) Indicateurs de résultat Taux de transition immédiate Nombre de destinataires qui ont, soit trouvé un emploi, soit se trouvent dans une situation sociale plus favorable à l'issue de leur participation au programme (dont des femmes) Indicateurs d'impact Taux brut de placement Taux de placement net Nombre de destinataires recrutés après 12 mois (dont des femmes) Nombre de chômeurs de longue durée dans la région Taux brut moins l'effet d'aubaine estimé (stagiaires qui auraient été recruté(e)s sans assistance) moins substitution inacceptable (stagiaires dont le recrutement a conduit un autre individu au chômage de longue durée) Qualité des emplois % des destinataires recrutés (dont des femmes) dont ¡'emploi est à temps plein et permanent après 12 mois Source : Volume 2 de la Collection MEANS Evaluer les impacts sur l'emploi ■ S o u r c es d ' i n f o r m a t i on utiles De nombreuses enquêtes statistiques ont été effectuées au niveau européen, national et régional. Au niveau européen, une enquête sur la main d'œuvre est effectuée sur une base annuelle dans toute l'Union. La série actuelle d'études a été lancée en 1993 et une enquête est réalisée chaque année. Sa structure ventile les données par sexe, ce qui permet d'intégrer dans l'évaluation la dimension de l'égalité des chances. Beaucoup d'autres données sont par ailleurs disponibles dans cette enquête telles que les niveaux d'éducation, les nombres d'heures travaillées par emploi, le nombre d'enfants à charge, etc. Catégorie Chômage Emplois Ventilation par • Sexe • Tranche d'âge • Sexe • Statut Professionnel • Domaine d'activité Groupes de demandeurs d'emploi • Sexe • Durée du chômage • Mode de recherche d'emploi La base de données régionale Regio couvre des enquêtes sur le chômage et la main d'œuvre, dont les résultats sont ventilés par région. Elle renferme des statistiques sur l'emploi total, l'emploi salarié, la population active, le chômage de longue durée et la rémunération des salariés. Les données sont disponibles à partir de 1970, 1975 ou 1983. La périodicité est annuelle, à l'exception de certaines statistiques du chômage, qui sont mensuelles3. Les observatoires statistiques MISEP (Mutual Information System on Employ ment Policies) et SYSDEM (System of Documentation on Employment) ren seignent également sur les différentes situations nationales en matière d'emploi. Entre autres inconvénients de l'utilisation des enquêtes statistiques en matière d'emploi, on peut rappeler les difficultés d'interprétation engen drées par la non correspondance entre le lieu de travail et le lieu de résidence. Par exemple, du fait des migrations pendulaires, les emplois recensés sur une région ne sont pas tous occupés par des résidents de cette région. Dès lors, les statistiques peuvent indiquer une évolution positive du niveau d'emploi, sans que cette évolution ait profité de façon 3. L'enquête sur la main d'oeuvre et les données de la base Regio peuvent être obtenues auprès d'EUROSTAT Evaluation transversale des impacts sur les priorités d'intervention majoritaire à la population de la zone aidée, pourtant cible de l'intervention. Ce phénomène est d'autant plus important que la zone aidée est petite (telles que les zones urbaines en déclin industriel remplissant les conditions nécessaires pour recevoir l'aide à la reconversion) ou qu'il s'agit d'une région frontalière. Des enquêtes statistiques permanentes sont également disponibles auprès des instituts statistiques nationaux ou des administrations du travail ou de l'emploi (statistiques du chômage, banques de données sur les ressources humaines, etc. ). L'inconvénient de ce type de données est le délai qui existe entre la collecte des données, leur traitement et leur éventuelle publication. Des bases de données telles que celles compilées pour l'Initiative commu nautaire LEADER s'avèrent tout aussi utiles. L'observatoire LEADER réunit des données relatives aux objectifs des projets (y compris l'emploi) et des éléments concernant les situations contrefactuelles. L'évaluation des effets d'emploi a suscité un vif intérêt au cours des dernières années, et les évaluations en ce domaine évoluent rapidement. Pour cette raison, un inventaire des rapports de recherche existants et des évaluations antérieures représente un capital de connaissance de grande valeur pour l'élaboration de nouvelles évaluations. Les données sur l'emploi fournies par les évaluations d'un cycle de pro grammation sont d'une grande utilité pour estimer les effets prévisibles du cycle suivant. Les estimations des effets d'emploi qui figurent dans les pro grammes et les évaluations ex ante doivent être utilisées dans le cadre des évaluations intermédiaires et ex post. L'information produite par un système de suivi comprend des données qui sont nécessaires pour évaluer les effets d'emploi. Lorsque le système de suivi comprend un ensemble complet d'indicateurs de ressources et de réa lisations physiques et financières, il est possible de mesurer l'atteinte pro gressive des objectifs opérationnels des interventions et de connaître les ressources humaines employées pour la réalisation des interventions. Il est important, toutefois, de ne pas oublier que le suivi ne permet, tout au plus, qu'une focalisation sur les données de suivi des destinataires et candidats destinataires (c'est-à-dire des demandeurs non retenus). Cela veut dire qu'une analyse qui se concentre uniquement sur le suivi des données, par exemple la construction de la situation contrefactuelle, sera faussée. En outre, une collecte de données limitée aux destinataires et aux demandeurs Evaluer les impacts sur l'emploi sera également faussée. Quoi qu'il en soit, les données de suivi peuvent constituer une source d'information utile, dans la mesure où les systèmes de suivi de la plupart des interventions comprennent des informations sur l'emploi. Les types d'indicateurs pouvant être directement alimentés à partir du système de suivi sont par exemple l'emploi généré par les entreprises attirées vers une zone cible et le nombre de participants à un programme de formation ayant obtenu une qualification. ■ Outils disponibles pour l'analyse d es effets d ' e m p l oi L'évaluation de l'impact des interventions structurelles sur l'emploi peut être entreprise selon l'approche « pas à pas »> qui est décrite dans la partie IV du Volume. Pour une évaluation approfondie des effets d'emploi, divers outils peuvent être utilisés. Un certain nombre d'exemples représentatifs des pratiques d'évaluation dans ce domaine sont présentés dans cette section. Les outils permettant une analyse approfondie des impacts sur l'emploi se divisent en quatre grandes catégories : • Les outils descriptifs qui permettent de traiter à la fois les informations qualitatives et quantitatives (exemple : études de cas  incluant les études longitudinales  et enquêtes) ; • Les méthodes comparatives qui s'appuient sur l'observation (soit entre des situations similaires, soit entre le sujet et une situation témoin sélection née au hasard) ; • Les techniques analytiques qui effectuent des estimations et simulations à partir d'une situation donnée (exemple : analyse structurellerésiduelle) ; • Divers types de modèles construits sur la base de l'analyse économique d'autres expériences et de simulations (exemples : coefficients multiplica teurs, analyse entréessorties et modèles économétriques). Les outils d'analyse quantitative doivent évidemment être utilisés à bon escient, en ayant pleinement conscience de leurs limites. Leur mesure des effets d'emploi doit être interprétée en tenant compte des facteurs qualitatifs. Le niveau et l'ampleur de l'intervention évaluée conditionnent le choix d'un type d'outil susceptible de permettre l'analyse des effets d'emploi. On utilise généralement les modèles économétriques, tels que le modèle ma'croécono mique HERMIN, pour évaluer les effets d'emploi des interventions de portée globale et de grande ampleur, au niveau d'un Etat ou de très grandes régions. Evaluation transversale des impacts sur les priorités d'intervention Pour leur part, les coefficients multiplicateurs sont rarement utilisables pour des situations comprenant un grand nombre de variables. Leur utilisation devrait idéalement être limitée à des interventions de nature proche, avec des effets d'emploi relativement directs (par exemple pour des groupes similaires dans des régions semblables ou plus petites en reconversion industrielle ou dans des zones rurales en cours de développement et de réajustement structurel). Les mêmes limites s'appliquent aux outils d'analyse comparative : plus une situation est complexe, plus il est difficile d'identifier des situations qui per mettent une comparaison. Ce type d'outil est en revanche très utile pour la construction de situations contrefactuelles dans le cadre d'interventions concernant les ressources humaines. Les effets de création / maintien d'emploi se prêtent à une analyse par diffé rentes approches top-down (c'est à dire des techniques statistiques relati vement sophistiquées, des outils de modélisation, etc. ) et bottom-up (c'est- à-dire enquête, études de cas, etc. ). Quant aux interventions orientées vers l'employabilité, elles concernent une population relativement restreinte et doivent par conséquent être traitées avec une approche bottom-up. • Enquêtes et études de cas : évaluation des services prodigués par les Centres de Conseils pour les Entreprises et la Formation (Royaume-Uni) Cette évaluation a cherché à apprécier le rapport coût-efficacité global d'un programme de conseil, de formation spécialisée et d'information aux petites et moyennes entreprises existantes (PME). La création d'emploi n'était qu'un objectif parmi d'autres et l'évaluation a également pris en compte l'ac croissement de la production et de la productivité, l'augmentation des dépenses d'investissement et l'amélioration de la rentabilité. En ce qui concerne les effets d'emploi, les objectifs de l'évaluation étaient tout d'abord d'apprécier l'additionnalité et les effets de déplacement et d'explo rer les éventuels effets d'éviction. L'évaluation a utilisé : • Un questionnaire postal envoyé à la direction générale de 75 Centres de Conseils pour les Entreprises et la Formation (concernant leurs activités, leurs cibles etc. ) ; • Des entretiens personnalisés avec 20 Centres pour obtenir une informa tion qualitative sur les apports de leur activité (exemple : définition de Evaluer les impacts sur l'emploi stratégie, bénéfices résultant de différentes approches des services, etc. ) ; • Six études de cas principalement axées sur les bénéfices pour les clients et cherchant à établir les opinions des entreprises sur l'impact des services sur l'emploi et la production. Le questionnaire avait été conçu pour distinguer les bénéfices bruts des bénéfices nets. Suivant l'approche conventionnelle d'identification des impacts nets sur l'emploi, l'étude a tenté d'apprécier les effets bruts, les effets d'aubaine et les effets de déplacement. Tous les résultats des études de cas ont été agrégés au niveau local et les bénéfices nets locaux ont été différenciés de l'impact net national. Pour ce faire, il a fallu tenir compte du phénomène de déplacement au niveau national, ainsi que des effets d'évic tion macroéconomiques dans la mesure où le gain obtenu dans une région ayant un centre de conseils pouvait engendrer un déplacement dans une autre zone. • Analyse comparative : mesure des effets sur le revenu et l'emploi de la Formation pour l'emploi (Suède) 1995 Deux groupes expérimentaux (4 000 stagiaires ayant suivi une formation en 1992 et 6 000 en 1994), ont participé à l'enquête et une grande partie des stagiaires a été confrontée aux membres d'un groupe de contrôle n'ayant reçu aucune formation. Des changements de politique s'étant produits entre la formation des deux cohortes, il a été possible d'étudier les changements en détail. Les analystes ont utilisé une fonction de contrôle relativement sophistiquée (comprenant des valeurs pour les variables de contexte et d'erreur) pour suivre la relation entre la formation et le revenu. Les conclusions obtenues ont montré des résultats sensiblement différents entre les deux promotions : les stagiaires de 1994 ont perçu des salaires beaucoup plus élevés que les membres du groupe témoin, alors que les stagiaires de 1992 n'ont tiré aucun avantage significatif de leur formation. Pour ceux qui ont obtenu un emploi dans la profession pour laquelle ils avaient été formés, les salaires étaient plus élevés que ceux du groupe témoin. Une analyse de régression a été réalisée pour mesurer les effets d'emploi. Les conclusions ont été les suivantes : alors que le groupe témoin estimait Evaluation transversale des impacts sur les priorités d'intervention qu'il était de plus en plus difficile de trouver du travail, le groupe a estimé par contre que la difficulté à trouver du travail ne s'était pas accrue. Par consé quent, même si la situation des destinataires ne s'est pas améliorée dans l'absolu, elle est relativement meilleure que celle du groupe témoin. • Analyse statistique : évaluation ex post du programme intégré d'action pour le Limbourg utilisant l'analyse structurelle-résiduelle (Belgique) L'objectif du programme évalué était de soutenir la création d'emploi dans de nouvelles activités, afin de compenser le déclin de l'emploi dans l'indus trie minière. Les chargés d'évaluation ont suivi les changements de l'emploi tout au long des années 1980 et au début des années 1990, par secteur, à la fois au niveau du Limbourg et de la Belgique dans sa totalité. On a ensuite employé l'analyse structurelle-résiduelle pour estimer les créations d'emploi survenues grâce au programme en comparant avec la situation contrefac tuelle, en supposant un taux de régression des secteurs traditionnels égal à la moyenne belge. L'expérience relativement positive de la région du Limbourg (niveaux élevés de croissance économique, de création d'entreprises et de nouveaux emplois) a tout d'abord été imputée à la croissance des exportations dans un ou deux secteurs et à une croissance exceptionnelle du nombre des petites entreprises. Les plans de retour à l'emploi des anciens mineurs ont été minutieusement examinés à la lumière des objectifs de l'intervention, tout comme les instruments d'investissement choisis. Au vu des résultats de l'analyse, des propositions spécifiques ont été faites pour modifier ces ins truments afin d'accroître les effets d'emploi des interventions ultérieures. • Multiplicateurs et coefficients : évaluation des dispositifs d'aide en utilisant des coefficients standard (France) Cette approche est utilisée pour l'évaluation ex post et intermédiaire des effets d'emploi et le chômage de chaque dispositif d'aide financé par les autorités nationales françaises. La méthode prend en compte l'effet d'aubaine et l'effet d'attraction. Pour chaque mesure, on calcule un coefficient d'aubaine et un coefficient d'attraction basés sur l'acquis des évaluations antérieures et sur des ajuste ments intuitifs. Ces coefficients sont ensuite appliqués aux variations du groupe destinataire de chaque dispositif sur une période donnée. Le but est Evaluer les impacts sur l'emploi de connaître les effets de chaque dispositif sur l'emploi et le chômage. Les effets d'emploi correspondent à la différence entre la variation du groupe destinataire et la proportion de ces destinataires qui auraient trouvé un travail dans tous les cas ou qui remplacent d'autres salariés (obtenue en appliquant le coefficient de substitution). Les calculs des effets sur le chômage prennent également en considération le coefficient d'attraction et la valeur absolue de la réduction du chômage résultant de la différence entre l'effet d'emploi et la proportion de nouveaux destinataires attirés sur le marché du travail par l'intervention. Cette approche macroéconomique est particulièrement intéressante puis qu'elle permet de tenir compte des effets des changements cycliques en modifiant les coefficients au fil du temps. Elle est globalement utile car elle donne un aperçu complet des dispositifs d'aide à l'emploi existants et de leurs effets nets sur l'emploi et le chômage. Toutefois, elle n'a qu'un horizon limité et ne peut pas donner beaucoup d'informations sur la stabilité des emplois, ni sur leur qualité en général. Une fois que les coefficients ont été trouvés, la méthode est simple d'emploi, mais la définition préalable des coefficients exige un grand volume d'informations. • Analyse entrées-sorties : évaluation d'un Programme Opérationnel d'Objectif 1 en Italie L'outil utilisé pour cet exercice est une Matrice de Comptabilité Sociale (MCS) qui intègre des mécanismes multiplicateurs de revenu keynésiens dans un modèle entrées-sorties standard. Dans une MCS, les différents liens d'interdépendance d'une économie sont quantifiés et simulés. Le mécanisme d'impact repose sur des multiplicateurs globaux obtenus à partir d'une matrice plus grande, qui ajoute des boucles supplémentaires au mécanisme entrées-sorties. Les multiplicateurs globaux peuvent saisir les effets produits non seulement par les relations liant les secteurs de produc tion, mais aussi par d'autres relations liant les acteurs économiques. L'augmentation du revenu des facteurs (valeur ajoutée) générée par les mécanismes d'entrées-sorties se traduit par une augmentation du revenu. Le niveau de consommation augmente alors (selon le taux moyen de consommation) provoquant une augmentation de la demande finale qui imprime une nouvelle impulsion à l'économie et une nouvelle activa tion du processus. Les effets d'emploi sont calculés sur la base d'une Evaluation transversale des impacts sur les priorités d'intervention hypothèse d'évolution de la productivité par secteur, associée aux chan gements de la valeur ajoutée obtenus à partir du modèle entrées-sorties. Le modèle de référence pour cet exercice a été une MCS portant sur deux régions (Campanie et reste de l'Italie). Les tableaux régionaux de la MCS ont été obtenus à partir du tableau entrées-sorties pour l'Italie (1988) qui a été divisé à partir des résultats de deux enquêtes récentes sur l'économie de l'Italie méridionale : l'une sur l'achat de biens intermédiaires par des sociétés de cette zone, l'autre sur le revenu et la consommation des ménages. La MCS utilisée possède un faible niveau de différenciation : deux facteurs (le travail et le capital) et deux types d'acteurs économiques (les entreprises et les ménages). En ce qui concerne la différenciation sectorielle, deux versions ont été fournies ; l'une avec quatre secteurs (agriculture, industrie, bâtiments et services) et l'autre avec seize (l'industrie et les services étant divisés en sous-secteurs). Le modèle a été appliqué en deux étapes, avec différentes procédures, afin de saisir séparément les effets d'offre et de demande. • Modélisation macroéconomique : le modèle HERMIN en Irlande HERMIN a été développé par des équipes nationales dans quatre pays d'Objectif 1 : l'Irlande où ¡I a été initialement développé, le Portugal, la Grèce et l'Espagne. Le but de ce projet est de créer un système de modèles écono métriques harmonisés pour l'évaluation de la performance économique à moyen terme des économies européennes. Pour un modèle économétrique, la version irlandaise d'HERMIN est relative ment petite avec 50 équations, environ 150 variables et 60 variables exogènes. La version standard d'HERMIN comprend quatre secteurs : marchand (secteur Industriel), non marchand (entreprises de service, bâtiment, services publics), agriculture et secteur public. Pour les deux prin cipaux secteurs de production (marchand et non marchand), on utilise des fonctions simples de production. Le secteur agricole n'a pas été modéllsé en raison de facteurs exogènes liés à la PAC qui influencent le comporte ment d'ensemble des agriculteurs. Le secteur public est piloté par les poli tiques. Ses dépenses et le volume des recettes fiscales se définissent comme des instruments de la politique, soumis aux contraintes budgétaires et aux capacités d'emprunt. La fonction de consommation du modèle (basée sur les mécanismes multi plicateurs keynésiens) ne joue pas un rôle exclusif dans le pilotage de ce Evaluer les impacts sur l'emploi modèle comme c'est le cas des modèles axés sur les effets de demande. Dans ce cas, on considère également que les caractéristiques de l'offre du secteur industriel ont une influence. A partir de la fonction de production, les facteurs de demande sont établis pour les deux secteurs de production, sur la base d'une diminution des coûts en fonction de niveaux donnés de pro duction. Les niveaux de l'emploi et de l'investissement dépendent alors du niveau de la production tirée par la demande dans chaque secteur. Dans le secteur marchand, la demande est tirée par la demande mondiale et la com pétitivité. Dans le secteur non marchand, par contre, la production réelle est pilotée par une mesure pondérée de la demande finale. L'offre de travail est modélisée en prenant en compte les flux migratoires qui sont assez significatifs en Irlande. Le taux de participation de la main d'œuvre est influencé par les migrations, le chômage (l'effet de travailleur découragé) et le taux de remplacement (c'estàdire la fraction des revenus moyens remplacée par les versements d'aide sociale). ■ Résumé des points essentiels La création d'effets d'emploi est un objectif des interventions dans tous les domaines, et la capacité de créer ou de maintenir des emplois est un facteur important de la sélection des projets à aider. Les interventions recherchent également un deuxième type d'effet d'emploi dans le secteur des res sources humaines, et en premier lieu dans le domaine de la formation. Dans ce cas, l'effet d'emploi est associé au maintien ou à l'amélioration de l'em ployabilité de salariés ou de chômeurs. Outre la différence de base entre les effets de création ou de maintien d'emploi et d'employabilité, les effets d'emploi sont très variés. Dans la chaîne de causalité, les effets d'emploi, apparaissant tant au niveau des résultats que des impacts, peuvent être temporaires ou à plus long terme, directs ou indirects. L'agrégation des différents types d'effets d'emploi est par conséquent souvent impossible. Pour l'estimation des effets nets sur d'emploi, les éléments constituant les effets d'aubaine, de déplacement et de substitution sont différents si l'on évalue les effets sur la création / le maintien d'emploi ou sur l'employabilité. De nombreuses expériences ont été réalisées dans ce domaine de l'évalua tion, et une vaste gamme d'outils <· de bas en haut » et « de haut en bas » a été utilisée avec succès pour évaluer les effets d'emploi. m Evaluation transversale des impacts sur les priorités d'intervention ■ P o ur en savoir plus. Bradley J. , Whelan K. , Wright J. (1993), Stabilization and Growth in the EC Periphery, Aldershot: Avebury. DoE. (1988), An Evaluation of the Urban Development Grant Programme, London: HMSO. Gautié J. et al. (1994), Les subventions à l'emploi  Analyse et expériences européennes, Cahier travail et emploi, La Documentation Française. Issaev B. , Njikamp P. , Rietveld P. , Snickars F. (1982), Multiregional Economie Modelling: Practice and Prospects, North Holland. King J. (1990), Regional Selective Assistance 198588: An Evaluation by the Department of Trade and Industry, the Industry Department for Scotland and the Welsh Office Industry Department, London: HMSO. Manski O F, Garfinkel I. (eds. ) (1992), Evaluating Welfare and Social Pro grammes, Harvard University Press. Njikamp P. , Rietveld P. , Snickars F. (1986), Handbook of Regional and Urban Economics, North Holland. OECD. (1991), Evaluating Labour Market and Social Programmes  Thestate of a complex art, Paris: OECD. OECD. (1998), Employment Outlook, Paris: OECD. Schmid G. , O'Reilly C, Schöman K. (eds) (1996), International Handbook of Labour Market Economics, Cheltenham: Edward Elgar. Storey D. J. (1990), "Evaluation of Policies and Measures to Create Local Employment", Urban Studies, vol. 27, n°5. Evaluer l'impact des interventions structurelles sur l'égalité des chances ■ Pourquoi évaluer les impacts sur l'égalité des chances ? • Le contexte communautaire Le Conseil européen a déclaré à plusieurs reprises (à Essen, à Cannes et à Madrid) que la promotion de l'égalité des chances entre les femmes et les hommes constituait, avec la lutte contre le chômage, une tâche fondamen tale de l'Union européenne et des Etats membres. Des inégalités flagrantes subsistent entre les femmes et les hommes dans tous les domaines. En matière de participation des femmes au marché de travail, le taux d'activité des femmes est plus bas que celui des hommes dans tous les Etats membres de l'Union européenne : en 1996, ces taux pour les femmes de plus de 15 ans varient entre 34,6% et 58,7% (Eurostat). L'écart de salaire reste important dans tous les pays. Enfin les femmes sont généralement plus touchées par le chômage que les hommes à tous les âges, en particu lier pour ce qui est du chômage de longue durée. De plus, la plupart des actions des politiques structurelles ont des effets différenciés, reproduisant les discriminations entre les femmes et les hommes. La promotion de la politique d'égalité des chances au niveau européen n'entend pas limiter les efforts à l'introduction de mesures spécifiques en faveur des femmes, mais vise à donner une dimension dans l'ensemble des actions et des politiques structurelles (mainstreaming). Le mainstreaming suppose d'influencer les stratégies des politiques des Fonds structurels pour qu'elles intègrent la dimension « égalité des chances » entre les femmes et les hommes en examinant systématiquement leurs situations respectives. Par conséquent, les politiques doivent être définies en tenant compte de la diversité des besoins, y compris les besoins des divers groupes d'hommes et de femmes au sein de la société. Le « Quatrième programme d'action communautaire à moyen terme sur l'égalité des chances (19962000) » a pour objectif d'intégrer l'égalité des chances dans l'élaboration, la mise en œuvre et le suivi de toutes les poli tiques et actions de l'Union européenne et des Etats membres, dans le respect de leurs compétences respectives. Evaluation transversale des impacts sur les priorités d'intervention Dans le domaine des Fonds structurels, l'événement le plus marquant a été la révision du règlement-cadre en 1993 dans lequel l'égalité des chances figure de façon explicite, mettant en particulier l'accent sur la lutte contre le chômage des femmes. En 1996, le Conseil a pris une Résolution qui réaffirme sa volonté politique en la matière. Dans les décisions d'approba tion des programmes, une clause standard a été spécifiquement introduite pour assurer le respect de cette nouvelle obligation. Plusieurs exemples de bonnes pratiques couvrant un large échantillon de mesures sont issus des résultats fructueux de l'expérience NOW 1991 -94 (New Opportunities for Women). NOW, la première Initiative communautaire spécifique pour les femmes (axée sur la promotion de l'égalité des chances dans l'emploi), a ouvert de nouvelles voies pour une meilleure prise en compte des femmes par l'ensemble des Fonds structurels. A partir de la nouvelle période de programmation des Fonds structurels (1994-1999), le principe de l'égalité des chances est considéré comme un objectif des politiques structurelles dans leur globalité. On est donc passé d'une conception passive (respect du principe) à une conception active (objectif des politiques structurelles dans leur globalité) de l'égalité des chances. Aujourd'hui, l'égalité des chances n'est plus considérée comme étant le problème exclusif des femmes. On reconnaît à la promotion de l'égalité des chances sa capacité de contribuer au développement socio-économique en général et au rééquilibrage régional en particulier. Il s'agit d'apprécier, d'une part, l'impact potentiel ou l'impact produit sur les situations respectives des femmes et des hommes, et d'autre part, la prise en compte de l'égalité dans les processus et mécanismes de programma tion, mise en œuvre, suivi et évaluation. Les effets produits par les Fonds structurels sur les situations respectives des femmes et des hommes doivent être analysés afin de fournir des informations relatives à la gestion et aux résultats des programmes structurels en termes d'égalité des chances : analyser la place des femmes dans les interventions des Fonds, mesurer les évolutions positives, mettre en évidence les discriminations, etc. Ainsi il sera possible d'orienter et de réorienter la définition et la mise en œuvre des poli tiques structurelles en cours et à venir. Evaluer les impacts sur l'égalité des chances • La nécessité d'apprécier l'application du principe d'égalité des chances. L'évaluation peut jouer un rôle fondamental d'outil de mainstreaming pour la prise en compte du principe d'égalité des chances dans les politiques struc turelles et peut en particulier permettre de renforcer les effets de synergie pour l'ensemble des actions bénéficiant du concours des Fonds structurels. Pour ce faire, il est nécessaire de mettre en œuvre des techniques qui tiennent compte de la spécificité de la question. Grâce à la définition de critères d'évaluation relatifs au thème de l'égalité des chances et des indica teurs correspondants, l'évaluation va permettre d'examiner systématique ment ces actions et politiques et de prendre en considération leurs effets directs ou indirects en terme d'égalité des chances. Les difficultés méthodologiques sont moindres lorsqu'il s'agit d'apprécier l'impact des actions spécifiques en faveur des femmes (car elles sont, dans ce cas, les destinataires directs) que lorsqu'il s'agit d'apprécier « transversa lement » les effets des programmes des Fonds structurels en terme d'égalité des chances. Les interventions susceptibles de produire des effets directs sur les femmes sont celles axées sur le développement des ressources humaines. D'autres types d'interventions concernant les infrastructures ou l'environnement productif n'incluent pas nécessairement l'égalité des chances parmi leurs objectifs explicites. Leurs effets ont donc plus de chance d'être indirects. Dans le contexte de l'évaluation des Fonds structurels, quelques initiatives ponctuelles ont été prises pour évaluer le principe d'égalité des chances mais cette expérience est limitée à quelques cas d'évaluations ex ante et intermédiaires. L'expérience d'évaluation ex post dans le cadre des Fonds structurels est encore embryonnaire. L'Initiative communautaire NOW qui a fait l'objet d'une évaluation ex post est ellemême trop spécifique pour servir de modèle dans le cadre des programmes opérationnels classiques. ■ Définir ce que l'on veut mesurer Il n'est pas possible de définir ex nihilo ce que l'évaluation doit apprécier dans la mesure où la stratégie choisie pour promouvoir l'égalité des chances dépend largement des contextes nationaux, voire régionaux. En effet, la mise en œuvre du principe d'égalité des chances varie considérablement d'un Etat membre à un autre. Pour certains pays (France, Portugal), l'appli cation du principe d'égalité des chances apparaît comme un objectif général Evaluation transversale des impacts sur les priorités d'intervention mais sans indication sur la stratégie ou sur les actions à mettre en œuvre. En Espagne et Allemagne l'égalité des chances est plutôt abordée dans le cadre d'actions spécifiques et renforcée à l'aide des mesures générales. En Finlande, le principe est intégré dans toutes les composantes des pro grammes d'une manière visible et complète. • Analyser le processus de programmation des interventions La programmation des interventions structurelles étant le résultat de décisions prises en partenariat (UE, Etat, Région, localités), on doit examiner s'il y a eu, à tous les niveaux, une volonté politique suffisante de prendre en compte les intérêts des femmes et de répondre à leurs besoins spécifiques. Une forte sensibilisation à la question reste indispensable pour que soient conçues et mises en œuvre des réponses adaptées (par exemple, grâce à la mise en place d'actions d'information et de formation des acteurs clé). Le degré de sensibilité n'est pas uniquement lié au taux de représentation des femmes dans les instances de décision même si la présence de porte-parole y contribue. Exemple : Une formation dans des métiers traditionnellement masculins Les actions de formation des femmes dans des métiers traditionnellement masculins connaissent de nombreux échecs. Il n'y a pas nécessairement d'embauché de femmes par les entreprises des secteurs masculins concernés ou dans les postes pour lesquels elles avaient été formées. Parfois, les femmes sont recrutées mais abandonnent ces postes sous la pression d'un environnement professionnel exclusi vement masculin. Une évaluation ex ante peut permettre de limiter ces échecs en pro grammant, en complément de la mesure de formation, des actions du type : sensibili femmes, suivi et sation des entreprises, promotion de accompagnement des femmes après l'embauche. l'embauche des Les exemples qui figurent dans ce texte s'inspirent de situations réelles. Ils s'en éloignent parfois de façon importante pour être le plus synthétique possible et pour illustrer de façon plus efficace l'idée ou le concept corres pondant. A ce niveau d'analyse, on se situe en amont de la réalisation du programme et donc de la production des effets sur l'égalité des chances. L'évaluateur devra examiner les conditions dans lesquelles ont été élaborés les pro grammes afin de vérifier : • si les objectifs affichés prennent en compte les intérêts et les besoins spé cifiques des femmes ; Evaluer les impacts sur l'égalité des chances • si des groupes de femmes et / ou des instances chargées de l'égalité des chances au niveau national et régional ont été impliqués dans le processus de programmation ; • si la stratégie et le choix des modalités d'intervention se sont appuyés sur une analyse préalable des besoins des f e m m es ainsi que des potentialités ; • si les ressources allouées correspondent aux objectifs fixés ; • quelle proportion des interventions programmées peut faciliter l'atteinte des objectifs prioritaires de l'égalité des chances ; • si les documents de programmation (CCA, DOCUP, etc. ) fournissent des critères q u a l i t a t i fs et q u a n t i t a t i fs ainsi q ue d es Indicateurs p r é c is p o ur apprécier la prise en c o m p te de l'égalité des chances ; • si certaines m e s u r es ne s o nt p as s u s c e p t i b l es d'aller à r e n c o n t re du principe de l'égalité des chances (risque d'aggravation des déséquilibres existants entre les h o m m es et les femmes) ; • si le D O C UP est cohérent par rapport aux politiques nationales et régio nales d'égalité des chances ; • quelle est la proportion de f e m m es dans les organes de décision, etc. • Analyser les conditions de mise en œuvre des interventions La perception des intérêts des femmes n'est pas toujours la m ê me lors de la programmation des interventions et lors de leur mise en œuvre. Il est indis pensable d'analyser les conditions de mise en œuvre afin de comprendre en quoi ils permettent d'expliquer l'atteinte ou non des objectifs de l'égalité des chances. Exemple : L'organisation d'une formation pour les chômeurs de longue durée Supposons que le système de suivi des mesures de formation ait révélé que le taux d'abandon des stagiaires féminines est important. Une évaluation intermédiaire aurait permis d'examiner les causes d'abandon, par exemple : motifs familiaux (hostilité du conjoint), manque d'infrastructures (pas d'accueil pour les enfants, pas de moyens de transport, prise en charge d'un parent âgé ou malade) et raisons financières (le ). Sur montant de l'indemnité est insuffisant pour couvrir les frais de garde d'enfants la base de telles conclusions il devient possible aux gestionnaires de la mesure de prendre des dispositions correctrices adéquates. Evaluation transversale des impacts sur les priorités d'intervention Pour s'assurer de la prise en compte du principe d'égalité des chances dans la mise en œuvre des interventions structurelles, l'évaluateur devra vérifier : • si la sélection des projets a intégré des critères d'application du principe d'égalité des chances au moment de l'attribution des lignes budgétaires ; • si des groupes de femmes et / ou des instances chargées de l'égalité des chances sont représentées et actives dans les comités de suivi ; • si les personnes responsables de la gestion du programme sont sensibles aux problématiques de l'égalité des chances (campagne de sensibilisation sur la question) ; • si une discrimination positive a été mise en œuvre pour favoriser la partici pation des femmes en tant qu'initiatrices de projets (par exemple, s'il y a des ONG de femmes parmi les promoteurs) ; • si les systèmes de suivi comprennent des collectes de données différen ciées, c'est-à-dire des données ventilées par genre ; • si les Interventions ont été améliorées en cours de mise en œuvre pour mieux répondre aux besoins des femmes ; etc. • Faire ressortir les effets des interventions sur l'égalité des chances La principale difficulté méthodologique que l'on rencontre comme pour les autres évaluations thématiques réside dans le fait qu'il s'agit d'évaluer deux priorités concomitantes : la cohésion économique et sociale, d'une part, et l'égalité des chances, d'autre part. Cette deuxième priorité est rarement formulée explicitement dans le cadre des objectifs intermédiaires des inter ventions structurelles sauf lorsqu'il s'agit d'axes ou de mesures spécifiques. D'ailleurs, les interventions structurelles sont peu souvent, mis à part celles du FSE, destinées aux personnes en tant que destinataires directs. Les effets des interventions structurelles sont le plus souvent indirects et à long terme, si bien que leur appréciation est complexe. L'application du principe d'égalité des chances à toutes les interventions est un objectif transversal qui ne peut être analysé immédiatement dans sa globalité. Il convient donc de décomposer les effets en sous-ensembles cohérents pour en faciliter l'évaluation. La typologie ci-dessous a pour objet de procurer une grille analytique qui regroupe les effets possibles dans le contexte particulier des Fonds structurels selon quatre types d'impacts en terme : • d'amélioration du cadre de vie afin de mieux répondre aux besoins des femmes ; • d'accessibilité accrue des femmes au marché du travail ; Evaluer les impacts sur l'égalité des chances • d'amélioration de la situation des femmes dans l'emploi ; • de promotion de la participation des femmes à la création d'activités socio-économiques. Les différents objectifs intermédiaires sont liés entre eux (voir les flèches en pointillés dans l'Encadré 25). En effet, si on réussit à améliorer le cadre de vie pour qu'il réponde mieux aux besoins des femmes, on facilitera d'autant les trois autres types d'impacts recherchés. De même les améliorations apportées à la situation des femmes dans leur emploi peuvent améliorer les conditions d'accès au marché du travail. C'est pourquoi dans l'arbre d'ob jectifs de l'Encadré 25 nous avons fait figurer des liens entre objectifs inter médiaires. Encadré 25 - Arbre d'objectifs des Fonds structurels en matière d'égalité des chances Objectifs globaux Objectifs spécifiques Développement équilibré pour les hommes et les femmes I Cadre de vie répondant aux besoins de femmes • Meilleur accès aux services de proximité • Meilleur accès aux soins médicaux spécialisés • Adaptation des systèmes de transport Accès des femmes au marché du travail • Restaurer l'employabilité • Adapter l'offre d'emploi > Améliorer les compétences Situation des femmes dans l'emploi > Réduire la ségrégation professionnelle » Améliorer les conditions de travail Participation des femmes à la création d'activités socio-économiques • Favoriser la création d'entreprises ou d'activités indépendantes par les femmes Afin de faciliter le travail des équipes d'évaluation, un certain nombre d'exemples d'effets sont classés selon la typologie établie ci-dessus et sont présentés dans l'encadré ci-après. Evaluation transversale des impacts sur les priorités d'intervention Encadré 26  Exemples d'effets par catégories d'impacts Exemples d'effets Cadre de vie répondant au besoin des femmes • allégement des contraintes liées à la responsabilité d'enfants en bas âge ou d'autres personnes à charge de façon temporaire (pendant une recherche d'emploi. ) ou durable (s'investir dans un projet social ou professionnel à moyen terme. ) • meilleure intégration et renforcement de la capacité d'initiative des femmes en milieu rural grâce à des systèmes de transport en commun plus adaptés • meilleure conciliation des contraintes familiales et professionnelles • plus grande aide pour gérer les problèmes sociaux en particulier par un accroissement des services sociaux (planning familial de qualité, soutien aux victimes de violences familiales, de harcèlement sexuel, etc. ) • promotion de l'égalité entre femmes et hommes pour le congé parental • plus grande flexibilité des conditions de travail Accès des femmes au marché du travail > moindre ségrégation femmes / hommes sectorielle et verticale des filières d'éducation et de formation ■ amélioration des perspectives d'emploi des jeunes filles (orientation vers des métiers et des professions d'avenir) ■ employabilité accrue des femmes ■ meilleure adaptation des emplois proposés par rapport aux attentes féminines ■ ajustement du contenu des actions de formation aux attentes particulières des femmes (domaines de formation » porteurs » pour leur future carrière professionnelle) et des modalités pratiques à leurs contraintes spécifiques telle que l'emploi du temps 1 aide personnalisée pour la recherche d'emploi pour les personnes au chômage notamment pour apporter un soutien plus adapté aux femmes (cherchant à réintégrer le marché du travail aux femmes « rentrantes », etc. ) ' mise en place d'alternatives professionnelles pour les femmes qui travaillent dans l'économie souterraine, etc. Situation des femmes dans l'emploi • réduction de la ségrégation horizontale sectorielle par un accroissement de la présence de femmes dans l'ensemble des secteurs économiques • meilleure adéquation entre l'emploi et la qualification • renforcement de la proportion de femmes aux échelons hiérarchiques les plus élevés • meilleur accès à la formation continue, etc. Participation des femmes dans la création d'activités nouvelles • meilleure reconnaissance et valorisation du rôle des femmes dans la création d'activités • amélioration de l'accès des femmes aux services et aux infrastructures d'appui à la création d'entreprises, aux dispositifs financiers et aux dispositifs et aux infrastructures pour le développement des entreprises • plus grande participation des femmes aux initiatives de développement local et aux nouveaux gisements d'emploi, etc. Il est également possible que les interventions, quel que soit leur succès ou leur efficacité, créent des effets défavorables ou des effets pervers. Il est important que l'évaluateur analyse la sous ou surreprésentation des femmes dans certaines interventions et conceptualise les résultats. Par exemple, les femmes peuvent être surreprésentées dans des mesures qui ne conduisent pas directement ou immédiatement à un emploi comme par Evaluer les impacts sur l'égalité des chances exemple les stages de formation, (par opposition aux mesures d'aides au chômage ou favorisant l'apprentissage). L'importance d'inscrire les résultats dans un contexte socioéconomique est illustrée par la question du temps partiel. En effet le temps partiel peut être considéré comme une situation positive ou négative selon qu'il s'agit d'un choix ou d'une obligation et l'on doit également prendre en compte les conditions de travail, la précarité de l'emploi et le niveau de rémunération qui sont fréquemment moins favo rables. Lorsque les programmes touchent des secteurs traditionnellement masculins, l'évaluateur doit non seulement mesurer la participation des femmes dans les mesures mais également identifier les changements nécessaires pour promouvoir par la suite un meilleur équilibre entre hommes et femmes. ■ Exemples d'impacts par domaine d'action L'égalité des chances devrait être intégrée dans les documents de program mation selon une double approche : une approche spécifique prévoyant des mesures explicitement en faveur des femmes et une approche transversale qui considère l'égalité des chances comme une orientation générale appli cable à l'ensemble des mesures proposées. Le plus souvent dans ce dernier cas, la promotion de l'égalité des chances est simplement rappelée comme un objectif complémentaire des mesures générales. Vu l'absence de traduc tion opérationnelle de cette priorité ou son caractère marginal, il est indis pensable d'examiner comment les mesures générales inscrites dans les programmes classiques des Fonds structurels peuvent potentiellement contribuer à l'égalité des chances. • Infrastructures de base et équipements sociaux Parmi les interventions dans le domaine des infrastructures, celles qui semblent intégrer une orientation d'égalité des chances concernent les infrastructures de base et les équipements à caractère social : Evaluation transversale des impacts sur les priorités d'intervention Exemple : Equipements pour l'accueil des enfants (NOW) au Portugal Un jardin d'enfants a été installé en plein cœur de la zone industrielle d'Evora (Portugal) à proximité d'un centre de formation professionnelle. Les services d'accueil des enfants n'ont pas seulement été ouverts aux femmes au chômage qui souhaitent suivre des formations, mais aussi au personnel des entreprises de la zone industrielle. Le jardin a été pourvu d'une aire de jeux et d'une piscine en plein air pour contribuer à humaniser le cadre de vie dans un contexte industriel et essentiellement masculin. Le centre de formation jusqu'alors fréquenté par des hommes proposait des formations traditionnellement masculines (charpentier, menuisier. ). 4 0% des participants sont aujourd'hui des femmes. Ce centre permet ainsi à certaines d'entre elles de trouver un emploi et à d'autres de trouver un emploi moins précaire. Les services d'accueil des enfants ont permis l'allégement des contraintes familiales des femmes qui ont ainsi eu la possibilité de s'investir dans leur projet professionnel à moyen terme. Réalisations > Effets ΐ> Accès à la formation accrue Accès au marché du travail accru Equipements d'accueil des enfants Utilisation des équipements pour alléger ies contraintes familiales Plus de disponibilité Qualifications améliorées et/ou diversifiées Situation dans l'emploi améliorée Projets réussis Participation activités économiques accrue LZZ1 • Ressources humaines Le p r i n c i pe de l'égalité d es c h a n c es est intégré d ' u ne f a ç on p l us visible lorsqu'il s'agit d es mesures c o n c e r n a nt les ressources humaines. Les effets les plus significatifs sont : les activités de conseil, d ' o r i e n t a t i o n, de suivi ; les a c t i o ns de f o r m a t i on et d'insertion professionnelle ; les interventions sur les s y s t è m es d ' é d u c a t i o n, de f o r m a t i o n, d ' e m p l o i, et enfin les interventions sur l'organisation du travail et les m o d es de p r o d u c t i o n. Evaluer les impacts sur l'égalité des chances Exemple : Mise en place de mesures de formation, d'accompagnement et de parcours d'insertion individualisé (Portugal) Les stagiaires ayant des enfants ou des adultes à charge ont pu accéder en priorité aux actions de formation et recevoir une allocation complémentaire. Cela a permis aux femmes mais aussi aux hommes de mieux concilier leur vie familiale et profes sionnelle. La formation a aussi développé des méthodologies et des stratégies spéci fiques destinées aux femmes dans le cadre des mesures d'accompagnement et des parcours d'insertion (conseil individuel, techniques de recherche d'emploi, planifica tion de carrière. ). Une participation plus équilibrée des hommes et des femmes à tous les secteurs d'activité a été possible. Réalisations ions ~^> Effets Allocation financière pour les personnes ayant des enfants ou d'autres personnes à charge Dispositif d'accompagnement Parcours d'insertion individualises Mieux concilier la vie familiale et professionnelle Accès à la formation facilité Information Conseil Appui continu Qualité des systèmes de formation Qualifications améliorées et/ou diversifiées Ύ Participation plus équilibrée à tous les secteurs d'activités C> Situation dans l'emploi Accès à l'emploi Création d'activités économiques LZZI • Environnement productif Les a c t i o ns relatives à l'adaptation des activités productives, au d é v e l o p p e ment local et régional sont susceptibles d'avoir un i m p a ct sur la p r o m o t i on de l'égalité d es c h a n c e s. Evaluation transversale des impacts sur les priorités d'intervention Exemple : création d'un centre européen d'entreprise et d'innovation (Italie) Un centre de développement d'entreprises innovantes (le BIC) a été créé dans la région des Poullles. Ce centre a élaboré une méthodologie de marketing international. La division marketing de BIC Puglia Sprind était constituée principalement de femmes. La recherche d'opportunités d'affaires a été un travail qui s'est fondé essen tiellement sur les capacités des femmes de l'équipe à créer chez les interlocuteurs curiosité et intérêt pour les produits nouveaux. Les produits locaux des P. M. E. ont été introduits dans les chaînes de distribution internationales et les entreprises ont accru leur compétitivité à l'échelle mondiale. Cela a favorisé l'implantation de nouvelles P. M. E. dans la région spécialisées dans la production de produits agricoles. Les P. M. E. ont créé des emplois dont la plupart sont occupés par des femmes agriculteurs qui habitent dans les villages des alentours. Réalisations c> Création d'un centre de développement d'entreprises innovantes en milieu rural Implantation d'autres PME Création d'activités locales Effets Réduction de l'isolement des femmes rurales Réussite des projets de création d'entreprise portés par ies femmes O Accès à l'emploi Création d'activités économiques tzu ■ Définir et sélectionner les indicateurs U ne é t u de plus a p p r o f o n d ie d es Indicateurs et d'autres e x e m p l es c o n c e r nant le principe de l'égalité d es c h a n c es fait l'objet du Volume 2 de la Collec t i on M E A N S. Le présent v o l u me inclut c e p e n d a nt une f i c he d ' i n f o r m a t i on c o n s a c r ée à la priorité de l'égalité d es c h a n c e s. Afin de rester le plus opérationnel possible, on p r o p o se d'utiliser principale m e nt les i n d i c a t e u rs qui s o nt limités par c o n s t r u c t i on à ce qui est q u a n t i fiable. Pourtant, les informations qualitatives ne doivent p as être négligées c o m p te tenu du caractère c o m p l e xe et innovant de l'objectif de l'égalité d es c h a n c e s. Evaluer les impacts sur l'égalité des chances Les impacts des interventions dans ce domaine sont produits par une accu mulation de résultats intermédiaires provenant d'une série de réalisations hétérogènes. Les « indicateurs de programme » doivent apporter des infor mations significatives sur toutes les étapes du processus qui va de l'alloca tion des ressources jusqu'à la production des impacts. On doit sélectionner de façon pragmatique un petit nombre d'indicateurs ad-hoc sur le thème de l'égalité des chances. Il ne faut pas imposer une collecte d'information inutilement coûteuse, ni créer de surcharge d'infor mation pour les décideurs : • Au niveau européen, le besoin prioritaire est d'apprécier et d'éclairer les conséquences des politiques structurelles par rapport à la prise en compte de l'égalité des chances. La Commission européenne a l'obligation de rendre compte aux institutions européennes du respect et de l'application du principe de l'égalité des chances dans l'utilisation des Fonds structurels. • Au niveau du programme, le Comité de suivi a besoin de connaître la consommation des ressources et de suivre les réalisations. Lorsqu'il s'agit d'un programme dont la prise en compte du principe ne figure pas parmi les objectifs explicites, le Comité de suivi doit s'informer sur l'impact différencié du programme par genre. • Au niveau des projets, les gestionnaires doivent suivre en détail leur consommation de ressources, leurs réalisations et les réactions des diffé rents groupes de destinataires et en particulier des femmes. Les femmes ne représentent pas un groupe homogène mais constituent la moitié de la population concernée par les interventions des Fonds structu rels. Cette évidence devrait conduire à croiser systématiquement la variable <· genre » avec l'ensemble des indicateurs utilisés. Un système d'indicateurs « sensibles aux questions d'égalité des chances » nécessite d'intégrer étroi tement les types de destinataires et les types de mesures. Cela permet, par exemple, d'évaluer si les femmes bénéficient dans la même proportion que les hommes de mesures ayant un effet direct sur l'emploi (comme les aides à l'embauche, les aides à l'emploi) ou si, au contraire, elles bénéficient unique ment des mesures de formation. Les indicateurs de contexte, en fournissant un état initial (baseline), servent à montrer quelle proportion de la population visée a été atteinte, notamment des femmes ou dans quelle mesure on a satisfait les besoins dea femmes de la région. Un indicateur de programme (nombre de femmes destinataires du programme qui ont gardé leur emploi après avoir eu des enfants) peut être Evaluation transversale des impacts sur les priorités d'intervention combiné à un indicateur de contexte (pourcentage régional de femmes de 25 à 35 ans ayant interrompu leur carrière après avoir eu des enfants) pour donner une idée de la contribution du programme à la résolution des problèmes des femmes dans une région. Il n'existe pas de règle universelle pour construire un système d'indicateurs pour l'application du principe d'égalité des chances. Il convient de vérifier que les indicateurs existants sont d'une qualité acceptable. Les défauts de qualité les plus fréquents sont : • l'absence de liens entre les indicateurs et les objectifs visés (risque important pour l'égalité des chances lorsque les objectifs ne sont pas expli cites) ; • la difficulté d'utilisation de l'indicateur faute de disposer de données de référence pour la reconstitution de la situation contrefactuelle ; • l'absence de subdivision hommes-femmes des indicateurs à chaque fois qu'ils portent sur des individus. Un système d'indicateurs pragmatiques sur la prise en compte du principe d'égalité des chances limite la collecte et la transmission des informations en fonction de leur pertinence pour chaque niveau de gestion. Dans le cas du FSE, les indicateurs se présentent le plus souvent comme le montre l'encadré ci-dessous. Lorsque le principe de mainstreaming est appliqué, les indicateurs sont présentés comme dans le tableau de l'Encadré 27. Encadré 27 - Exemple d'application du principe du mainstreaming: Mesure XX : Nombre de bénéficiaires : • total • par sex · par age · par niveau de qualification L'application du principe de mainstreaming suppose la présentation suivante : % Hommes % Femmes 1. Total 2. Par âge 3. Par niveau de qualification Evaluer les impacts sur l'égalité des chances • Sélectionner et interpréter les indicateurs pour un programme donné A la lecture des documents de programmation, on constate une absence quasi systématique d'indicateurs précis sur la prise en compte du principe d'égalité des chances. Concernant la participation des femmes dans les CCA et dans les DOCUP, les indicateurs sont très généraux et très limités. Dans le meilleur des cas, les femmes sont répertoriées comme une catégorie de destinataires à part, avec lesjeunes, les handicapés, etc. A l'inverse, certains observatoires spécialisés proposent des indicateurs de plus en plus sophistiqués. Ceux-ci sont parfois trop généraux pour pouvoir être utilisés dans le cadre de l'évaluation d'un programme structurel qui n'a pas pour objectif dominant l'égalité des chances ; c'est le cas par exemple, de « l'Indice de Dissimilarité » qui sert à analyser le degré de ségrégation selon les sexes par secteur d'activité ou de profession. Ainsi, l'équipe d'évaluation sera le plus souvent amenée à proposer ex nihilo une liste d'indicateurs pour intégrer la dimension égalité des chances dans l'évaluation globale d'un programme. Pourtant, ¡I est trop ambitieux de demander aux évaluateurs de définir des indicateurs spécifiques à la promotion de l'égalité des chances dans le cadre de travaux d'évaluation de programme. Il faut donc procéder à un arbitrage et se satisfaire d'indicateurs relativement bruts et approximatifs pour apprécier la dimension égalité des chances. La sélection de ces indicateurs doit permettre une analyse solide du contexte sur la base d'un diagnostic des problèmes que rencontrent les femmes, de l'identification des potentialités à développer dans le contexte national (ou régional) ou du repérage des enjeux les plus Importants dans la région pour la promotion des femmes. L'interprétation des informations fournies par les indicateurs n'est pas toujours aisée. Il est indispensable de se servir de « variables de contrôle » portant sur le contexte local, régional ou national, en particulier pour vérifier si l'effet produit est effectivement bénéfique pour les femmes. Par exemple, l'augmentation du travail à temps partiel pour les femmes pourrait s'expli quer par le manque d'autres alternatives professionnelles. D'autre part, le temps partiel peut également être révélateur d'un manque d'infrastructures et de services d'accueil. A titre d'exemple, le tableau ci-après présente un système d'indicateurs qui peut être utilisé pour connaître dans quelle mesure la dimension*égalité des chances a été prise en compte dans un programme d'amélioration des centres sociaux. Evaluation transversale des impacts sur les priorités d'intervention Encadré 28  Exemple d'un système d'indicateurs pour l'amélioration de centres sociaux Indicateurs de programme (concernant l'intervention et ses effets) Indicateurs de contexte (concernant la zone assistée) Indicateurs de réalisation Installations Capacité Surface en m de bâtiments achetés, construits ou réhabilités (dont surface consacrée pour répondre aux besoins des femmes, c'estàdire, crèches, etc. Nombre maximum d'utilisateurs (dont nombre maximum de femmes utilisatrices) Nombre maximum d'utilisateurs de crèches dans la région Indicateurs de résultat Satisfaction % d'utilisateurs satisfaits ou très satisfaits avec le projet (donf femmes/hommes) Indicateurs d'impact Emploi Nombre d'utilisateurs ayant un emploi permanent (dont femmes/hommes) % de salariés de la région qui utilisent les services de la crèche Source : Volume 2 de la Collection MEANS ■ L es s o u r c es d ' i n f o r m a t i on disponibles Les données disponibles auprès des Offices statistiques servent normale ment à quantifier les indicateurs de contexte. Par exemple, un grand nombre d'indicateurs peuvent être trouvés à Eurostat dans la base NEW CRONOS qui recueille environ 70 millions de données statistiques harmonisées pour les Etats membres de l'Union européenne et dans la base de donnée Regio dédiée aux statistiques sur la vie économique de chaque Etat membre de l'Union européenne. Ces données sont présentées sous forme d'environ 70 tableaux standards classés par domaine. Les données sont toutes ventilées par région, selon une nomenclature des unités territoriales « NUTS » et couvrant un large domaine d'information : démographie, chômage, enquêtes sur les forces de travail, etc. Les statistiques d'enquêtes sur les forces de travail portent notamment sur la répartition du temps de travail, la ventilation des emplois par âge, par sexe et par catégorie socioprofessionnelle, le taux de chômage avec ventilation des chiffres selon la raison, la durée et les modalités de recherche d'emploi spécifiques à chaque pays et à chaque secteur d'activité. Un portrait statis tique des femmes vivant dans l'Union européenne au début des années 1990 est présenté dans la publication d'EUROSTAT « Les femmes et les Evaluer les impacts sur l'égalité des chances hommes dans l'Union européenne ». Le document inclut des sondages d'opinion venant enrichir une analyse comparative très minutieuse de leur situation sociale et professionnelle par rapport à celle des hommes. Par ailleurs, les Instituts nationaux de certains Etats membres élaborent des statistiques nationales sur la question « femmes ». Par exemple, en Espagne, l'Institut de la femme (Instituto de la mujer) a créé plus de 100 indi cateurs pour analyser les disparités entre les femmes et les hommes dans les domaines suivants : démographie, éducation, emploi, santé, politique et prestations sociales. ■ Quelques exemples de pratiques dans l'Union Les outils d'évaluation font l'objet d'un examen détaillé dans le Volume 3 de la Collection MEANS. Cette section présente cependant quelques exemples d'outils d'évaluation qui permettent d'apprécier la prise en compte du principe de l'égalité des chances dans les interventions structurelles. La singularité méthodologique de ce type d'analyse réside dans le caractère complexe et omniprésent des phénomènes à analyser. La construction de l'évaluation doit tenir compte du faible nombre de références antérieures et de la pauvreté des informations disponibles dans ce domaine à ce jour. L'appréciation de l'impact des interventions sur la promotion de l'égalité des chances peut être faite selon une approche « pas à pas » qui est décrite en détail dans le chapitre IV de ce Volume. Toutefois, pour une analyse appro fondie, d'autres outils doivent être utilisés. A l'exception du marché du travail, on ne dispose pas de bases bien établies ni d'informations préalables suffisantes pour une approche de type « hypo théticodéductive », autrement dit, une démarche qui suppose de formuler des hypothèses précises pour structurer les outils de collecte et de traitement des données. L'utilisation de questionnaires fermés, par exemple, devra être limitée à certaines situations bien connues comme une enquête auprès des stagiaires ayant suivi une formation. Il convient donc de privilégier une méthodologie « inductive » qui sera mieux à même de faire émerger une connaissance nouvelle de situations mal connues à partir de recoupement d'observations qualitatives. Les techniques correspondantes sont classique ment : des entretiens non directlfs, des groupes d'écoute (focus groups), des Evaluation transversale des impacts sur les priorités d'intervention études de cas ou encore, plus rarement utilisée, l'observation ethnogra phique (Cf. le Volume 3 de la Collection consacré au choix des outils). Pour les évaluations ex ante ou intermédiaire, les méthodes développées dans le cadre du management (par exemple, le diagramme Ishikawa, « I had a dream » et la technique du scénario) peuvent servir à diagnostiquer les problèmes et trouver des solutions innovantes. L'évaluation ex post nécessite l'utilisation d'un « package » méthodologique de différentes techniques : des enquêtes, des études de cas spécifiques et la comparaison de plusieurs échantillons de population au niveau régional et national afin d'être en mesure de donner une image crédible de l'impact réel. • L'analyse ex ante de projets financés par le FEDER en Espagne Dans le cadre des programmes 1994-99, une étude de cas a été menée afin d'apprécier la prise en compte du principe d'égalité des chances. Sur la base des réponses aux questionnaires envoyés à toutes les entités promo trices des projets FEDER, l'évaluateur a repéré les projets les plus directe ment liés à l'application de l'égalité des chances. A l'aide d'un certain nombre de critères de prise en compte de l'égalité des chances définis par l'évaluateur, une analyse approfondie a été conduite afin d'identifier les cas de projets présentant les meilleures pratiques dans ce domaine. Au total, huit projets ont été retenus qui avaient comme effets potentiels : la recon naissance de l'égalité, la solidarité entre les femmes et l'autoestime, l'entrée des femmes dans les domaines à faible présence féminine, la réponse aux besoins spécifiques des femmes, la promotion du dynamisme féminin et la conciliation des vies familiale et professionnelle. L'analyse approfondie de ces huit cas a permis de repérer les caractéris tiques des projets qui entraînent l'égalité des chances telles que l'adaptation sur le fond et dans la forme des actions de formation pour les femmes, l'arti culation des mesures afin qu'elles soient cohérentes en termes de satisfac tion d'égalité des chances, la promotion de la participation féminine chez les gestionnaires de projets, l'implication d'associations féminines dans les par tenariats, la garantie de la participation féminine dans le suivi du projet, etc. (Voir Encadré 29). Evaluer les impacts sur l'égalité des chances Encadré 29 - Fiche-type pour apprécier la dimension de l'égalité des chances dans le cadre d'une évaluation ex ante Nom de l'entité Titre du projet Le projet Territoire Objectif (1,2,. ) Objectif Application des objectifs d'égalité des chances (typologie des effets) Typologie des personnes promotrices (% femmes) Public destinataire (% femmes) Description d'actions novatrices et bonnes pratiques Justification des stratégies d'égalité des chances Système d'organisation et équipements développés Cadre de programmation du projet dans le FEDER Fonds Programme Objectif couvert Axes, mesures et Actions Cofinancements publics et privés Valeur démonstrative des actions Diffusion des résultats au niveau local Diffusion des résultats au niveau régional Transfert des résultats ou de méthodologie à d'autres projets Effet multiplicateur Suggestions pour l'application du « gender Mainstreaming ·· : • L'analyse de la mise en œuvre des programmes finlandais Une évaluation thématique sur l'égalité des chances s'est appuyée sur une matrice d'appréciation pour aider les commanditaires ou / et les évaluateurs dans leur choix stratégique d'évaluation et la formulation des questions éva luatives. Cette approche met l'accent, d'une part, sur la structure, le processus, les résultats et les impacts sur la vie des femmes et des hommes ainsi que sur l'environnement socio-économique et, d'autre part, présente les critères d'appréciation pour la prise en compte du principe de l'égalité des chances. Les critères concernent les rôles différents des femmes et des hommes, l'accès des femmes aux aides financières des Fonds structurels ainsi que les besoins réels des femmes dans un contexte particulier (Voir matrice Encadré 30). L'élaboration de cette matrice a facilité la sélection des questions évalua tives pour lesquelles l'évaluation doit trouver une réponse crédible. Par exemple « quels sont les rôles des femmes et des hommes dans les diffé rentes phases de conception et de mise en œuvre des programmes ? » ou « jusqu'à quel point la raison d'être du programme et de ses objectifs corres pond aux besoins identifiés et aux priorités des femmes et des hommes dans la région ? ». L'évaluation a réussi à montrer que les allocations octroyées dans le cadre des programmes FEDER ne correspondent pas aux besoins réels des femmes finlandaises. Evaluation transversale des impacts sur les priorités d'intervention Encadré 30 - Matrice d'app réciation d'un programme Objectifs de l'appréciation Critères d'égalité des chances Accès aux financements Rôles Besoins Structure Processus 1. programmation 2. mise en œuvre 3. suivi i. évaluation Resultats Impact • Une initiative d'évaluation de l'application de l'égalité des chances dans le cadre des programmes d'Objectif 2 (Suède) Dans le cadre du réseau IQ-NET (Networking to improve the quality of Objectif 2 programmes), une étude thématique portant sur l'intégration de l'égalité des chances dans ces programmes a été conduite afin de faciliter l'échange d'informations et d'expériences entre les régions quant à la conception, la mise en œuvre, le suivi et l'évaluation de la dimension « égalité des chances » dans ces programmes Objectif 2. Les treize régions de l'Objectif 2, membres de ce réseau, sont des régions caractérisées par un taux de chômage des hommes particulièrement élevé. La priorité de l'intervention est donc la promotion de la création d'emploi. L. a question centrale de l'étude a cependant été d'examiner la contribution des programmes de l'Objectif 2 en tant que véhicule de promotion de l'égalité des chances. Dans le cadre de l'Objectif 2, certaines régions intègrent la promotion de l'égalité des chances dans la mise en œuvre de projets et dans leur évaluation ensuite. Afin de pouvoir répondre à la question evaluative suivante : « quels sont les effets du programme Objectif 2 sur l'emploi, compte tenu de la priorité transversale donnée à l'égalité des chances par la politique des Fonds structurels ? », plusieurs études de cas ont été réalisées. Les résultats de l'étude de cas qui a porté sur le projet suédois MASS méritent d'être présentés. Le projet a été mis en place en Janvier 1995 dans la région de Ångermanlandskusten et avait pour objet de fournir une assis tance administrative à un certain nombre de P. M. E. et de les aider à améliorer leur management. Les femmes au chômage ont été les principales destinataires du projet. Evaluer les impacts sur l'égalité des chances En effet, une étude pilote a d'abord été conduite pour définir les problèmes auxquels se heurtaient les P. M. E. : il s'est avéré que celles-ci étaient confrontées à des difficultés d'embauché de personnel qualifié et étaient prêtes à embaucher du personnel administratif. Une deuxième phase a mis en relation les besoins de ces P. M. E. et la demande des chercheurs d'emplois. 14 personnes ont finalement été embauchées dont 7 femmes anciennement employées dans le secteur public. Cinq d'entre elles ont obtenu un emploi stable. Le projet a non seulement permis de réduire la charge de travail des diri geants et donc d'augmenter le temps passé avec leur famille, d'améliorer la compétence des P. M. E. mais surtout de réduire le chômage des femmes. • L'évaluation de la participation des femmes aux actions cofinancées par le FSE Cette évaluation, conduite en 1991, constituait la première étude thématique sur l'égalité des chances et la place des femmes dans les Fonds structurels. L'originalité de l'étude résidait dans sa prise en compte de la dimension « égalité des chances » dans l'ensemble des processus et des méthodes de programmation, de mise en œuvre, de gestion et d'évaluation des interven tions du FSE. Le cadre méthodologique a été construit à partir des objectifs définis par la Commission : • analyse qualitative et quantitative de la place des femmes dans les documents de programmation ; • analyse de la prise en compte de l'égalité des chances dans les processus et les méthodes de programmation, mise en œuvre, suivi et évaluation ; • ahalyse qualitative et quantitative de la place des femmes dans les actions mises en œuvre ; • analyse de la cohérence et de la complémentarité entre les actions financées par le FSE et les programmes et actions en faveur de l'égalité des chances mis en place au niveau national et régional ; • analyse de la cohérence, synergie et complémentarité entre le programme NOW et les actions financées dans le cadre des Objectifs 1,3,4. Pour l'analyse quantitative, des sources d'information multiples et diverses ont été utilisées, en complément des CCA et des PO : les rapports annuels Evaluation transversale des impacts sur les priorités d'intervention établis soit par les autorités nationales et / ou régionales, soit par les agences de formation, voire des demandes de concours. Pour l'analyse qualitative, des interviews et / ou de questionnaires adressés aux acteurs impliqués dans la préparation et la mise en œuvre des CCA et des PO ont été utilisés : Missions FSE ; autorités nationales, régionales et locales chargées de l'emploi et de la formation professionnelle ; agences de formation, entreprises privées ; promoteurs et gestionnaires d'actions cofi nancées par le FSE ; etc. Les consultants nationaux ont également inter viewé les responsables nationaux et/ou régionaux de la politique en faveur des femmes ainsi que les correspondants dans chaque Etatmembre des réseaux dépendants de l'Unité pour l'égalité des chances (DG V). Les personnes chargées de la préparation et de la mise en œuvre de NOW dans les Etats membres ont aussi été contactées. Les indicateurs utilisés pour l'analyse quantitative concernaient : • les ressources allouées aux femmes, à travers les actions mixtes et les actions spécifiques, par rapport au total des ressources disponibles ; • le nombre de femmes destinataires d'actions mixtes et d'actions spéci fiques, par rapport au nombre total de destinataires ; • le pourcentage de femmes destinataires par types d'action, catégories de destinataires, niveaux de qualification et secteurs d'activité ; • la part des actions et des programmes nationaux en faveur de la formation et de l'emploi des femmes bénéficiant d'un cofinancement FSE. La méthodologie prévoyait des typologies : types de mesures / actions, catégories de destinataires, secteurs d'activités, qualifications. Elle incluait par ailleurs une série de questions clés, regroupées par thèmes. Elle prévoyait également la constitution d'un échantillon d'actions mixtes, pour chaque type de mesure, réparti entre actions à fort taux et actions à faible taux de participation féminine pour la réalisation d'études de cas. ■ Résumé des points essentiels La promotion du principe d'égalité des chances entre les femmes et les hommes est une priorité où peu d'évaluations ont été faites. C'est le cas notamment des évaluations ex post. L'intégration du principe de l'égalité des chances dans les évaluations des Fonds structurels représente donc un enjeu important. Evaluer les impacts sur l'égalité des chances Les interventions centrées sur le développement des ressources humaines sont plus susceptibles de produire des effets directs sur la situation des femmes. Ce type d'impact est donc plus facile à évaluer que les impacts indirects sur la promotion de l'égalité des chances. L'évaluation joue un rôle essentiel dans la promotion de la stratégie du mainstreaming en garantissant que le principe de l'égalité des chances est systématiquement pris en compte dans les politiques structurelles. ■ Pour en savoir plus. ÁlvaroPage, M. (1996), Los usos del riempo como indicadores de la discri minación entre géneros, Madrid: Ministerio de Asuntos Sociales; Instituto de la Mujer, N°46. Bamberger, M. (1996) "Understanding the Impact of Development Projects on Women: The Tunisia Institutional Development Fund Project" in Evalua tion for the 24st Century: New Topics for Evaluation. CE. (1994), Les femmes et les hommes dans l'Union européenne : portrait statistique, Luxembourg : Office des publications officielles des Communau tés européennes. CE. (D. G. V)(1998), 100 mots pour l'égalité, Glossaire de termes sur l'égalité entre les hommes et les femmes, Luxembourg : Office des publications offi cielles des Communautés européennes. Rubery, J. ; Fagan, C. and Maier, F. "Occupational Segregation, Discrimina tion and Equal Opportunity", pp431461 in Schmid, G. ; O'Reilly, J. ; and Schômann K. (1996) International Handbook of Labour Market Policy and Evaluation, Cambridge : EE, University Press. Ill Evaluations thématiques transversales des domaines d'intervention Les Interventions dans le cadre des Fonds structurels sont mises en œuvre dans des domaines très divers. Ces domaines se situent en grande partie en amont des priorités politiques examinées dans la partie précédente. Par exemple, les interventions dans le domaine des transports ou du tourisme peuvent avoir des impacts sur l'environnement, et les interventions en faveur de la RDT sont conçues pour avoir un impact sur la compétitivité de l'indus trie, et en particulier des PME. Cette distinction entre les domaines d'Intervention et les priorités politiques a des répercussions sur l'organisation des évaluations thématiques. Si l'éva luation des priorités politiques peut se faire à tout niveau supérieur à celui de la mesure, les évaluations n'ont d'intérêt que si elles portent sur plusieurs programmes voire sur plusieurs pays. Il s'agit en effet dans ce cas, non de juger les mérites d'un programme mais d'identifier les modalités opérationnelles les plus efficaces. thématiques des domaines d'intervention La sélection des domaines a été basée sur de récentes expériences d'éva réalisées dans le cadre des Fonds structurels. Le luations transnationales premier chapitre concerne les interventions dans le domaine de la RDT. Il existe une importante expérience d'évaluation dans ce domaine, mais les pratiques connaissent actuellement une période de remise en question. La structure de ce chapitre est similaire à celle des chapitres sur les quatre priorités politiques de la Partie II. Le deuxième chapitre, par contre, ne donne qu'un bref aperçu de la pratique et des questions relatives aux domaines des transports, des télécommunications et du tourisme. Evaluer les impacts des interventions dans le domaine de la Recherche et du Développement Technologique I Pourquoi évaluer les effets d es interventions sur la R DT ? Pour les régions dépendantes de l'agriculture et des secteurs industriels traditionnels faisant appel à une main d'œuvre abondante, l'ouverture des marchés nationaux a été synonyme de compétition accrue en provenance de régions, faisant partie ou non de l'Union européenne, où la main d'œuvre est moins chère. En conséquence, les opportunités d'emploi peu qualifié ont été réduites et les problèmes associés au développement éco nomique et à la restructuration industrielle sont devenus plus aigus. Parallèlement au déclin des secteurs traditionnels, on a pu observer que la croissance économique dépend de plus en plus d'industries en expansion rapide. On trouve dans le cadre de ces nouvelles industries des petites ou moyennes entreprises qui disposent généralement de ressources limitées pour la RDT, et dont l'effort de recherche doit souvent être entrepris en col laboration avec d'autres entreprises ou avec des instituts de recherche pour obtenir des résultats optimums. Toutefois, ce type de collaboration se produit seulement dans des circonstances spécifiques : proximité géogra phique, existence de relations non financières et de liens formation- recherche-industrie. On peut citer, à tire d'exemple de ces phénomènes qui ont inspiré la réflexion politique récente en matière de RDT, les « Districts » italiens ou encore les liens étroits entre les systèmes de formation et l'in dustrie qui existent en Allemagne. Au fur et à mesure de la progression de la restructuration industrielle, se profile un processus de polarisation technologique de plus en plus marqué. Les régions les plus avantagées d'un point de vue technologique tirent parti de leur capacité technologique antérieure, des dépenses de RDT qui se maintiennent à un niveau élevé, d'une culture de l'innovation en général bien développée et de leur aptitude à poursuivre le développement de leur capacité d'innovation. Cela creuse l'écart avec les régions les plus désa vantagées en matière de technologie. La persistance des disparités régio nales en termes de compétitivité, de commerce, de chômage et de crois sance, à la fois à l'intérieur de chaque pays et entre les différents Etats membres, reflète cette divergence de capacité de RDT. Evaluation transversale des impacts sur les priorités d'intervention Une nouvelle approche du processus d'innovation a permis de passer du modèle de type linéaire « Science-Technologie-Production » à une concep tualisation de l'innovation en tant que processus dynamique, interactif et non linéaire. En outre, la prise en compte de la dimension territoriale de la RDT, grâce aux systèmes d'innovation régionaux et nationaux, permet de concevoir des interventions répondant à l'objectif de la cohésion écono mique et sociale. Suite à ces avancées, l'accent a été mis sur la capacité technologique endogène et sur la diffusion d'innovations auprès des PME par une plus grande coopération entre universités, instituts de recherche et entreprises, et sur le soutien et la promotion de la RDT industrielle. Avec ce changement de cible, et l'abandon du modèle d'innovation linéaire, les politiques centrées sur une approche du type « pression technologique » sont remises en question. On prend conscience désormais que l'offre et la demande de technologie doivent être associées à un processus interactif impliquant à la fois les producteurs et les utilisateurs de nouvelles technolo gies. De plus, le développement de la capacité d'innovation d'une région est intrinsèquement associé à l'adaptation des interventions aux caractéris tiques des structures de production et à la capacité d'anticiper l'évolution de cette structure. Lorsque les PME prédominent, l'une des principales exigences des interventions de RDT est simplement de les aider à apprécier l'importance de l'innovation en matière de compétitivité dans une économie ouverte. La génération actuelle d'interventions est donc en grande partie composée de mesures bottom-up, ciblant les besoins économiques et commerciaux les plus larges des PME, leurs besoins de technologie exogène et d'intégration de cette technologie dans les processus de pro duction, leur propre capacité d'innovation et de marketing, etc. • Le contexte communautaire L'importance de la RDT pour la compétitivité d'une région et la nécessité de développer la capacité de RDT est clairement reconnue dans le cadre des Fonds structurels. C'est pourquoi l'aide structurelle à la RDT a très sensible ment augmenté au moment même où les gouvernements nationaux réduisent leurs dépenses en sciences et technologie (S&T). Les interventions de RDT sont financées par tous les Fonds structurels, le FEDER constituant la principale source. L'aide à la RDT tient une place importante dans les initiatives communautaires (INTERREG II, PME, ADAPT,. ) et fait également l'objet d'actions novatrices : Stratégies d'Inno- Evaluer les Impacts dans le domaine de la RDT vation Régionales et Transfert de Technologie Régional. De plus, des secteurs de pointe dans le domaine de la recherche scientifique et technolo gique font l'objet d'interventions associées aux programmes du Cadre com munautaire d'appui. Dans le cadre de l'objectif global de la politique de RDT de l'UE, qui est de renforcer la compétitivité par le développement de l'excellence scientifique et technologique, les interventions structurelles ont pour but de lutter contre la concentration de la capacité de RDT dans certains pays, essentiellement dans le Nord de l'UE (cohésion transnationale) et dans certaines régions, essentiellement dans et autour des capitales et de quelques pôles régionaux dynamiques (cohésion nationale). Les ressources des Fonds structurels ont donc été dirigées vers des régions plus périphériques afin de développer leur base scientifique et technolo gique, en particulier en établissant des liens durables entre les organismes de recherche publics et les industries régionales. A long terme, ces interven tions devraient augmenter la capacité d'innovation des régions aidées, soit en réorientant leur capacité technologique vers le secteur de la haute tech nologie présentant le développement le plus rapide, soit en créant une capacité technologique locale et donc en réduisant le « fossé » technolo gique avec les régions développées. L'impact à plus long terme de ce processus sera une plus grande spécialisation régionale dans les produits et services à forte valeur ajoutée, une croissance accrue et une plus grande cohésion économique et sociale. Les récentes expériences d'interventions dans le domaine de la RDT pour la période de programmation de 1989 à 1993 ont révélé l'existence, dans les régions, d'un certain nombre de zones posant problème en matière de finan cement de la RDT La relation entre l'augmentation du financement de la RDT d'une part, et l'augmentation de l'innovation et du développement éco nomique d'autre part, n'est ni automatique, nl directe. Il convient d'être attentif non seulement à l'offre technologique, souvent générée en amont par les institutions publiques, mais également à la demande de technologie, qui correspond aux besoins des acteurs industriels d'une région et de leur capacité à adapter les technologies disponibles aux opportunités commer ciales. Toutefois, au cours de cette période, on a pu observer une tendance à concentrer le financement sur la recherche publique, alors que les besoins pratiques en RDT des entreprises locales et en particulier des PME, n'ont pas été suffisamment pris en compte. Evaluation transversale des impacts sur les priorités d'intervention Il existe, dans les régions les moins développées, de graves problèmes de consommation des fonds disponibles, dus au fait qu'il est souvent difficile d'identifier des projets adaptés ou que les autorités n'ont qu'une faible expérience des questions de RDT et ne sont pas toujours en mesure de les comprendre. Dans certaines régions, ce problème a aggravé la concentra tion des financements en amont, pour la RDT publique, ce qui a entraîné une inadéquation entre l'offre technologique publique et la demande de techno logie de l'industrie. Encadré 31 - Evaluation des impacts des CCA sur la Recherche et la Technologie en Grèce, en Irlande et au Portugal sur la période de programmation de 1989 à 1993 L'objectif de cette évaluation était de déterminer l'impact des interven tions, de faire des comparaisons entre les 3 pays étudiés et de produire des recommandations susceptibles d'améliorer à la fois l'efficacité et le rendement de l'aide du CCA à la RDT dans ces pays. L'étude a établi que les autorités nationales des trois pays avaient largement utilisé les oppor tunités offertes par les Fonds pour développer considérablement l'infra structure publique de RDT. Elle a également noté que les trois pays avaient rencontré des problèmes dans le domaine de la participation industrielle, du transfert de technologie, surenchère de l'offre technolo gique, concentration de la RDT autour des capitales et pénurie de res sources humaines. On a également observé des problèmes de coûts d'exploitation, d'atteinte de cibles, d'autofinancement et de gestion et d'évaluation. Par conséquent, au cours de la deuxième période de pro grammation (1994 à 1999), l'accent est mis plus particulièrement sur une meilleure utilisation de la capacité de RDT existante et beaucoup moins sur la construction de capacité supplémentaire. Le développement de la capacité de RDT européenne en général et plus par ticulièrement, en rapport avec la cohésion, représente un objectif stratégique important de l'Union européenne. Ceci est reflété par le fait que les interven tions visant à développer le potentiel technologique des régions s'élèvent à 7,6 milliards d'euros, soit 7% environ du total des dépenses communau taires. 4 L'évaluation des interventions de RDT doit donc jouer un rôle central dans la détermination de la capacité (passée, présente ou à venir) de ces interventions à atteindre les objectifs politiques définis. Les résultats et les conclusions de ces évaluations peuvent donc être utilisés pour renseigner le 4. "Les Fonds structurels en 1996, huitième rapport annuel". Ce chiffre comprend les inter ventions dans les domaines de la R&D et de l'innovation. Evaluer les impacts dans le domaine de la RDT processus de prise de décision et, par conséquent, pour développer la renta bilité des politiques et des programmes. L'évaluation des impacts des CCA sur la recherche et la technologie en Grèce, en Irlande et au Portugal pour la période de programmation de 1989 à 1993 constitue un bon exemple de processus (Voir Encadré 31). Le présent chapitre fournit une base méthodologique générale pour la plani fication et la réalisation d'évaluations des interventions structurelles dans le domaine de la RDT au niveau transnational. ■ Définir ce qu'il faut évaluer Lorsque l'on évalue des interventions structurelles dans le domaine de la RDT, il faut garder présent à l'esprit que développer la RDT qualitativement et quantitativement n'est pas un objectif en soi. Ce n'est pas non plus un facteur qui, une fois inclus dans un programme, conduit automatiquement à une convergence vers un but souhaitable. Il s'agit d'une condition préalable au développement économique durable et à la cohésion économique et sociale. S'il est relativement simple d'évaluer les réalisations et les résultats d'inter ventions de RDT, il est plus difficile d'estimer les impacts produits. Les impacts spécifiques sont souvent intangibles (par exemple des change ments qualitatifs du capital humain) et, au plan socioéconomique, se pro duisent dans un délai relativement long. Il est par conséquent difficile d'établir un lien causal entre les interventions et les changements socioéco nomiques. La structure technicoindustrielle d'une région est façonnée au fil du temps par de multiples facteurs. Les besoins des régions et, par conséquent, l'ampleur et le type des interventions de RDT varient donc énormément d'une région à l'autre. Ainsi par exemple, dans les régions souffrant d'un retard économique ou, dans une moindre mesure, dans les régions à faible densité de population, l'offre d'installations et d'équipements, le nombre de chercheurs, l'application des résultats de la recherche et le transfert de tech nologie vers l'industrie locale sont des problèmes qu'il faut résoudre pour créer une capacité scientifique et technique endogène. On peut parfois se demander s'il est pertinent d'engager ce type d'interventions dans des régions dont le potentiel de recherche et de technologie est pratiquement nul. Dans les régions en déclin industriel, les interventions sont générale ment orientées vers une aide à l'investissement pour les secteurs spéci Evaluation transversale des impacts sur les priorités d'intervention fiques de haute technologie (tels que les biotechnologies, la micro-électro nique, etc. ), l'investissement dans des sites clés ou encore la création de projets impliquant l'emploi de personnel hautement qualifié. • Quelques points clés de l'évaluation dans le domaine de la RDT Un certain nombre de points clés associés à l'aide structurelle à la RDT peuvent être mentionnés pour orienter l'évaluation d'interventions de RDT : • L'efficacité en termes de développement de la capacité et des potentialités de RDT : les interventions assurent-elles la production des résultats et des impacts souhaités en termes de capacité et de potentiel de RDT ? Il faut noter qu'un projet de recherche donné ne mène pas systématiquement à des innovations spécifiques, en particulier lorsqu'il s'agit de recherche en collaboration. En conséquence, les analyses du rapport coût-efficacité ont une valeur limitée sauf si les activités de RDT sont évaluées pour l'ensemble d'un « portefeuille ». • La solidité des liens générés par les interventions au sein de l'économie locale : on peut obtenir une indication de la force de ces liens en examinant la participation financière des entreprises destinataires ou en faisant une analyse qualitative du degré de leur implication dans les activités réalisées en partenariat. • L'amélioration des niveaux de qualification et des compétences : dans les régions subissant une restructuration industrielle, un chômage élevé coexiste avec une pénurie de compétences dans certains secteurs techno logiquement avancés. Il est important de déterminer dans quelle mesure l'augmentation des opportunités d'étude et de formation, en particulier des études de deuxième et troisième cycles conduit à une migration des personnes formées vers d'autres régions • Le rapport entre développement technologique et emploi : lorsque l'amé lioration des performances économiques est essentiellement due à des innovations entraînant une réduction des coûts de main d'œuvre, il est fort probable que les premiers effets d'emploi soient une réduction du nombre de postes. Cela se produit souvent dans les régions anciennement spéciali sées dans des industries à forte concentration de main d'œuvre qui tentent de rester concurrentielles par la modernisation des outils de production. • Les interactions entre les interventions publiques : la distribution géogra phique de la capacité de recherche publique est souvent fortement influen cée par des considérations stratégiques nationales. Dans les Etats les plus centralisés, les installations de recherche tendent à être concentrées autour Evaluer les impacts dans le domaine de la RDT de la capitale. Les politiques nationales de RDT et les interventions structu relles peuvent donc présenter différents niveaux de synergies positives ou négatives. • La synergie avec d'autres interventions de l'Union européenne : si le programme cadre de la RDT de l'Union européenne s'est intéressé, jusqu'à récemment, à des projets de recherche plus en amont et « pré-compétitifs », tandis que les Fonds structurels étaient consacrés à l'amélioration des capacités de recherche et de transferts de technologie, la frontière entre les deux approches est de moins en moins nette. Il existe des possibilités de synergies et / ou de risques de double emploi entre ces deux instruments politiques. A contrario, les projets de recherche sont sélectionnés au titre du programme cadre selon des critères d'excellence sans tenir compte de la cohésion et des objectifs structurels. Il peut y avoir des synergies négatives avec les Fonds structurels lorsque, comme c'est souvent le cas, la capacité de recherche est concentrée dans les régions les plus dynamiques et les plus riches. • Les enjeux politiques futurs : peut-on surmonter la forte tendance à la concentration géographique de la RDT ? Les interventions doivent-elles, au contraire, chercher à concentrer la capacité de RDT sur un petit nombre de régions pour atteindre une masse critique suffisante ? Le programme cadre doit-il être adapté aux préoccupations d'ajustement structurel et de cohésion ? Comment réduire les chevauchements et les synergies ? Les connaissances scientifiques et techniques sont, dans une certaine mesure, des biens publics. Les avantages cumulés des projets pour la société dans son ensemble ne peuvent s'apprécier simplement à partir d'une analyse des effets de chacun des projets de RDT. C'est pour cette raison que l'analyse des impacts de la RDT est de plus en plus appliquée au niveau mésoéconomique ou macroéconomique. L'analyse à ce niveau permet également d'examiner les interventions et les projets dans le contexte plus large du système d'innovation régional ou national dont ils font partie intégrante. Ceci n'exclut pas la possibilité d'intégrer une analyse dans une évaluation approfondie d'un secteur ou d'une filière particulièrement important pour une région. Les Fonds structurels interviennent dans le domaine de la RDT selon quatre modalités principales : • L'aide aux infrastructures de S&T : universités, centres de recherche et laboratoires publics associés et structures de promotion de la diffusion des Evaluation transversale des impacts sur les priorités d'intervention résultats de projets de recherche. Les activités dans ce domaine ont pour but d'améliorer le potentiel scientifique et technologique. • L'aide directe à l'industrie : subventions et prêts à faible taux pour aider les activités de recherche appliquée, de transfert de technologie et la création d'entreprises de haute technologie. Les activités dans ce domaine ont pour but de mettre en valeur le potentiel technologique, d'augmenter les liens entre la recherche et l'innovation et d'améliorer le cadre financier de la RDT. • L'aide indirecte à l'industrie : services tels qu'audit de technologie et conseil d'experts, renforcement des centres d'innovation et de technologie et efforts pour augmenter la participation à d'autres initiatives de RDT de l'Union européenne (Programme cadre, Initiatives communautaires, etc. ). Ces activités ont pour but de mettre en valeur le potentiel technologique et d'aider l'innovation en améliorant les liens avec la recherche. • La formation : formation des chercheurs et des gestionnaires de technolo gie avec un objectif global de promotion d'une culture innovante. Encadré 32 - Typologie des interventions structurelles dans le domaine de la RDT Interventions structurelles dans le domaine de la RDT JZ Renforcement du potentiel de S&T I 1 1 Mise en valeur du potentiel scientifique Mise en valeur du potentiel technologique 1 1 1 Construction de laboratoires et de centres de recherche universitaires Construction de centres technologiques et de parcs scientifiques, soutien de la capacité de recherche des PME Subventions à l'équipement Subventions aux projets Etc. Subventions à l'équipement des centres technologiques, équipements de mesure et d'essai Subventions aux projets de développement JZ 1 IL. Aide à l'innovation Promotion d'une « culture de l'innovation » 1 Amélioration 1 des liens entre 1 recherche 1 et innovation I Il Mise en 1 valeur du 1 1 cadre financier 1 1' » il li'i'l l V. il Formation Mobilité des chercheurs Stimulation de l'activité Diffusion des résultats Transfert de technologie Capital initial et capital risque Promotion des reseaux Etc. Liaisons entre entreprises, universités, centres de recherche Activités de sensibilisation Etc. Etc. Etc. Evaluer les impacts dans le domaine de la RDT • Clarifier les objectifs des interventions de RDT Il est utile de construire un arbre d'objectifs pour relier les réalisations et les résultats des Interventions de RDT aux objectifs spécifiques inclus dans le cadre des Fonds structurels. Encadré 33  Exemple d'arbres d'objectifs thématiques pour des interventions de RDT O b j e c t i fs g l o b a ux E x e m p l es d ' o b j e c t i fs s p é c i f i q u es Meilleur transfert de technologie entre les entreprises * ■ • Plus de projets en collaboration entre PME et instituts de recherche • Plus de diplômés de 2ème cycle et 3ème cycle dans les entreprises Réduction des disparités de RDT entre régions Plus grande cohésion économique et sociale J. — Plus grande innovation des entreprises en particulier des PME < ■ Meilleures infrastructures de RDT Plus grande <' cherche!, technicie qualifica adaptées rs et de nsaux ions • Plus de collaboration entre entreprises impliquant des PME • Plus de PME engagées dans la RDT — • Plus de parcs S&T • Amélioration des installations de recherche universitaires • Accroissement du nombre de nouvelles installations de recherche • Plus de places dans les formations universitaires orientées S&T • Plus grand nombre de bourses de recherche Liens entre les objectifs intermédiaires Dans l'arbre d'objectifs présenté dans l'Encadré 33, les objectifs spécifiques sont strictement subordonnés aux objectifs intermédiaires qui sont eux mêmes dépendants les uns des autres. Ainsi, par exemple, l'amélioration de l'infrastructure de RDT est susceptible d'accroître la disponibilité des instal lations pour les entreprises dans la mesure où il fournit des installations aux entreprises désireuses de réaliser une RDT et ainsi de contribuer à l'innova tion parles PME. Evaluation transversale des impacts sur les priorités d'intervention Tout en donnant un aperçu de la structure des objectifs d'une intervention, l'arbre d'objectifs fournit une indication sur la typologie des impacts des interventions structurelles orientées RDT que l'on peut résumer en quatre grandes catégories : • Transferts de technologie ; • RDT industrielle ; • Infrastructure de RDT ; • Ressources humaines. • Effets nets des interventions de RDT Les effets nets des interventions dans le domaine de la RDT sont difficiles à évaluer. Les impacts, en particulier au niveau socio-économique, se produi sent souvent longtemps après les investissements de RDT, ce qui permet difficilement de les attribuer avec certitude aux différentes interventions. Les impacts de la RDT sont hétérogènes et doivent donc être estimés à l'aide d'une batterie d'indicateurs : ventes de produits, processus et services innovants ; emplois de R&D créés ; technologies acquises ; réseaux créés ; nombres de doctorats obtenus, etc. Ils ne peuvent donc pas être résumés sous la forme d'un seul indicateur. L'estimation des effets nets doit s'appuyer sur une analyse de l'ampleur de l'effet d'aubaine. La répartition entre le financement public et le financement privé au niveau de l'industrie varie fortement d'un secteur à l'autre, et l'im portance de l'effet d'aubaine varie donc en conséquence. C'est pourquoi l'estimation des effets nets des interventions de RDT est généralement effectuée au niveau des résultats, en se concentrant sur les changements de dépenses de RDT résultant d'une intervention. Exemple: Des effets bruts aux effets nets dans l'aide à l'innovation des PME Partant de l'hypothèse que l'aide à un fonds de capital risque pour financer des projets de recherche réalisés par des PME a permis le lancement de 450 projets pour un coût de 600 millions d'euros. Il a été établi que 120 projets, représentant un coût de 150 millions d'euros, auraient été engagés sans cette aide (effet d'aubaine). L'effet net de l'intervention aurait donc été de 450 millions d'euros. L'effet de levier est un autre facteur à prendre en compte : il est indispen sable d'estimer l'augmentation de la RDT financée par des fonds privés en conséquence directe des dépenses structurelles dans des projets de RDT. Les responsables des politiques recherchent souvent, outre cette mobilisa- Evaluer les impacts dans le domaine de la RDT tion financière à attirer les entreprises de haute technologie et les Instituts de recherche situés à l'extérieur de la zone cible afin d ' en a u g m e n t er la capacité de RDT. De plus, lorsque la diversification de l'économie régionale est une priorité, le remplacement d'activités de secteurs industriels en déclin par des activités innovantes sera également un objectif explicite. ■ Exemples d'impacts par domaine d'intervention Selon les trois grands domaines d'intervention des Fonds structurels, les impacts en matière de RDT sont plus ou moins directs c o m me l'illustrent les exemples présentés cidessous. • Infrastructure de b a se Les interventions dans le domaine de l'Infrastructure de base ont générale ment un effet indirect sur la RDT. Par exemple, les améliorations des réseaux de télécommunications peuvent augmenter les possibilités d'utilisation de la télématique dans le cadre de la collaboration à distance. L'infrastructure cofinancée par les interventions structurelles a un effet plus direct sur la RDT, et c o m p r e nd des Installations pour la recherche universitaires, les parcs scientifiques et technologiques, etc. Exemple: Construction d'un parc scientifique et technologique en Italie du Nord Le Tecnoparco del Lago Maggiore, dans le Piémont, a été conçu pour aider les créateurs d'entreprises intéressés par la technologie et l'innovation à développer des entreprises viables. Ce parc, cofinancé par le FEDER et la Région Piémont, loue des installations pour des projets de recherche. Les locataires du parc bénéficient également de services de soutien (conseil commercial, environnement, sécurité et certification, conception assistée par ordinateur, recherche de partenaires et de financement et maintenance de lieux de réunion et de formation) et d'une aide aux projets de technologie innovantes. L'objectif à long terme de ce projet est d'attirer les investissements et les initiatives de recherche extérieurs à la région et de stimuler l'économie de la région, en facilitant le remplacement des industries traditionnelles par des PME innovantes. Réalisations > Construction de bâtiments et fourniture d'équipements Installation d'entreprises dans le parc Effets Création de nouvelles entreprises Emplois créés directement par les entreprises installées dans le parc Evaluation transversale des impacts sur les priorités d'intervention • Environnement productif Les interventions dans le domaine de l'environnement productif couvrent un large spectre de mesures possibles : participation directe aux investisse ments de RDT ; assistance aux activités technologiques des entreprises, en particulier des PME et des NTBF ; création de réseaux impliquant à la fois des institutions publiques et privées, etc. Exemple: Promotion du transfert de technologie en Aquitaine (France) L'économie de l'Aquitaine est dominée par la présence de grandes entreprises dans les secteurs de l'armement, de l'espace et de l'aéronautique. Depuis un certain nombre d'années, ces secteurs ont engagé des restructurations à grande échelle qui ont eu des répercussions très importantes sur leurs propres activités, mais également sur les activités des sous-traitants locaux dans divers secteurs. L'une des priorités centrales établies dans le DOCUP de 1994-1996 pour la région a été d'adapter le potentiel existant des PME de la région au moyen d'une politique cohérente en faveur de l'innovation et du transfert de technologie. Dans le cadre de cette politique, le CREATI Aquitaine (Centre Régional d'Appui Technique et d'Innovation) a été mis en place. Il a réunit, en 1997, 10 grandes entreprises régionales engagées dans le déve loppement d'un réseau de services techniques pour les sous-traitants locaux et dans la promotion du transfert de technologie. Le CREATI a également été impliqué dans différents projets lancés en partenariat entre les participants et les PME. Ces projets ont également bénéficié d'une coopération avec les universités régionales. Réalisations > Financement de sessions de conseil avec des experts en technologie Effets Accords de collaboration pour les PME Production de nouveaux produits, procédés et services intégrant la technologie acquise • Ressources humaines Les interventions en faveur des ressources humaines couvrent des mesures telles q ue le financement de bourses de recherche universitaire d a ns des domaines spécifiques (transfert de technologie, etc. ), la formation profes sionnelle en h a u te t e c h n o l o g i e, la c r é a t i on de liens e n t re la r e c h e r c he publique et l'industrie (placement de chercheurs dans l'industrie, etc. ). Evaluer les impacts dans le domaine de la RDT Exemple: Centros Tutelados (Espagne) Les centres mis en place par le gouvernement basque en 1992, ont pour but de déve lopper un réseau technologique, de soutenir la croissance et de créer des emplois dans les industries locales. Les centres soutiennent le développement d'entreprises locales en réalisant leurs propres recherches, en assurant une veille scientifique dans le monde entier, et en proposant des formations qui constituent l'un des aspects majeurs de leurs activités. Les chercheurs et les techniciens hautement qualifiés effectuent deux ans de formation dans les centres avant de travailler dans les PME de la région, où Ils diffusent les connaissances qu'ils ont acquises. Les centres organisent également des stages de formation pour les entreprises locales. Jusqu'en 1997, plus de 1 400 personnes, provenant de 900 entreprises, ont bénéficié de ce service de formation. Réalisations > Organisation de stages de formation à l'extérieur Effets î> Meilleures qualifications et compétences des employés des entreprises clientes Meilleurs niveaux de compétence dans les entreprises participantes Les entreprises produisent de nouveaux ou de meilleurs produits, procédés et services Financement de postes de techniciens et de chercheurs Placement des chercheurs dans des entreprises régionales ■ Définir et sélectionner des indicateurs L'évaluation des interventions de RDT exige la construction d'un système d'indicateurs utilisant à la fols des indicateurs de RDT standards et des indi cateurs ad hoc qui prennent en c o m p te les particularités du p r o g r a m me évalué. Le suivi des interventions fournit en général des données pour les Indicateurs de ressources, de réalisations et de résultats, t a n d is que la collecte d'information sur les impacts requiert l'utilisation de techniques de collecte de données primaires. Des indicateurs de ressources tels que les Dépenses Intérieures Brutes de Recherche et de Développement, les Dépenses Privées de Recherche et de Développement et les Dépenses Publiques de Recherche et de Développe ment fournissent des informations sur la structure du financement de la RDT et la répartition de l'activité entre la recherche publique et la RDT industrielle. En fonction de la population ou du PIB, des c o m p a r a i s o ns peuvent être faites entre réglons et pays. Evaluation transversale des impacts sur les priorités d'intervention Les indicateurs de réalisations se concentrent sur les activités des opéra teurs (contacts avec les destinataires, applications traitées, etc. ), le nombre d'heures de conseil et de sessions de formation, le nombre de projets de recherche aidés, les réseaux et les entreprises en collaboration financés, et la création d'infrastructures tels que parcs scientifiques, installations de recherche, etc. (mesurés en mètres carrés ou en hectares). Dans le cas de l'infrastructure de RDT, les indicateurs de résultats peuvent fournir des informations sur le rapport qualité / coût, par exemple, de l'instal lation d'une entreprise dans un parc technologique ou de l'attrait du parc et de ses environs pour les chercheurs. Quant aux services technologiques, les indicateurs de résultats se concentrent dans une large mesure sur la satis faction des destinataires. Les indicateurs à ce niveau doivent également mesurer le montant du financement privé dans les projets aidés, c'est-à-dire l'effet de levier d'une intervention. La proportion de destinataires s'enga- geant pour la première fois dans la RDT avec l'aide du programme constitue également un indicateur utile. Les indicateurs de résultats doivent par ailleurs s'intéresser à la constitution de réseaux entre les entreprises et les instituts lorsqu'il s'agit d'un objectif de l'intervention. Les indicateurs d'impacts doivent refléter les effets technologiques et socio- économiques plus vastes et à plus long terme. Comme les effets de la RDT sur le développement se produisent sur une longue durée et que certains impacts sont difficiles à mesurer (par exemple les connaissances et le savoir-faire acquis), les indicateurs correspondants sont généralement limités aux informations socio-économiques quantifiables, tels que, par exemple, le nombre de nouveaux produits et procédés commercialisés, leurs ventes et les ventes de brevets et licences associés, la valeur ajoutée créée et les effets directs sur l'emploi (chercheurs et techniciens) mesurés en Equivalent Temps Plein. Dans la mesure où il est de plus en plus difficile de distinguer la recherche publique de la recherche privée (la collaboration entre les centres de recherche publics et les PME et le développement commun d'innovations étant de fait l'un des objectifs des interventions), de nombreux instituts publics tendent à se comporter comme des entreprises privées : dépôt de brevets pour les innovations, vente de licences et com mercialisation de produits, etc. Les indicateurs d'activités des centres de recherche et des universités dans le cadre des interventions structurelles doivent donc inclure les produits les plus industriels et commerciaux de la recherche du secteur public. Evaluer les impacts dans le domaine de la RDT A titre d'exemple, un système d'indicateurs pouvant être utilisé pour suivre la production d'Impacts découlant d'une mesure d'aide financière et infor mationnelle pour l'acquisition de technologie par les PME est présenté à l'Encadré 34. Encadré 34 - Exemple de système d'indicateurs pour une mesure d'aide financière et à l'information pour l'acquisition de technologie par les PME Indicateurs de programme (associés à l'intervention et à ses effets) Indicateurs de contexte (associés à la zone aidée) Indicateurs de réalisation Activité des opérateurs Nombre de destinataires Nombre de contacts entre les opérateurs et les entreprises cherchant une aide à l'acquisition de technologie Nombre de sessions de conseil organisées avec des experts en acquisition de technologie Nombre de PME recevant une aide Volume de services techniques fournis Heures de services de conseil et de formation dispensées Indicateurs de result at Satisfaction Effet de levier Indicateurs d'impact Transfert de technologie interne Transfert de technologie externe Acquisition de technologie Impact économique Valeur ajoutée Emploi % de destinataires satisfaits ou très satisfaits par le service Investissement dans la RDT orientée vers l'acquisition par des entreprises bénéficiant d'une aide financière Rapport entre Dépenses Intérieures Brutes et Dépenses Privées de Recherche et Développement Nombre d'accors de collaboration entre des instituts de recherche et des entreprises aidées après un an Nombre d'entreprises aidées achetant des brevets ou des licences ou enga geant une collaboration de R&D avec des entreprises étrangères après un an Nombre de nouveaux produits ou pro cédés intégrant la technologie acquise commercialisés par des entreprises aidées après un an % de dirigeants d'entreprises destinataires déclarant que l'intervention a réduit les contraintes pesant sur l'accès à la technologie % de dirigeants régionaux déclarant que l'accès aux nouvelles technologies constitue une contrainte importante Valeur ajoutée générée après un/trois ans en euro / an Valeur ajoutée générée dans la région par les PME Emploi net créé après un/trois ans (dont l'emploi des femmes) Nombre total d'emplois dans les PME (Emplois temps plein dont nombre occupé par des femmes) Source : Volume 2 de la Collection MEANS Evaluation transversale des impacts sur les priorités d'intervention Les indicateurs ci-dessus s'Intéressent à la quantification des réalisations, des résultats et des impacts. Il est également utile de disposer d'informa tions qualitatives sur les effets des interventions, telles que, par exemple, des données sur le nombre de projets de collaboration entre instituts de recherche et entreprises ou sur le nombre d'innovations qui en découlent pouvant être enrichies par une information qualitative sur la collaboration. Mais, dans la mesure où ce type de collaboration a pour but d'améliorer la compétitivité des entreprises participantes, les procédures standard d'éva luation par les pairs ou de panels d'experts utilisées pour l'évaluation des instituts de recherche publics ne sont pas particulièrement adaptées à ce contexte, et ce pour des raisons de confidentialité commerciale. Il est toutefois possible de demander aux partenaires d'évaluer la qualité de leur collaboration. L'Encadré 35 ci-dessous présente un système de notation pouvant être utilisé pour mesurer la qualité de cette collaboration. Encadré 35 - Exemple de questionnaire pour une action recherche réalisée en collaboration Evaluation de : • La pertinence stratégique de l'activité de recherche commune pour vos activités commerciales 0 12 3 4 • La qualité de la recherche dans le cadre du projet 0 12 3 4 • La qualité de la contribution de votre (vos) partenaire(s) 0 12 4 3 • L'importance des connaissances acquises dans le cadre du partenariat 0 12 3 4 Légende : 0 - Très mauvais ; 1 - Mauvais ; 2 - Faible ; 3 - Bon ; 4 - Excellent Evaluer les impacts dans le domaine de la RDT ■ Sources d'information a d a p t é es Lors de l'évaluation d'interventions de RDT dans le cadre des Fonds structu rels, ¡I est important de ne pas oublier que les outils utilisés doivent permettre d'examiner des phénomènes complexes de façon détaillée. Il faut également garder présent à l'esprit que les données de suivi disponibles au niveau régional sont souvent inégales, et que la collecte des données primaires pourra constituer, dans certaines régions, une partie coûteuse et longue de l'évaluation Bien que l'évaluation des interventions de RDT soit susceptible de dépendre en grande partie de données primaires, il existe tout de même des bases de données statistiques pertinentes pour le niveau des entreprises. Des enquêtes s'intéressent directement aux innovations ou aux activités innovantes des entreprises. Dans le premier cas, les enquêtes collectent des données sur les Innovations jugées significatives d'un point de vue techno logique ou économique. Dans le deuxième cas, l'enquête tient compte des entreprises qu'elles soient innovantes ou non, ainsi que des utilisateurs des innovations, ce qui permet l'examen des freins à l'innovation, ainsi que de l'existence et de l'intensité des liens utilisateursproducteurs. Au niveau de l'entreprise, les données sur les brevets informent sur la classi fication technologique de l'innovation. A la différence des données collec tées par les enquêtes, les données de brevets sont disponibles sur une longue période. Les brevets enregistrés par le Bureau européen des brevets sont disponibles sur leur base de données qui est opérationnelle depuis 1978. Des données sont généralement disponibles au niveau national (par exemple, l'Observatoire des Sciences et des Techniques établit un rapport annuel sur les indicateurs de science et de technologie en France) et l'OCDE publie chaque année des statistiques sur les dépenses en matière de R&D. Des statistiques relativement à jour sur la RDT européenne, convenant à la construction d'indicateurs de contexte, peuvent être tirées des publications annuelles d'EUROSTAT qui regroupent des données sur le personnel de R&D, les dépenses de R&D et les applications de brevets ventilés par région, ainsi que les affectations de budgets gouvernementaux de R&D. Cette source donne également des estimations sur la période actuelle basées sur les données en cours de traitement. Evaluation transversale des impacts sur les priorités d'intervention ■ Outils adaptés à l'évaluation des interventions structurelles dans le domaine de la RDT Un certain nombre d'outils particulièrement bien adaptés à l'évaluation des impacts sur la RTD sont présentés ciaprès (pour plus de détail, voir le Volume 3 de la Collection). La détermination de l'impact d'interventions de RDT peut se faire à l'aide de l'approche « pas à pas » présentée dans la partie IV de ce Volume. Une certaine expérience a déjà été acquise dans ce domaine, et pour une analyse plus approfondie des impacts de RDT, on dispose d'une expérience déjà significative et des outils classiques pour ce type d'évaluation ont fait leur preuve, tels que les panels d'experts et les indicateurs bibliométriques. Toutefois, l'évolution de la nature des interventions qui visent à créer des « opportunités » d'innovation face à de meilleures conditions d'apprentis sage et à la constitution de partenariats et de réseaux impose trois défis majeurs dans le domaine de l'évaluation de la RDT. Premièrement, on ne peut plus réduire les effets des interventions de RDT à de simples variables monétaires, ce qui signifie que des outils tels que l'analyse coûtefficacité ou des analyses basées sur le retour sur investisse ment sont sujettes à caution. Cette dernière technique est limitée à l'analyse des retours privés sur les dépenses de RDT, elle estime donc sensiblement les retours totaux, dans la mesure où une grande partie de ces retours sont des retours sociaux générés par les retombées et les effets externes de la RDT (c'est à dire les effets, positifs ou négatifs, réalisés dans une certaine mesure par des mécanismes non commerciaux et qui ne sont donc pas plei nement pris en compte dans le système de prix). Deuxièmement, à cause de la complexité de la chaîne de causalité entre les activités de RDT et leurs effets socioéconomiques, il convient d'accorder une plus grande importance à une étude qualitative approfondie des processus de changement. Troisièmement, la reconnaissance des effets de la RDT sur les performances des entreprises exige que les évaluations adoptent une approche plus large que l'examen projet par projet des inter ventions. Enfin, la nécessité de prendre pleinement en compte les objectifs spatiaux des interventions structurelles suppose de trouver une alternative aux outils classiques d'évaluation de la RDT. Malheureusement, les expé riences d'évaluation pertinentes sont peu nombreuses. En utilisant des questionnaires soigneusement adaptés aux caractéristiques de la population concernée, relativement simples, clairement structurés et conçus pour couvrir les thèmes de RDT en fonction de leur importance pour Evaluer les impacts dans le domaine de la RDT la ou les régions étudiées, les évaluateurs peuvent brosser un tableau du système d'innovation incluant : le type et la portée des interventions, la façon dont elles sont mises en œuvre, la nature et la portée de la RDT indus trielle, l'effet des interventions sur les politiques régionales de RDT et l'orga nisation des activités de RDT. Les enquêtes par questionnaires peuvent donc compléter les informations sur l'utilisation des ressources, les enjeux d'organisation et de gestion ainsi que sur l'efficacité des instruments et des mécanismes. Elles doivent toutefois se concentrer dans une large mesure sur la fourniture de données quantitatives sur les réalisations et les résultats des interventions. L'expérience de l'initiative communautaire EUREKA a révélé que les ques tionnaires seuls ne peuvent pas saisir la richesse et la complexité des effets socio-économiques découlant des interventions de RDT. En outre, l'expé rience de la Norvège a montré qu'il faudra peut-être plus de dix ans pour mettre en évidence des impacts tels que les ventes supplémentaires, les gains de productivité, les avantages du travail en réseaux. Les question naires doivent donc être complétés par des entretiens individuels avec des personnes clés dans le domaine de la RDT, centrés à la fois sur les impacts réels et prévus. Les personnes interrogées seront sélectionnées parmi les acteurs des programmes : financeurs des programmes au niveau régional ou local, universités, etc. Plus important encore, on interrogera des destina taires tels que centres de recherche, PME et grandes entreprises, impliqués dans les programmes, ainsi que des entreprises qui ne sont pas directement concernées (telles que des entreprises achetant de nouveaux procédés au lieu de les développer elles-mêmes). Les panels d'experts peuvent être utilisés pour évaluer les interventions ciblées sur la recherche publique. Toutefois, le secret étant un élément essentiel permettant aux entreprises de conserver leur avantage en matière d'innovation, l'utilisation de ces panels est limitée quand il s'agit d'évaluer les activités de recherche du secteur privé ou en collaboration entre le privé et le public. Ces panels sont par contre très utiles pour les évaluations quick and dirty, le cas échéant. Différentes études de cas soigneusement sélectionnées peuvent être utilisées pour une analyse approfondie et une comparaison de mesures indi viduelles. Ces études de cas peuvent être centrées sur des projets de qualité exceptionnelle dans le domaine de la promotion des capacités de RDT. Cette option peut se justifier si l'on souhaite examiner les changements Evaluation transversale des impacts sur les priorités d'intervention internes (par exemple la mise en place d'un département de RDT) ou externes (par exemple les liens entre entreprises ou entre entreprises et centres de recherche). Elles peuvent également couvrir une région entière afin de mieux apprécier à la fois le fonctionnement des systèmes régionaux d'innovation et la durabilité à long terme du développement d'une région. Dans ce cas, elles peuvent s'intéresser à la compétitivité, au développement économique et à l'emploi, en se centrant sur la demande de RDT. Les études de cas doivent être conçues dans une optique d'extrapolation, de regroupe ment et de comparaison. ■ R é s u mé des points essentiels La RDT, particulièrement au niveau de l'industrie, est reconnue comme un préalable essentiel au développement économique durable. Cette recon naissance a entraîné une importante augmentation des dépenses structu relles dans ce domaine, accompagnée d'une réorientation des interventions vers le développement technologique en aval. Lors de l'estimation des impacts nets des interventions, il convient de tenir compte, outre de l'effet d'aubaine, de l'additionnante des dépenses structu relles qui constitue un facteur important. La détermination de l'effet de levier représente également un élément non négligeable de l'appréciation de l'impact des interventions dans le domaine de la RDT. L'évaluation des interventions de RDT pose des problèmes particuliers associés à la nature intangible de nombreux impacts spécifiques et au fait que les impacts socioéconomiques apparaissent à long terme. De plus, l'accent mis sur le rôle de la RDT du secteur privé et la nécessité d'évaluer au niveau non des projets mais du programme, signifient que les panels d'experts, qui constituent l'outil bien établi de l'évaluation de la RDT, ne peuvent être utilisés que de façon limitée. ■ Pour en savoir plus. Archibugi D. and Pianta M. (1996), "Innovation surveys and patents as tech nology indicators: the state of the art" in: Innovation, Patents and Technolo gical Strategies. Paris : OCDE. Commission européenne (1998), 2" Rapport européen sur les indicateurs scientifiques et technologiques 1998, Luxembourg: Office des publications officielles des Communautés européennes. Evaluer les impacts dans le domaine de la RDT Commission européenne (1999), Impact of Structural Funds (1994-1999) on Research Technology Development and Innovation (RTDI) in Objective 1 and 6Regions, Commission européenne, DG XVI. Eurostat (1997), R&D Annual Statistics 1997. Luxembourg: Eurostat. Georghlou L. (1998), "Issues in the Evaluation of Innovation and Technology Policy", Evaluation, Vol 4(1), 37-51. Lundvall B. -A. (ed. ) (1992), National Systems of Innovation: Towards a Theory of Innovation and Interactive Learning. Londres : Pinter. OCDE. (1994), The Measurement of Scientific and Technological Activities: Proposed Standard Practice for Surveys of Research and Experimental Development - Frascati Manual 1993. Paris : OCDE. OCDE. (1998), Policy Evaluation in Innovation and Technology: Towards Best Practices, OECD Proceedings, OCDE : Paris. OST. (1996), Science & Technologie : Indicateurs 1996. Paris : Economica. Evaluer les impacts découlant d'interventions dans les domaines des transports, des télécommunications et du tourisme Relativement peu d'évaluations transnationales thématiques ont été réalisées à ce jour dans le domaine des transports, des télécommunications et du tourisme. L'expérience existante se caractérise à la fois par un aspect transnational limité et par une conception de l'évaluation essentiellement « de haut en bas ». Le présent chapitre a pour ambition de tirer parti de l'ex périence acquise et de la compléter avec certains aspects à prendre en compte lors de l'évaluation d'interventions dans ces domaines. ■ Transports et t é l é c o m m u n i c a t i o ns • Interventions structurelles dans le domaine des transports Les interventions structurelles dans le domaine des transports s'inscrivent dans une politique communautaire des transports plus large, qui comprend également un financement de la BEI et l'initiative Réseaux transeuropéens (TEN). Outre ces instruments essentiellement centrés sur le financement de projets d'infrastructures de transport, il existe désormais un cadre législatif important, orienté vers l'harmonisation et la libéralisation des conditions de marché au sein de secteurs particuliers des transports. Les projets d'infrastructures de transport sont financés au moyen de sub ventions et de prêts affectés en fonction de l'évaluation exacte de chaque projet et de la stratégie de développement régional. Pour les pays concernés par le Fonds de cohésion, à la fols d'un point de vue physique et financier, la planification et le financement d'infrastructures de transport font partie des secteurs les plus importants de la politique de l'Union euro péenne. Les investissements dans les infrastructures de transport sont conçus pour agir sur la cohésion socioéconomique selon les deux axes suivants : • Eliminer les goulots d'étranglement et réduire les temps de déplacement pour baisser les coûts et les contraintes de transport pour l'industrie (transport des matières premières, des produits semifinis et finis, etc. ) et améliorer la productivité économique (en rendant possible de nouvelles techniques d'organisation, telles que le fonctionnement en «juste à temps ») ; • Augmenter l'accessibilité et la mobilité entre régions pour réduire les handicaps liés à une situation périphérique. Evaluation transversale des impacts sur les priorités d'intervention On considère le plus souvent que les améliorations des transports et, en particulier, des infrastructures de transport, favorisent le développement économique et réduit les disparités entre régions. Cette hypothèse est toutefois sujette à caution, certains estimant en effet qu'une meilleure Infra structure peut, dans certains cas, aggraver les disparités, au moins à court terme, en ouvrant la région aux importations provenant de régions à plus faible coût. Outre cet effet indésirable possible, les interventions dans le cadre de l'initiative des réseaux transeuropéens (TEN), qui représente la majorité des investissements dans ce domaine, n'ont pas un objectif de cohésion mais d'amélioration de la compétitivité globale de l'Union euro péenne dans son ensemble. Les interventions de ce type peuvent donc avoir des effets positifs plus importants dans les pays qui ne sont pas concernés par l'effort de cohésion, qui bénéficient de l'essentiel des inves tissements dans les projets TEN et sont plus favorisés en termes d'accessi bilité par leur position géographique. On considère toutefois que le rôle de la Communauté en matière d'identification, de planification et de cofinance- ment des TEN est un contrepoids important au parti pris national de la plupart des projets d'infrastructure de transport. Certains auteurs considèrent que l'amélioration de l'infrastructure peut avoir un effet inverse de celui recherché en attirant les personnes et les entre prises vers les pôles d'activité les plus dynamiques, aux dépens de la cohésion. Cependant, ce risque ne doit pas être surestimé car à moyen et à long terme, on peut prévoir un important rééquilibrage de l'activité, dès lors que les inconvénients des grandes agglomérations (loyers commerciaux élevés, pollution, encombrements, etc. ) commencent à peser plus lourd que les avantages de la concentration. Outre l'amélioration et la construction d'infrastructures, l'accent est mis, de plus en plus, sur une utilisation plus rentable de l'infrastructure existante, en utilisant des solutions de haute-technologie pour résoudre des problèmes d'encombrements routiers et des problèmes d'environnement liés aux transports (par exemple des technologies avancées de télématique appli quées au transport). L'effet de ce développement sur la cohésion pourrait être moins élevé que ce qui avait été escompté, étant donné que ce type de solution semble plus adapté aux zones développées qu'aux zones périphé riques de la Communauté. L'offre d'infrastructures de transport peut également avoir des effets de déplacement des problèmes tels que les encombrements routiers, la demande d'espace routier semblant avoir une certaine tendance à toujours Evaluer les impacts dans les domaines des transports, dépasser l'offre. La pollution atmosphérique et sonore générée par l'utilisa tion des infrastructures doit faire l'objet d'une attention particulière pour éviter une dégradation de la qualité de la vie. L'évaluation des effets des interventions dans ce domaine dépendra de la façon d'appréhender la contribution des transports à l'économie. Cette contribution se traduit en grande partie par une réduction des coûts et des contraintes pour les entreprises et les personnes. Elle présente également un aspect qualitatif important, notamment en termes de sécurité et d'environnement. • Interventions structurelles dans le domaine des télécommunications Le passage d'une économie Industrielle à une économie de services basée sur l'information offre de nombreuses opportunités aux régions les plus excentrées, dans la mesure où il réduit les effets de l'éloignement géogra phique sur l'activité économique. La capacité à bénéficier de ces opportuni tés dépend toutefois du niveau d'équipement de ces réglons en Infrastruc tures et services de télécommunications. Compte tenu des avancées technologiques, qui font que les télécommuni cations et la technologie de l'Information sont de plus en plus indiscernables et que les monopoles nationaux des télécommunications disparaissent, l'Union européenne a joué deux rôles : • premièrement, elle a mis en place un cadre commun pour la libéralisation du secteur européen des télécommunications, à l'intérieur duquel les Etats membres réglementent leurs industries des télécommunications ; • deuxièmement, elle a promu une RDT des télécommunications en collabo ration et a aidé la modernisation des infrastructures correspondantes. Les effets des politiques de libéralisation dans le domaine des télécommuni cations vont générer une amélioration globale de la qualité du service et de la rentabilité. Il est toutefois probable que leurs effets à court terme accentuent les problèmes de cohésion. Les effets immédiats seront une réduction des coûts pour les gros consommateurs de services de télécommunications dans les régions les plus développées étant donné que le financement des interrup tions de services et les tarifs sont rééquilibrés pour refléter la réalité des coûts. Pour les consommateurs des régions les plus périphériques, ce processus peut entraîner une augmentation des coûts. Il est probable que les impacts positifs importants dans ces régions apparaîtront à moyen ou à long terme, lorsque les avantages de la localisation dans les régions moins centrales dépasseront les avantages de regroupement des réglons plus centrales. Evaluation transversale des impacts sur les priorités d'intervention Le changement structurel généré par les avancées technologiques dans le domaine des télécommunications n'affecte pas uniquement les institutions et les organisations, mais également le mode de vie de tout un chacun. L'expres sion « Société de l'information » recouvre désormais les aspects généraux de cette évolution. Le télétravail joue un rôle de plus en plus important dans cette « Société de l'information », en permettant aux employés et aux travailleurs indépendants de travailler dans des sites distants en utilisant le réseau de télé communications pour recevoir et transmettre des données, commercialiser leurs produits, rechercher leurs clients, etc. Un Intérêt plus marqué pour ces aspects généraux a conduit l'Union euro péenne à jouer un rôle de premier plan dans ce domaine. Les infrastructures et les services sont toutefois essentiellement financés par le secteur privé et les dépenses des Fonds structurels restent très modestes, puisqu'elles représentent moins de 3% des investissements totaux dans les télécommu nications. Dans les régions les moins développées, cependant, elles ont joué un rôle important dans le développement de réseaux modernes de télé communications. En ce qui concerne les réseaux transeuropéens de télécommunications, le rôle de la Commission est de partager le risque financier en fournissant une aide aux projets économiquement avantageux, présentant un intérêt général mais risqués ou inadaptés en termes de rentabilité financière. L'aide est dispensée au moyen de différents instruments : • cofinancement d'études de faisabilité et d'autres mesures techniques ; • taux d'intérêt bonifiés ; • ou encore contributions aux garanties de prêts. • Quelques questions clés pour les évaluations dans les domaines des transports et des télécommunications Une grande proportion des dépenses structurelles dans ces deux domaines a surtout été concentrée sur des mesures d'aide à des projets d'infrastruc ture, en particulier pour les transports. S'il est probable que cette situation perdure dans un avenir proche, l'intérêt croissant pour le développement de solutions de transport « logicielles » et d'applications de Technologies d'in formation et de communications (TIC) signifie que les évaluations devront de plus en pi us tenir compte des effets les moins tangibles. Ces deux domaines ont également fait l'objet de politiques de déréglementation qui ont ou vont avoir d'Importantes répercussions structurelles. L'identification des syner gies (négatives ou positives) entre les politiques de libéralisation et les Evaluer les impacts dans les domaines des transports, cadres réglementaires et les interventions aux objectifs de cohésion expli cites représente un enjeu important pour l'évaluation. Les effets des projets d'infrastructures sur l'accessibilité des réglons périphériques sont un autre aspect, à prendre en compte pour l'analyse des répercussions sur la cohésion. Les projets d'infrastructures sont généralement importants et peu nom breux. Ce sont soit des projets de construction ou de modernisation soit des nœuds (ports, centraux multimodaux, centraux téléphoniques), soit d'une liaison entre différents nœuds (routes, chemin de fer, câbles, gazoducs etc. ). On peut établir l'importance relative de différents projets d'infrastructures avant de sélectionner un certain nombre d'entre eux pour une analyse plus détaillée (à des fins d'évaluation intermédiaire ou ex post) en les classant par importance de l'intervention en termes budgétaires. L'importance des projets TEN, par exemple, est reflétée par un système de classement qui identifie les projets prioritaires et d'autres projets en fonction de leur taille. Toutefois, cette approche n'est pas nécessairement suffisante pour appréhender toute l'im portance d'un projet. D'autres facteurs peuvent être pris en compte pour le classement de projets, tels que les avantages sociaux et financiers du projet ou la participation du secteur privé. Etant donné que chaque projet est une composante d'un système, il est également important d'examiner leur impor tance stratégique dans le système lui-même. Pour cela, ¡I faut examiner l'im portance de l'axe dans lequel se situe le projet, par rapport à d'autres axes de la région. De même, il peut être souhaitable de classer les nœuds en fonction de leur importance stratégique dans le système. Les interventions en matière d'infrastructure de transports se situent au début d'une longue chaîne de causalité. Compte tenu de la distance entre une intervention et ses impacts socio-économiques éventuels (c'est-à-dire au niveau de l'emploi et de croissance du PNB), il est difficile d'établir des liens de causalité clairement définis entre ce type de projet (c'est-à-dire les réalisations d'une intervention) et les changements globaux. Les évaluations doivent donc se concentrer sur le suivi des réalisations, des résultats et des impacts spécifiques des interventions. De plus, parce que les effets sur la cohésion à moyen ou à long terme des projets d'Infrastructure peuvent, dans une certaine mesure, contredire les effets à court terme, les prix relatifs peuvent devenir favorables en dehors des pôles d'activités centraux. Le choix de la durée de l'évaluation est d'une importance cruciale si l'on souhaite observer la totalité des impacts d'une intervention. Evaluation transversale des impacts sur les priorités d'intervention Les projeis d'infrastructure subventionnés entraînent non seulement des effets directs mais aussi des effets indirects ou induits car ils réduisent les contraintes pesant sur l'activité économique des destinataires indirects. De cette manière, ils peuvent entraîner des effets d'offre en rendant les struc tures productives plus efficientes (par exemple, en réduisant les délais de livraison) et en réduisant les coûts (en réduisant les distances, les temps de transport etc. ). Ils stimulent aussi la demande (effets de demande) en mobili sant les ressources humaines et matérielles pendant toute la durée de la construction. Le Volume 2 de la Collection MEANS contient une fiche d'information consacrée aux indicateurs dans le domaine des infrastructures de transport. A titre d'exemple, l'Encadré 36 présente un système d'Indicateurs pouvant être utilisé pour suivre la production d'impacts découlant d'un projet d'amé lioration de ligne ferroviaire. Encadré 36 - Exemple de système d'indicateurs pour l'amélioration d'une ligne ferroviaire pour des activités de fret Indicateurs de programme (associés à l'intervention et à ses effets) Indicateurs de contexte (associés à la zone aidée) Indicateurs de réalisation Progression Quantité Qualité Conformité au calendrier du projet Taux de réalisation Nombre de km améliorés % de ligne permettant des vitesses au moins égales à une valeur de seuil souhaitée (100 km / h) % de longueur de ligne acceptant des trains de charge standard maximum Indicateurs de résultat Vitesse Vitesse commerciale type des trains de marchandise sur cette ligne Vitesse moyenne sur les lignes régionales Indicateurs d'impact Intensité du trafic Système de transport Effet économique indirect Intensité du trafic de marchandises sur la ligne (Tonnes / an) après un an Intensité du trafic de et vers la région (Tonnes / an) Intensité du trafic de marchandise utilisant la nouvelle infrastructure au lieu du réseau routier (Tonnes / an) Distribution du trafic dans la région (Tonnes / an) % de chefs d'entreprises régionaux déclarant que l'accessibilité du fret ferroviaire constitue une contrainte majeure Source : Volume 2 de la Collection MEANS Evaluer les impacts dans les domaines des transports, Dans le cas d'Infrastructures de télécommunications, l'évaluation au niveau des impacts sera normalement centrée sur l'augmentation de l'utilisation (c'est à dire le taux de pénétration, les changements du trafic téléphonique, etc. ) des téléservices et des équipements par les entreprises et les particu liers imputables aux améliorations du réseau. Les services de télécommuni cations aidés par les Interventions structurelles, quant à eux, sont plutôt de nature expérimentale (aide à la mise en place d'un centre de télétravail, aide à des services de formation en ligne, etc. ). Cela signifie qu'il est aussi important d'évaluer la survie des projets que de rechercher leurs éventuels Impacts socio-économiques. Le Volume 2 de la Collection MEANS contient une fiche d'information consacrée aux indicateurs dans le domaine des télécommunications. Cependant, un exemple de système d'Indicateurs pouvant être utilisé pour suivre les impacts produits par la mise en place d'un réseau hybride fibre et coaxial (HFC) à large bande est présenté dans l'Encadré 37. Les acteurs principaux dans le domaine des télécommunications appartien nent au secteur privé et certains projets rentables auraient pu être financés Encadré 37 - Exemple de système d'indicateurs pour la mise en place d'un réseau hybride fibre et coaxial (HFC) à large bande Indicateurs de contexte (associés à la zone assistée Indicateurs de programme (associés à l'intervention et à ses effets) Indicateurs de réalisation Progression Quantité Conformité au calendrier du projet Taux de réalisation Nombre de km de HFC mis en place Nombre de bâtiments/appartements desservis Indicateurs de résultat Performances du réseau Services fournis Amélioration du débit binaire Nombre de défaillances du réseau Nombre de services Nombre de chaînes de TV Nombre d'heures de programme fournies (via le réseau) % de km de HFC dans le réseau total (dans la région considérée) % de bâtiments/appartements traversés Indicateurs d'impact Connexions Nombre de foyers ayant connecté leurs équipements (TV, PC) au réseau HFC (après 6 mois) Croissance de la pénétration des PC et des appareils connectés au câble dans les foyers de la région considérée Utilisation de la TIC Nombre d'abonnements aux services Total des heures de connexion / mois Croissance du taux d'adoption des téléservices des foyers dans la région considérée Source : Volume 2 de la Collection MEANS Evaluation transversale des impacts sur les priorités d'intervention exclusivement par des acteurs privés. Dans le cas d'octroi d'une aide des Fonds structurels, la préoccupation majeure pour l'estimation des effets nets est donc de déterminer l'effet d'aubaine (c'estàdire les investisse ments qui auraient existé en l'absence de l'intervention et leurs effets asgociés). ■ Tourisme • Interventions structurelles en faveur du tourisme L'objectif des interventions dans ce domaine est d'aider la diversification des économies régionales en évitant qu'elles dépendent trop lourdement de l'agriculture et, dans une moindre mesure, des industries en déclin. Si le tourisme peut participer de façon notable à la cohésion socioéconomique, il se caractérise souvent par un certain nombre de problèmes structurels : • la demande touristique est saisonnière, ce qui entraîne une sousutilisation des infrastructures pendant de grandes périodes de l'année et des schémas d'emploi saisonniers précaires ; • la valeur ajoutée générée par les activités touristiques est souvent faible, et leur rentabilité aléatoire : • la qualité des produits est très variable ; • les niveaux de formation sont relativement bas ; • et enfin l'accès aux transports est un facteur limitant du développement touristique. De plus, le développement du tourisme doit être géré de façon à garantir sa durabilité (c'estàdire avec une concentration sur des activités qui ne pro duisent pas d'impacts négatifs sur l'environnement et en atténuant tous les impacts négatifs potentiels). Les interventions dans le domaine du tourisme ont donc essentiellement pour but de résoudre ces problèmes, d'aider la fourniture d'infrastructures, d'élargir la gamme de produits touristiques, etc. Les interventions, telles que l'aide à la construction de centres de conférence, par exemple, peuvent contribuer à réduire le caractère saisonnier du tourisme en assurant la promotion d'un tourisme de conférence effectif tout au long de l'année. De même, le développement de nouvelles attractions peut entraîner une réduction de la pression sur les sites touristiques réputés en pleine saison. Ce type d'intervention a également un impact sur l'accès aux transports (en lissant les périodes de pointe) et sur la qualité et la rentabilité des produits Evaluer les impacts dans les domaines des transports, (par exemple en encourageant les clients exigeant des produits et services de qualité plus élevée). Le tourisme étant une activité employant une main d'œuvre importante et reposant largement sur des produits et services fournis localement, il s'agit d'un domaine où le développement est amplement endogène et avec des effets potentiellement importants sur l'emploi et le niveau de vie et, par conséquent, sur la promotion de la cohésion socio-économique. • Quelques points clés pour les évaluations dans le domaine du tourisme Bien que certaines interventions aident des projets d'infrastructures relative ment importants et visibles, beaucoup d'interventions dans ce domaine sont fragmentées, hétérogènes et relativement réduites (aide à l'amélioration de l'hébergement touristique, aide aux musées, aux écomusées, aux centres de formation, etc. ). Le développement du tourisme repose largement sur des facteurs qualita tifs. La plupart des touristes choisissent librement leur lieu de séjour (ils ne sont pas contraints par des facteurs tels que des nécessités profession nelles ou commerciales), ce qui signifie qu'ils sont très sensibles à la qualité et au prix des produits ou des services qu'ils achètent. Le tourisme est parfois considéré comme « une matière première » dont la variété est insuffi sante et la qualité inégale. Il se caractérise en général par une faible rentabi lité et un emploi de mauvaise qualité, si on le mesure en termes de niveau de formation et de précarité. Les évaluations des interventions visant à aider le développement du tourisme doivent donc prendre en compte ces facteurs qualitatifs. Dans ce domaine, il est fort probable qu'un certain nombre de projets seraient engagés en l'absence d'interventions structurelles (modernisation d'hôtels, terrains de golf, campings, etc. ). Le calcul de l'effet d'aubaine est donc important pour estimer les effets nets. Dans la mesure où l'un des objectifs des interventions dans le'domaine du tourisme est de développer de nouvelles attractions pour réduire la pression sur les sites touristiques très visités en pleine saison, la substitution est souvent l'un des buts des interventions. Comme les touristes ne peuvent visiter qu'un nombre de sites limité pendant un séjour, les sites aidés peuvent être avantagés aux dépens de sites non aidés. Il convient donc d'être conscient des effets de déplace ment possibles. Evaluation transversale des impacts sur les priorités d'intervention A titre d'exemple, un système d'indicateurs de suivi d'impacts d'interventions d'aide à la création d'installations touristiques est présenté à l'Encadré 38. Encadré 38 - Exemple d'aide à la création d'installations touristiques (musées, parcs à thème, etc. ) Indicateurs de programme (associés à l'intervention et à ses effets) Indicateurs de contexte (associés à la zone aidée) Indicateurs de réalisation Activité de l'opérateur Nombre de destinataires Capacité Nombre de contacts avec les destinataires potentiels Nombre d'unités économiques assistées Nombre maximum de visiteurs par jour Indicateurs de résuit at Durée de la visite Temps normalement nécessaire pour la visite (heures) Coût de la visite Coût moyen par visite du site (euro par personne) Indicateurs d'impact Fréquentation Nombre de visiteurs par an pour les sites subventionnés Attrait touristique % de visiteurs provenant d'autres régions Valeur ajoutée Valeur ajoutée générée en euro par an Nombre total de sites touristiques Valeur ajoutée générée dans l'indus trie du tourisme en euro par an Emplois crées Emplois nets créés (dont % occupés par des femmes) Nombre d'emplois dans l'industrie du tourisme Source : Volume 2 de la Collection MEANS Le Volume 2 de la Collection MEANS, consacré aux indicateurs de suivi et d'évaluation, présente de façon plus détaillée les indicateurs associés au tourisme. Evaluer les impacts dans les domaines des transports, ■ Exemples d'outils d'évaluation des interventions structurelles dans les domaines des transports, des télécommunications et du tourisme Les évaluations transnationales dans les domaines des transports et des télécommunications ont souvent utilisé une approche « de haut en bas », reposant largement sur la recherche documentaire et sur des données secondaires complétées d'entretiens avec les acteurs clés, de rapports d'experts et, dans certains cas, d'études de cas ainsi que sur la technique des notations et pondérations. L'objectif de la présente section est de présenter un petit nombre d'exemples d'outils utilisés dans ces domaines dans le cadre d'évaluations thématiques transnationales. Les outils d'évaluation sont traités de façon plus détaillée dans le Volume 3 de la Collection MEANS. • SWOT : exemple de l'aperçu stratégique de questions de transports pour la république d'Irlande L'analyse SWOT (Strengths, Weaknesses, Opportunities and Threats, c'est à dire Forces, faiblesses, opportunités et menaces) est particulièrement utile dans le cadre de l'analyse stratégique effectuée au moment de la concep tion ou de l'évaluation d'un projet d'infrastructure. Sa mise en œuvre implique un certain nombre d'étapes. 1. Repérage des questions et des problèmes clés auxquels une région est confrontée ; 2. Classement des priorités ; 3. Identification des opportunités et des menaces (facteurs extérieurs au projet, à la région, etc. ) ; 4. Identification des forces et des faiblesses (facteurs associés aux caracté ristiques du projet, de la région, etc. ) 5. Synthèse des résultats et analyse de la matrice SWOT ; 6. Formulation des stratégies. Dans cet exemple particulier, une analyse SWOT a été entreprise pour examiner la position de la République d'Irlande dans le domaine des trans ports nationaux et en fonction de son contexte général. L'analyse, basée sur les facteurs résumés dans la matrice cidessous, conclut que la situation générale des transports en République d'Irlande n'est pas adaptée aux besoins. Cette analyse a permis l'élaboration de choix stratégiques visant à éliminer les faiblesses identifiées ou à les compenser en développant des forces identifiées. Evaluation transversale des impacts sur les priorités d'intervention Encadré 39 - Exemple de matrice d'analyse SWOT Forces Faiblesses Base industrielle relativement moderne Tradition d'économie ouverte Main d'oeuvre bien formée Environnement préservé Proximité de la mer Stabilité politique Petitesse, situation périphérique Pauvreté des ressources intérieures Qualité de l'infrastructure intérieure Accès aux transports peu satisfaisant Capacité de financement Chômage, problèmes sociaux Opportunités Menaces SEM - accès à la Grande-Bretagne Rôle d'entrepôt pour les Etats-Unis ? Shannon centre aérien européen ? Adapté au tourisme et aux loisirs Services basés sur les télécommunications Aquaculture, énergie naturelle Le centre de l'Europe se déplace vers l'Est Incertitude des financements futurs de la CE Ecosse et Pays de Galles, après le tunnel sous la Manche Grandes alliances industrielles Instabilité sociale / économique en Europe Emigration de la main d'œuvre • Notations et pondérations : exemple du « Corridor Ranking Framework » (Grèce, Irlande et Portugal) Les notations et pondérations sont souvent utilisées pour l'évaluation ex ante des projets, en utilisant un ensemble standard de critères de sélection et de classement. Il comprend généralement deux étapes : 1. Elimination des projets ne satisfaisant pas aux critères applicables ; 2. Classement des projets retenus en fonction des critères. Dans le cas présenté ici, l'importance relative des axes de transport priori taires dépend des objectifs spécifiques, des interventions d'infrastructures de transports et de leurs contributions à l'objectif global de cohésion socio- économique. Le classement des axes dans cette évaluation sur trois pays a été entrepris en utilisant sept critères, qui ont, eux-mêmes, été classés par ordre d'impor tance. Les critères utilisés étaient les suivants : 1. L'axe assure-t-il des liaisons avec le reste de la Communauté européenne ? 2. L'axe raccorde-t-il des centres urbains importants (plus de 50 000 habitants) ? Evaluer les impacts dans les domaines des transports, 3. L'axe assuretil des liaisons avec des points d'accès extérieurs (aéroports et ports maritimes) ? 4. Le trafic estil élevé sur l'axe, l'axe estil régulièrement saturé, etc. ? 5. L'axe complètetll des itinéraires terrestres et /ou marins ? 6. L'axe facilitetil le trafic international ? 7. L'axe intègretil des régions distantes ou isolées présentant un potentiel de développement ? Dans le cas de l'évaluation du secteur des transports en Grèce, les axes reliant des centres économiques ont été classés en fonction de la liste de critères cidessus, qui reflètent les principales questions relatives aux trans ports (amélioration des connexions avec d'autres pays européens, liaison entre de grands centres urbains, amélioration des liaisons avec les ports, etc. ) La méthode de notation permet de tenir compte de la pertinence du projet et d'indiquer si les critères s'appliquent au projet pleinement, partielle ment ou pas du tout. Les critères sont également classés selon leur impor tance globale. Cette information est présentée sous forme de matrice, dont un extrait est présenté à l'Encadré 40. Encadré 40  Extrait d'ur appliqué à la Grèce << Corridor Ranking Framework » Priorité décroissante 1 Route trans européenne 2 Raccorde ment des centres urbains 3 Relie des points d'accès sur l'extérieur 4 Volumes de circulation 5 Complète des routes terrestres/ marines 6 Facilite le transport international "W 7 Intègre des zones distantes/ isolées • O • O O • • loannina Φ Φ O • • O O • • • O O O O O • o o O O O O O O O • • • ' • Critère pleinement applicable Φ Critère partiellement applicable O Critère non applicable Axes candidats potentiels de déve loppement 1) Athènes  Patras 2) Athènes  Thessalonique 3) Thessalonique Igoumenitsa 4) Corinthe  Kalamata 5) Igoumenitsa  Patras Evaluation transversale des impacts sur les priorités d'intervention Il est important de noter que l'exemple ci-dessus n'est qu'une façon, parmi d'autres, de classer des projets. Un autre ensemble de critères peut refléter d'autres objectifs ou préoccupations telles que : coût total du projet, retour financier, valeur socio-économique, rapport avec les objectifs, effets de levier, durées envisagées, facteurs géopolitiques locaux, sécurité de l'envi ronnement et autres objectifs associés, effets de réseau, etc. • Méthodes d'études de cas : exemples de projets dans le secteur des transports (Irlande) Des études de cas ont été utilisées en Irlande pour obtenir à la fols des données quantitatives et qualitatives sur les impacts économiques de diffé rents projets spécifiques de transports. Des enquêtes auprès des utilisa teurs (entreprises locales, transporteurs) et une analyse coût-efficacité a été utilisée pour renseigner les études de cas. Si les études de cas sélectionnées (une rocade, une autoroute, le dévelop pement d'un aéroport régional et un port maritime) ont fourni des informa tions complétant les données macroéconomiques résultant essentiellement de sources secondaires. Toutefois, leurs contributions à l'évaluation n'ont pas été tout à fait satisfaisantes, car les avantages des projets ont été pris en compte séparément et n'ont donc pas pu être pleinement appréciés, dans la mesure où les projets font partie intégrante d'un système. Pour que les études de cas fournissent une illustration utile des interventions et de leurs effets, des précautions méthodologiques doivent été prises en compte. Premièrement, la procédure de sélection des cas doit être transpa rente et l'importance du cas en fonction des objectifs politiques généraux doit être clarifiée. Deuxièmement, dans le cadre de l'évaluation transnatio nale, la sélection des cas doit permettre le degré de comparabilité le plus élevé possible entre pays et entre régions. Enfin, une étude de cas doit être centrée sur différents projets clés dans une zone géographique circonscrite afin d'examiner les effets externes et les synergies potentielles. • Enquête DELPHI : exemple de prévision du développement des tech nologies télématiques dans les transports La télématique utilisée dans le domaine des transports permet d'optimiser l'utilisation des réseaux par une meilleure information et une meilleure gestion du trafic. Elle représente donc une alternative partielle aux investis sements en infrastructures routières. Dans cet exemple particulier, la Evaluer les impacts dans les domaines des transports, technique DELPHI a été mise en œuvre pour prévoir le niveau d'utilisation probable d'une sélection de technologies télématiques de transport en 2015 dans les villes européennes de taille moyenne. La technique DELPHI permet aux experts de produire collectivement des estimations quantitatives des Impacts potentiels des interventions. L'étude a impliqué initialement 224 experts en technologie télématique avancée (TTA) des transports dans la grande majorité des Etats membres. Elle s'est concentrée sur 18 technologies TTA et sur leur éventuelle adoption d'ici 2015. En participant au processus de consultation, les experts ont pu fournir des informations sur les technologies dont ils estimaient qu'elles seraient probablement adoptées, les facteurs sous-tendant leur adoption et ceux susceptibles de limiter ou de retarder ce processus. Un outil du type « matrice des impacts croisés >> (SMIC), technique apparen tée à DELPHI, a été utilisée en parallèle avec l'étude évoquée ci-dessus. A la différence de DELPHI, cette technique visait à prendre en compte les inter actions entre les événements en affinant les probabilités associées à l'oc currence de développements individuels futurs. Les probabilités résultantes peuvent être utilisées directement dans le processus de planification ou servir de base à des scénarios pouvant ensuite servir à la planification. Cent vingt-six experts ont participé à l'ensemble du processus. Six événe ments possibles ont été identifiés, qui ont été répartis en deux principaux groupes, les événements impliquant l'utilisation de technologies pour réduire les problèmes de transport, d'une part et, d'autre part, les événe ments Impliquant des problèmes ou des répercussions sur le trafic et les transports. Une première étape de l'analyse a évalué la probabilité d'occurrence des six événements pris en compte séparément. Une deuxième étape a examiné la probabilité conditionnelle des événements prévus. Le résultat de l'étude a été un choix de scénarios sélectionnés en fonction de la vraisemblance de leur occurrence. IV Cadres de réalisation des évaluations thématiques Les évaluations thématiques peuvent être réalisées dans le cadre d'un seul programme ou de plusieurs programmes. Au niveau national ou régional, les conclusions peuvent être regroupées et comparées. Au niveau européen, les évaluations doivent être structurées de façon similaire afin de produire des résultats relativement homogènes. Le premier chapitre de cette quatrième partie présente une procédure standardisée qui, tout en étant assez souple pour être adaptée à des situations d'évaluation individuelles, est suffisam ment solide pour garantir que l'objectif sera atteint. Le deuxième chapitre examine dans un premier temps les principes de base de l'évaluation thématique transnationale, différentes questions organisa- tionnelles associées à ce type d'évaluation et la façon de mettre en valeur les meilleures pratiques. Une autre approche possible des évaluations transna tionales consiste à s'éloigner des comparaisons transnationales, essentielle ment basées sur une synthèse de différentes évaluations nationales ou régionales, pour aborder une approche d'évaluation des impacts au niveau multinational ou paneuropéen. Le présent chapitre comporte une discussion du développement futur des évaluations transnationales, en mettant l'accent sur cette nouvelle perspective et conclut avec un aperçu rapide de trois outils d'évaluation adaptés à cette approche. Une démarche « pas à pas » pour une analyse thématique L'approche méthodologique décrite ciaprès propose un modèle pratique pour évaluer, de manière relativement standardisée, les impacts produits dans un domaine particulier ou prioritaire. Le besoin d'une approche standard est particulièrement important dans le cas des politiques structu relles car les programmes doivent être suivis et évalués dans l'ensemble de l'Union européenne et, dans la mesure du possible, les résultats doivent être agrégés. Cette méthode peut être utilisée pour visualiser et spécifier les résultats d'un programme et pour produire une information suffisamment cohérente qui permette aux services de la Commission de synthétiser les données recueillies dans un certain nombre de programmes. ■ Une démarche « pas à pas » pour une évaluation thématique Sur la base des éléments décrits précédemment dans cet ouvrage, il est possible d'établir les différentes étapes nécessaires à une évaluation théma tique au niveau d'un programme. Cette démarche est reprise ciaprès dans l'Encadré 41. Evaluation transversale des impacts sur les priorités d'intervention Encadré 41 - Evaluation transversale : une démarche « pas à pas » pour un programme Etapes Résultats de l'évaluation • Examiner les documents de programmation • Conduire des entretiens auprès des gestionnaires du programme et des parties prenantes • Collecter les données diponibles (séries temporelles, informations de suivi, etc. ) et recenser la documentation existante • Analyser les statistiques disponibles Preparation <1 > Identification de particularités du programme vis à vis de la priorité, des objectifs spécifiques, % de crédits assignés aux mesures spécifiques <2> Appréciation des enjeux importants dans la région au regard de la priorité. Analyse du contexte de référence Information concernant les réalisations et les résultats du programme. • Detailler les effets transversaux du programme au regard de la priorité évaluée conformément à la typologie d'impacts prioritaires • Remplir provisoirement la Matrice d'appréciation thématique (voir Encadré 42) Appréciation stratégique <3> Liste détaillée des effets potentiels organisés selon les critères génériques retenus <4> Classement des mesures par catégorie : effet favorable, défavorable ou neutre Radioscopie du programme • Elaborer une fiche de notation pour les principaux impacts qui apprécient les effets des mesures • Entretien avec les gestionnaires du programme et les parties prenantes <5> <6> 10 à 20 fiches de notation remplies provisoirement pour identifier les mesures intéressantes (cf. Encadré 43) Validation de la sélection des mesures méritant une analyse approfondie Focalisation sur quelques mesures • Collecter et analyser les informations à l'aide de la technique d'étude de cas, des entretiens et/ou des groupes d'entretien <7> Noter les fiches complétées sur la base de l'analyse des mesures sélectionnées Synthèse au niveau du programme • Remplir les tableaux récapitulatifs pour chaque type d'impact • Remplir la Matrice d'appréciation thématique <8> <9> 4 tableaux récapitulatifs permettant d'avoir une vision transversale des impacts (cf. Encadré 45) Vue d'ensemble de la valeur du programme sur la base de la typologie d'impact définie • Examiner les progrès réalisés : les réussites et les faiblesses du programme Conclusions <10> Conclusions utiles pour rendre compte de l'application d'une priorité ou des interven tions dans un domaine • Transmettre les conclusions aux services de la CE dans un format standardisé <11> Vue d'ensemble des progrès réalisés dans l'UE sur la question Une démarche « pas à pas » pour une analyse thématique Dans le cas d'une évaluation ex ante, il est demandé à l'équipe d'évaluation de privilégier les six premières étapes méthodologiques qui correspondent aux trois phases suivantes : la préparation, l'appréciation stratégique et enfin, la radioscopie du programme (la radioscopie implique l'examen de projets et de programmes pour déterminer le degré d'approfondissement qui sera nécessaire). Dans le cas d'une évaluation intermédiaire ou ex post, toutes les étapes sont à suivre. La Matrice d'appréciation thématique (cf. Encadré 42) sera utilisée en premier lieu pour focaliser l'évaluation et en second Heu pour synthétiser les résultats de l'analyse. La plus grande partie du travail qui est recommandé dans cette démarche doit être réalisée dans le cadre de l'évaluation normale d'un programme. Il ne s'agit donc pas nécessairement d'un travail additionnel, dans la mesure où les étapes décrites ne sont pas uniquement destinées à l'appréciation de la priorité communautaire : elles permettent de ne pas oublier, au cours du processus d'évaluation, de produire des résultats sur ce thème. La démarche recommandée n'est ni exhaustive ni exclusive. Elle n'a pas non plus pour objet de s'inscrire dans un cadre rigide. Les évaluateurs ont la tâche de déterminer jusqu'à quel point cette approche est applicable au programme dont ils ont la charge et de la compléter, si nécessaire, avec des commentaires descriptifs et des indicateurs appropriés. Il faut souligner qu'il s'agit là d'une proposition qui ne peut suffire lorsqu'il est question d'évaluer les effets de mesures spécifiques dans un domaine, notamment dans le cas des étapes de radioscopie et de focalisation, pour lesquelles il est nécessaire d'aller au-delà de ce traitement. Il convient dans ces situations-là de développer une méthodologie plus complète que celle qui est présentée ici. La procédure est présentée en détail ci-après. Pour la rendre plus explicite, elle s'appuie sur la priorité de l'égalité des chances entre hommes et femmes. Elle pourra être appliquée aux autres priorités décrites dans les chapitres précédents dans les mêmes conditions et on aura recours pour cela aux typologies d'impacts attendus correspondantes. Evaluation transversale des impacts sur les priorités d'intervention ■ Initier la d é m a r c he (étapes 1 & 2) L'étape <1 > est destinée à s'assurer que les évaluateurs ont une connais sance approfondie du contenu du programme concerné y compris ses objectifs et les informations qui ont été considérées comme pertinentes. On pourra produire un arbre d'objectifs spécifiques mettant en relief la priorité évaluée. Cette étape nécessite de consulter toute la documentation de pro grammation et de réaliser des entretiens avec les gestionnaires. En s'ap puyant sur la typologie d'effets potentiels décrite dans le chapitre précédent sur la promotion de l'égalité des chances, il s'agit : • d'apprécier dans quelle mesure les objectifs retenus intègrent cette priorité et, le cas échéant, sont cohérents avec la politique de l'Union euro péenne en la matière ; de vérifier si la stratégie est pertinente dans cette perspective ; • d'analyser le contenu du programme afin d'apprécier le thème évalué lors de l'étape de la programmation ; de faire une comparaison des allocations financières par mesure, en tenant compte de leur nature spécifique (ciblée) ou générale ; de recenser les publics cibles des différentes interventions pour identifier celles qui visent explicitement la priorité évaluée ; Dans un second temps, il est essentiel de définir les indicateurs de contexte qui mesurent l'ampleur des besoins à satisfaire ou des problèmes à résoudre. Dans le cadre d'une évaluation ex ante, ¡Is aident à montrer la raison d'être des interventions et à éclairer la stratégie à choisir. Ils servent de support à la quantification d'objectifs clairs et réalistes. Dans le cadre de l'évaluation intermédiaire ou ex post, les indicateurs de contexte servent à savoir si l'on a touché une grande partie ou une petite partie dela cible visée, ou encore, si l'on a satisfait une grande ou une petite partie des besoins de la région. Au cours de l'étape <2> on réalisera le diagnostic des problèmes que ren contrent les publics concernés et l'identification des potentialités à dévelop per dans le contexte national ou régional spécifique. On pourra ainsi préparer une liste des principaux enjeux pour la réalisation effective de la priorité qui fait l'objet de l'évaluation. Pour cela il sera nécessaire de rassem bler la littérature et d'avoir accès aux bases de données existantes afin d'analyser le contexte socioéconomique national et régional et plus parti culièrement de repérer les attentes des destinataires potentiels et des prota gonistes politiques, etc. Une démarche « pas à pas » pour une analyse thématique ■ Faire une appréciation stratégique (étapes 3 & 4) L'étape suivante <3> de l'évaluation thématique nécessite une appréciation stratégique des mesures du programme. Cela Implique de classifier chaque mesure en fonction de son impact potentiel sur la priorité évaluée. Il faudra au préalable détailler une typologie des effets escomptés à partir de l'analyse contextuelle précédente, autrement dit, définir les descripteurs d'impacts et les classer (voir Volume 4 de la Collection MEANS). A titre d'exemple, lorsqu'il s'agit d'apprécier la prise en compte du principe de l'égalité des chances entre les hommes et les femmes, les types d'effets à retenir sont : « Cadre de vie qui répond aux besoins des femmes », « Accès des femmes au Marché du travail », « Situation des femmes au travail » et « Participation des femmes à la création d'activités économiques ». La Matrice d'appréciation thématique relative à la contribution des interven tions des programmes structurels aux objectifs liés à la priorité à évaluer (présentée cidessous) peut être remplie, à titre provisoire, au cours de l'étape <4> pour identifier plus rapidement les mesures les plus promet teuses en fonction des effets potentiels. L'application de cette grille sert à classer les interventions selon qu'elles ont un effet favorable, défavorable ou neutre. Ainsi, on pourra repérer les inter ventions pour lesquelles une analyse approfondie des effets les plus signifi catifs mérite d'être réalisée au cours des étapes de radioscopie et de focali sation qui suivent. Enfin, la matrice permet d'identifier les interventions qui négligent les impacts produits dans un domaine donné. Il s'agit d'objectifs mentionnés dans le programme mais dont peu de mesures contribuent à la réalisation. Evaluation transversale des impacts sur les priorités d'intervention Encadré 42 - Matrice d'appréciation thématique : exemple lié au principe de l'égalité des chances Type d'impact attendu / atteint sur le principe de l'égalité des chances Cadre de vie mieux adapté Accès au marché de l'emploi Situation des femmes au travail Participation à la création d'activités socio-économiques Domaine d'intervention (Mesures) Infrastructures Mesure N°: Mesure N°: Ressources humaines Mesure N°: Mesure N°: Environnement productif Mesure N°: Mesure N°: Valeur ajoutée du programme en termes d'égalité des chances Evaluation provi soire des impacts / Effet bénéfique /? Effet bénéfique probable O K Pas d'effet significatif Effet négatif Une démarche « pas à pas » pour une analyse thématique ■ Radioscopie et focalisation (étapes 5, 6 & 7) La phase <5> de repérage et de sélection nécessite la rédaction d'une fiche de notation (cf. Encadré 43) pour chaque mesure identifiée comme ayant un impact potentiel sur la priorité qui est au cœur de l'évaluation thématique. Dans la préparation de ces fiches de notation, il faut bien s'assurer que l'on couvre tous les types d'Impacts suivants : • positifs ou négatifs ; • directs ou indirects ; • temporaires ou permanents ; • court terme ou long terme. Encadré 43  Fiche de notation d'une mesure : un exemple pour évaluer la prise en compte de la priorité égalité des chances Sousprogramme / priorité : Mesure (titre) : Objectif: Budget (% de f nancement par l'UE) : Réalisation : Impact potentiel des Effet bénéfique Effet bénéfique Pas d'effet Effet négatif projets/actions s u r: s i9n i f i c a t if Peu significatif significatif Cadre de vie mieux adapté 0,5 0 * aux besoins des femmes Accès des femmes 1 0,5 0 * au marché de l'emploi Situation des femmes 0,5 K au travail Participation des femmes υ·> à la création d'activités socioéconomiques Total de points i | Si la mesure a un impact direct ou explicite en terme d'égalité des chances, multipliez le score par 1,5 Donnez les détails sur les deux effets les plus significatifs positifs ou négatifs : Evaluation transversale des impacts sur les priorités d'intervention A l'issue de cette étape de repérage et de sélection, il est conseillé aux éva- luateurs de valider les résultats qu'ils ont obtenus au cours des deux premières phases de l'évaluation en faisant des entretiens avec les gestion naires de programmes et les parties prenantes (étape <6>). Ces entretiens permettront notamment de valider le choix des indicateurs clés à renseigner pour obtenir une vision générale de l'application du thème à évaluer. Jusqu'à présent, aucune tentative n'a été faite de mesurer de manière quan titative les changements qui sont intervenus par rapport à la priorité. A ce stade, l'information qui est résumée dans la Matrice d'appréciation théma tique et sur les fiches de notation devrait être complétée par des données sur les indicateurs sélectionnés recueillies par les organismes statistiques compétents. Après lecture des fiches de notation, les mesures les plus susceptibles d'avoir un impact significatif sur la priorité évaluée sont sélectionnées pour être analysées (étape <7>). Cette analyse implique l'examen d'impacts au moyen d'études de cas légères, d'entretiens individuels ou d'entretiens de groupe (voir Encadré 44). Cette technique, basée sur une analyse limitée d'impacts en vue de consolider l'appréciation des impacts faite sur une base stratégique, est connue sous le nom de « focalisation » (scoping). Une démarche « pas à pas » pour une analyse thématique Encadré 44 - Etudes de cas, entretiens individuels et de groupe Les entretiens individuels peuvent être utilisés pour toutes les évaluations où l'Information requise est trop complexe pour être recueillie par l'inter médiaire d'un questionnaire. Les entretiens peuvent être relativement informels et non structurés ou très formalisés et basés sur des questions prédéfinies. Ils sont particulièrement utiles pour décrire de façon exhaus tive les procédures et les processus (par exemple la mise en place d'un programme) et les impacts probables d'une intervention ou les impacts qui sont difficiles à quantifier, tels que les changements de comporte ments ou les impacts intangibles. Les entretiens de groupe peuvent être en grande partie considérés comme un ensemble d'entretiens individuels simultanés. Les entretiens de groupe cherchent activement à saisir la dynamique des interactions entre les participants individuels et à l'intégrer dans l'analyse de questions complexes. L'interaction entre participants est particulière ment utile lorsque des opinions sur une question donnée ne s'expriment pas aisément. La technique peut donc être utilisée pour identifier les besoins d'une région, clarifier les objectifs d'interventions, examiner les impacts de mesures innovantes, centrer ou recentrer la mise en œuvre d'un programme ou interpréter les impacts d'une intervention. Les études de cas sont utilisées pour analyser des cas spécifiques, qui peuvent concerner une entreprise, une zone ou une région entière. Elles peuvent également servir à clarifier les processus de prise de décision. Les entretiens individuels et entretiens de groupe peuvent servir d'outils de collecte de données dans le cadre d'une étude de cas. Les études de cas sont particulièrement utiles pour réaliser des analyses détaillées de processus complexes de mise en œuvre et d'impacts des programmes. Elles sont souvent utilisées pour vérifier des rapports de causalité ou pour contrôler la qualité et valider des mesures d'effets obtenues à l'aide d'autres outils. Cet outil peut également être utilisé lorsqu'il existe très peu d'unités d'analyse, en associant des paires (unités similaires). Ceci implique de trouver deux unités d'observation, l'une étant destinataire d'un programme et l'autre non, qui sont très comparables (par exemple deux PME du même secteur, avec le même nombre d'employés, etc. ) et dans un contexte proche (par exemple dans une région industrielle en déclin où le chômage est élevé, etc. ). L'évolution relative des unités peut dès lors être étudiée pour mettre en évidence les effets de l'intervention évaluée. Evaluation transversale des impacts sur les priorités d'intervention ■ Synthétiser les résultats (étapes 8 & 9) L'analyse par mesure est indispensable pour bâtir l'évaluation d'ensemble du programme. Les résultats de l'évaluation doivent être produits également au niveau du programme, puis aux niveaux supérieurs. Pour apprécier de manière globale les effets des mesures au niveau de chaque programme, il peut être utile (étape <8>) de préparer un tableau récapitulatif comme celui présenté dans l'Encadré 45 pour chacun des quatre principaux types d'impacts sur la question à évaluer qui ont été identifiés comme pertinents dans le cas des interventions structurelles. Ce tableau récapitulatif sera complété avec les éléments suivants : • L'appréciation quantitative fournie par les fiches de notation (colonne à l'extrême droite de la matrice) ; • L'analyse réalisée au cours de la phase de focalisation qui fournit à la fois des données quantitative et qualitative (cellules de la matrice). Encadré 45  Tableau récapitulatif des mesures et de leurs effets. Exemple d'amélioration de l'adaptation du cadre de vie aux besoins des femmes synthèse des effets en terme de cadre de vie mieux adapté aux besoins des femmes Tableau récapitulatif : Mesures ayart un impact significatif Budget (% de financement par l'UE) Réalisations Résultats et impacts directs attendus et/ou produits Impacts attendus et / ou produits N°: (titre) N°: (titre) N°: (titre) N°: (titre) Total de points ou X dans le cas d'un imDact néoatif (sources fiches denotation) A Commentaires d'o dre général pour ce t} pe d'impact : Une démarche « pas à pas » pour une analyse thématique Comme la Commission a besoin d'avoir une vue d'ensemble de l'impact des interventions sur ses politiques prioritaires, il est utile de préparer un résumé très général sur l'Impact (positif et négatif) de chaque programme (<étape 9>). La matrice d'évaluation thématique décrite plus haut peut être utilisée à cette fin (voir encadré ci-après). L'approche matricielle est suffisamment simple (sans être simpliste) pour répondre aux besoins d'ordre pratique. Néanmoins il reste nécessaire d'analyser les indicateurs disponibles, en par ticulier pour ce qui est du contexte. L'approche matricielle permet une standardisation nécessaire pour atteindre une vue d'ensemble au niveau de l'Union européenne. Elle permet de simpli fier une réalité extrêmement complexe et de la présenter sous une forme synthétique et compréhensible au niveau politique. Les étapes clés et les outils d'évaluation qui sont utilisés ci-dessus sont résumés de façon très simplifiée dans l'Encadré 46. SI par exemple, le programme comprend quatre mesures, lors de la phase de radioscopie, la mesure 4 peut être considérée comme stratégiquement peu Importante par rapport au thème évalué, et seulement les mesures 1 et 3 sont sélectionnées pour la phase de focalisation. Les conclusions tirées de l'analyse faite au stade de la focalisation sont ensuite utilisées pour compléter la Matrice d'appréciation thématique. Evaluation transversale des impacts sur les priorités d'intervention Encadré 46  Résumé des étapes clés et des outils d'évaluation Matrice d'appréciation thématique Radiographie Etape <4> et Etape <9> Etapes <5> et <6> Focalisation Etape <7> Mesure 1 2 3 4 V k ) :. Λ ^ 1 3  4  * : i! j Tableau récapitulatif (un par type d'impact) Etape <8> Mesure Ressources Réalisations Résultats Impacts 1 3 ■ Conclure sur les mérites du p r o g r a m me en matière du t h è me évalué (étapes 10 & 11) La conclusion du rapport d'évaluation (étape <10>) comprendra bien évi demment des recommandations pour une meilleure prise en compte du thème évalué dans la formulation des objectifs, la programmation et la sélection des projets. Afin que la priorité soit mieux prise en compte par les décideurs, l'équipe d'évaluation devra faire des efforts significatifs pour : • proposer des dispositifs d'Intervention différents ; • renforcer les mesures les plus prometteuses ; • formuler des recommandations pour valoriser les potentialités propres des publics visés et améliorer leur accès aux ressources du programme. Sur un plan plus technique, des recommandations sont souhaitables pour que les systèmes d'indicateurs de suivi et les statistiques incluent à l'avenir les informations indispensables à une meilleure connaissance de la situation. Enfin dans l'étape <11>, les conclusions obtenues par cette procédure seront suffisamment standardisées pour nourrir les débats et les comparai sons concernant la promotion de l'égalité des chances hommes/femmes (ou d'autres domaines et priorités) au niveau européen. Les évaluations thématiques transnationales ■ Principes de base des évaluations thématiques transnationales Les chapitres précédents ont examiné l'évaluation d'un programme d'un point de vue thématique. Les évaluations au niveau du programme permet tent d'apprécier les interventions à une échelle régionale, voire nationale, elles ne permettent cependant pas d'apprécier directement la valeur ajoutée communautaire ou de formuler Immédiatement des recommandations stra tégiques à l'échelle paneuropéenne. Pour atteindre ces objectifs d'évaluation plus ambitieux, des évaluations thé matiques à un niveau transnational doivent être réalisées. Il est toutefois important de noter que, pour que ce type d'évaluation soit pleinement efficace, la méthodologie utilisée doit aller audelà d'une simple synthèse supranationale des différentes évaluations de programme (Voir Encadré 47, diagramme du haut). L'approche suivie doit être basée sur la collecte, l'analyse et la synthèse de données dans un cadre d'évaluation unique coordonné pour tous les pays impliqués (Cf. Encadré 47, diagramme du bas). Encadré 47  Comparaison des synthèses supranationales des évaluations de programme et d'évaluation transnationale Synthèse supranationale des évaluations (a), (b) et (c) + Evaluation (a) î Programme (a) 1 Evaluation (b) t Programme (b) Y Evaluation (c) t Programme (c) Evaluation transnationale unique ! Proqramme ; (a) Proqramme Programme ι Evaluation transversale des impacts sur les priorités d'intervention ■ Questions organisationnelles L'un des problèmes majeurs de la mise en service d'évaluations transnatio nales thématiques est de savoir comment prendre en compte des contextes nationaux, ou régionaux différents, des spécificités thématiques et les relations entre différents thèmes et domaines. Ces difficultés rendent problé matique la rédaction d'un cahier des charges d'une évaluation de ce type. C'est pour cette raison qu'une première étape essentielle est de mettre en place un comité technique composé de spécialistes du secteur évalué et d'experts nationaux connaissant les contextes socioéconomiques dans lesquels l'évaluation se déroulera. Le Comité technique a pour mission de diriger l'étude de faisabilité réalisée par des consultants dans deux ou trois pays (soigneusement choisis pour leur représentativité et leur pertinence en ce qui concerne le thème de l'éva luation). Cette étude impliquera l'élaboration du document formel de pré évaluation qui traite les questions de priorité, les programmes à évaluer, la durée, le budget et l'évaluabilité des interventions (par exemple, l'évaluation estelle politiquement et techniquement opportune ? Le budget et la durée sontils adaptés, compte tenu des caractéristiques du thème et des connaissances déjà acquises qui peuvent être mobilisées ?). Lors de la conception de l'évaluation, l'équipe doit : 1. Etablir des questions d'évaluation indépendantes des facteurs nationaux et régionaux, uniquement concentrées sur les aspects thématiques de l'éva luation et spécifiquement centrées sur une perspective européenne ; 2. Définir avec précision les critères de sélection des études de cas et de l'échantillonnage, de façon à renforcer la comparabilité en intégrant les facteurs contextuels spécifiques au pays et à la région. 3. Elaborer une grille analytique tenant compte des facteurs concurrents. Ce travail doit ensuite être validé par le Comité technique. Les études de cas doivent être sélectionnées par le Comité technique et validées par les experts nationaux concernés qui jugeront la pertinence des cas sélectionnés. Le nombre d'études de cas réalisées devra être relative ment limité et elles devront être susceptibles d'englober des effets structu rants importants. Ces effets structurants doivent être analysés en fonction d'un contexte qui peut être régional, national, européen ou même internatio nal, en fonction des cas sélectionnés. Les évaluations thématiques transnationales Ce processus produira un document discuté avec les acteurs dotés d'une expérience sectorielle et socioéconomique. Lorsque le rapport d'évaluation définitif est produit, il est important que les Etats membres impliqués dans les évaluations transnationales aient l'oppor tunité de vérifier l'Interprétation des résultats de l'évaluation. ■ Mettre en évidence des exemples de bonne pratique Des évaluations transnationales soigneusement conçues et mises en œuvre peuvent compléter une évaluation d'un programme déjà existant en mettant en relief des exemples de bonnes pratiques et en permettant des transferts d'expériences d'un pays ou d'une région à l'autre. L'objectif de la présente section est de suggérer quelques recommandations pratiques visant à garantir que les évaluations sont pleinement adaptées à cet objectif. Dans la mesure où les programmes communautaires sont à la fols complexes et ouverts, les modalités de mise en œuvre doivent faire l'objet d'un examen attentif dans le cadre de l'évaluation. La recherche d'exemples de bonnes pratiques doit donc inclure non seulement les impacts des pro grammes mais également le processus de mise en œuvre, et doit établir des comparaisons des modalités opérationnelles dans différents pays. Pour trouver des exemples de bonnes pratiques, il est important que les popu lations de destinataires, les unités géographiques (régions, départements, villes, etc. ), les projets ou encore les personnes sélectionnées pour les études de cas soient placés dans des contextes similaires. La situation contextuelle des cas sélectionnés peut être détaillée dans un premier temps par une analyse de type SWOT. Il convient également d'établir des points de comparai son permettant de juger les performances. La technique de l'étalonnage peut être utilisée à cette fin. Le cadre SWOT (Forces, faiblesses, opportunités et menaces) peut être utilisé pour entreprendre une analyse stratégique d'un programme et de la région dans laquelle il est mis en œuvre (facteurs internes), ainsi que sur l'en vironnement politique global (facteurs externes). Cet outil peut être utilisé pour souligner une stratégie de développement économique et est donc particulièrement utile au cours des étapes de conception ex ante d'un programme. Le cadre SWOT peut également être utilisé dans le cadre d'une évaluation à miparcours ou ex post pour identifier les problèmes de compa rabilité en prenant en compte les influences contextuelles. L'Encadré 48 illustre ce principe. Evaluation transversale des impacts sur les priorités d'intervention Encadré 48  Echantillonnage visant à mettre en évidence la meilleure pratique ' Pays 1 PME Mayenne tecnnologie 2 0  50 employés Λ ι Vi e. Pays 2 Pays 3 PME Moyenne technologie 2 0  50 employés L ft PME Moyenne technologie 2 0  50 employés 1 Λ ' » - i 1 ι I e t x e t n o C d. c. b. a 1 t I I I I 1 ■ I I 1 J L I I I I I - ƒ ·· I Echantillon transnational de différentes pratiques dans des contextes comparables Si, par exemple, les PME font l'objet de l'évaluation, l'échantillon transnatio nal doit être construit avec des entreprises qui ont des caractéristiques com parables, telles que PME de 20 à 50 employés dans un secteur de moyenne technologie. De plus, pour renforcer la comparabilité, les entreprises sélec tionnées doivent être issues de contextes similaires. Une comparaison directe est alors possible d'un pays à l'autre L'étalonnage est une comparaison qualitative entre Interventions compa rables en prenant pour référence celle qui est considérée comme un exemple de bonne pratique. Les forces et les faiblesses de l'intervention évaluée sont mises en valeur. Cette technique peut également être utilisée à un niveau plus stratégique pour comparer l'organisation de différents pro grammes. ■ Tendances des évaluations transnationales La pratique et l'expérience de l'évaluation dans le domaine des évaluations thématiques transnationales se sont développées rapidement ces dernières années et une deuxième génération de ce type d'évaluations est apparue qui a eu recours à de nouveaux outils de collecte et de traitement de données (Cf. Encadré 49). Les évaluations thématiques transnationales Encadré 49  Développement d'évaluations transnationales 1° Expérience d'évaluations transnationales • essentiellement basées sur lu recherche documentaire, les données secondaires et les entretiens avec les acteurs clés • notations et pondérations • analyse SWOT • étude de cas de projets Exemples : • Transports • Télécommunications • Tourisme $ 2° Expérience d'évaluations transnationales 1° + outils supplémentaires : • examen pays par pays de la documentation existante • analyse de données secondaires • enquêtes • études de cas régionales et de projets Exemples : • Centre d'information des entreprises • Environnement •RDG •PME $ 3° Expérience d'évaluations transnationales Γ et 2° + outils supplémentaires tels que : • synthèse de recherche • panels d'experts • enquêtes paneuropéennes • études de cas intégrées •autres. Si le type d'évaluation transnationale évoqué cidessus peut mettre en évidence des exemples de bonne pratique, il ne peut pas, en revanche, faire un bilan complet sur les attentes des objectifs à l'échelle européenne. Ce type d'évalua tion doit prendre en compte différents contextes nationaux ou régionaux et procéder par échantillonnage représentatif de l'ensemble des zones éligibles. Seule cette deuxième démarche permettrait d'alimenter la planification straté gique au niveau européen, par exemple, en permettant de dresser un plan cadre pour les réseaux transeuropéens ou pour la production de recommandations et d'orientations adaptées aux conditions paneuropéennes. Outre la gamme d'outils adaptés aux évaluations thématiques présentés sur l'ensemble du présent ouvrage, il existe différents outils plus particulièrement adaptés à l'analyse paneuropéenne. Ces outils sont présentés cidessous. • Analyse économétrique multinationale / multirégionale Lorsque des enquêtes ont été réalisées, les données collectées peuvent être utilisées pour construire une analyse économétrique ad hoc des impacts multinationale ou paneuropéenne. · Les résultats fournis par les différentes analyses peuvent servir à déterminer des coefficients qui sont ensuite utilisés pour faire une projection des Evaluation transversale des impacts sur les priorités d'intervention impacts, soit pour des aspects particuliers d'une intervention, soit pour l'en semble de ces effets prévus. L'utilisation de coefficients exige par ailleurs que les données de suivi fournissent des informations sur les destinataires des interventions et sur la répartition des dépenses, etc. Les impacts peuvent être analysés à la fois en coupe transversale (c'est à dire différentes interventions à un moment donné) et sur la durée (c'est à dire en utilisant des séries temporelles). Pour une bonne fiabilité de cette méthode, il convient de s'assurer que les échantillons ont été définis de façon adéquate. A la différence de la technique d'échantillonnage utilisée dans la perspective d'identification des bonnes pratiques mentionnées précédemment, les échantillons doivent, dans ce cas, être représentatifs de différents contextes nationaux et régionaux. A cette fin, il convient d'utiliser une approche coordonnée impli quant une collecte soigneusement contrôlée des données, pour garantir que le choix des unités d'analyse est conforme au niveau de représentativité recherché. Cette approche est illustrée dans l'Encadré 50, où un échantillon nage attentif permet de constituer un échantillon interrégional sélectionné dans différents contextes. Encadré 50  Echantillonnage visant à effectuer une analyse paneuropéenne P a ys 1 P a ys 2 P a ys 3 PME PME PME Moyenne technologie Moyenne technologie Moyenne technologie 20 ■ 50 employés 20 · 50 employés 20  50 employés e t x e t n o C e a d a c m b a a l I I ' 1 * 1 1 I I 1 I c 1 1 c < , ' ' 1 1 1 1 « > 1 1 1 1 I ' r f · ► · • J Les évaluations thématiques transnationales De plus, il est important de prévoir autant que faire se peut des analyses comparatives avec des pays non européens disposants de politiques simi laires tels que les Etats-Unis, le Canada et l'Australie. • Etudes de cas multiples avec procédure itérative L'étude de cas est un outil utile pour analyser les phénomènes socio-écono miques qui sont difficiles à isoler de leurs contextes. L'unité d'analyse de l'étude de cas peut être un Individu, une organisation, un processus, une industrie, une région, etc. L'unité d'analyse principale (ex : une région) peut en outre contenir des sous-unités d'analyse (ex : entreprises, projets d'infra structures, etc. ) Enfin, les études de cas peuvent être simples ou multiples. Les études de cas multiples avec procédure itérative constituent une solution particulièrement intéressante pour renforcer ou élargir la partie des résultats d'analyse. Ce type d'étude de cas est basé sur des vagues succes sives (généralement deux ou trois) d'études de cas soigneusement choisies pour tester des hypothèses. Selon la conception de l'évaluation, les études de cas produiront : • Des résultats récurrents qui étayent des conclusions d'analyse ; • Des résultats contrastés mais reposant sur des appuis théoriques simi laires (c'est à dire que la théorie est corroborée) ; • Des résultats hétérogènes. Si, toutefois, certains des résultats produits se contredisent d'une façon ou d'une autre, on pourra poursuivre les investigations au moyen d'une deuxième, voire d'une troisième vague d'études de cas c o m me dans l'exemple ci-après. Exemple : Apporter un conseil aux administrations locales Dans une étude conçue pour examiner les tentatives de collaboration entre des uni versités, des groupes de recherche et des représentants officiels de collectivités locales, quatre vagues d'études de cas ont été mises en œuvre (Cf. Encadré 51). L'ar ticulation des propositions soutenues par chacun des groupes a permis de tirer une conclusion générale qui n'était pas évidente au début de l'étude. Un premier groupe de cas étudié a conclu que les universités et les centres de recherche n'étaient pas parvenus à aider les administrations locales. Un deuxième groupe a conclu que ce phénomène ne se limitait pas aux universités mais concernait aussi les autres interve nants auprès des administrations. Un troisième groupe a identifié dans quelles cir constances certaines universités avaient pu développer des relations fructueuses. Enfin, un quatrième groupe a révélé que les administrations locales ont tout de même bénéficié d'une assistance sur les questions de mise en œuvre. La conclusion générale a été que les administrations locales avaient des besoins particuliers en matière de conseils de la part des universités et centres de recherche (conclusion très différente de la première série d'études de cas). Evaluation transversale des impacts sur les priorités d'intervention Encadré 5 1- Exemple d'études de cas multiples avec possibilité de replication (Vague 1) Etudes de cas centrées sur les universités et leurs relations avec les administrations locales (Vague 2) Etudes de cas sur les relations entre des groupes non universitaires et des administrations (Vague 3) Etudes de cas sur les relations entre les universitaires et les organisations autres que les administrations locales (Vague 4) Etudes de cas sur des groupes concernés non seulement par les nouvelles idées, mais par leur mise en œuvre Source : tiré de Yin R. K. (1994), Case Study Research: Design and Methods. London: Sage. • Synthèse de recherches La synthèse de recherches est l'analyse de travaux existants à l'aide d'un ensemble de procédures systématiques ou de techniques de méta-analyse, pour résumer les résultats quantitatifs d'études multiples. Cette technique est basée sur une approche systématique et rigoureuse d'analyse critique des résultats des recherches. A la différence d'une simple analyse bibliogra phique, la synthèse devra examiner les résultats éventuellement contradic toires, voire incohérents. Cette technique présente deux avantages : tout d'abord, en s'appuyant sur de nombreuses études dont on s'est assuré qu'elles sont bien conçues et réalisées, l'analyse obtenue est solide, parce qu'elle repose sur des connais sances robustes. Deuxièmement, si la synthèse de recherche révèle que la base de connaissance existante n'est pas bien fondée, elle permet aux décideurs d'éviter de baser leur politique sur des informations incomplètes Les évaluations thématiques transnationales ou erronées et constitue un fil conducteur pour toute recherche ultérieure. La procédure de réalisation de synthèse de recherche est résumée dans l'Encadré 52. Encadré 52 - Les sept étapes de la synthèse de recherche Etape 1 Sélection des questions à traiter Etape 2 Collecte de tous les documents pertinents et identification des points clés Etape 3 Développement de critères de radioscopie et filtrage des données non pertinentes Etape 4 Développement et mise en œuvre d'évaluations critiques des études Etape 5 Redétermination de l'adéquation de cette technique à la lumière des éléments examinés Etape 6 Synthèse de l'évaluation Etape 7 Rédaction d'un rapport sur les conclusions de la synthèse Conclusion Evaluation transversale des impacts sur les priorités d'intervention Le développement d'évaluations thématiques dans le cadre des Fonds structurels a été déterminé par l'évolution du contexte politique au sein de l'Union européenne. Aussi, l'état de l'art dans ce domaine a d'abord été dominé par l'évaluation des effets d'emploi. Au fil de la décennie, toutefois, les préoccupations en matière d'environnement et d'égalité entre les femmes et les hommes ont progressé dans l'ordre des priorités politiques, progression qui s'est concrétisée par l'amélioration du savoir-faire dans l'évaluation de ces thèmes. Parallèlement à ce processus, le besoin d'établir des comparaisons entre différents programmes et donc de faire des évaluations thématiques trans nationales s'est accru. Toutefois, l'expérience dans le domaine encore récent de l'évaluation est encore relativement limitée. L'évaluation approfondie des impacts sur un thème particulier requiert le recours à un expert spécialiste du domaine. Toutefois, le présent ouvrage repose sur l'hypothèse qu'une compréhension générale de la spécificité d'un domaine est suffisante pour que les unités d'évaluation ou les évalua- teurs conçoivent ou entreprennent une analyse spécifique des impacts dans ce domaine. Partant de ce principe, l'expérience acquise en matière d'éva luation thématique et l'expertise en évaluation ont été associées pour produire cet ouvrage centré sur l'évaluation des impacts des interventions structurelles en fonction des quatre priorités politiques de l'Union euro péenne et des différents domaines d'intervention. Le présent Volume examine l'évaluation des impacts thématiques en mettant l'accent sur les dimensions méthodologiques. Cette approche a été particulièrement fructueuse dans la mesure où elle a permis la construction d'une méthode d'évaluation, la procédure « pas à pas », qui repose sur les pratiques et les outils d'évaluation développés dans les différents cadres thématiques. La technique de la focalisation et de la radioscopie, par exemple, est essentiellement utilisée pour l'évaluation ex ante des impacts environnementaux mais tout à faite pertinente pour d'autres thèmes. Autre exemple de « fertilisation croisée » entre les thèmes : le mainstreaming, qui trouve sa place dans l'approche « pas à pas » avec la fiche de notation. Il s'agit à l'origine d'une stratégie particulière à l'évaluation de l'égalité entre hommes et femmes, mais qui est tout particulièrement adaptée pour l'éva luation des impacts sur les PME par exemple. Au niveau conceptuel, la notion de durabilité peut également être appliquée sur une vaste gamme de thèmes. De même, le concept d'effet de levier peut être appliqué à toutes les Conclusion interventions dont l'objectif est d'encourager le cofinancement par le secteur privé. Les concepts de substitution, de déplacement et d'effet d'aubaine, développés pour l'évaluation des effets d'emploi, sont eux aussi applicables à d'autres thèmes. Enfin, bien qu'une grande partie du présent Volume repose sur l'expérience acquise en matière d'évaluation, des solutions innovantes ont été incluses. Un certain nombre d'outils présentés ¡ci semblent particulièrement adaptés pour développer les futures évaluations des impacts au niveau paneuropéen afin de compléter les travaux actuels visant à identifier les bonnes pratiques par des synthèses globales sur les progrès accomplis en matière de cohésion économique et sociale au sein de l'Union européenne dans son ensemble. Annexes L'annexe 1 contient un index des outils classés en fonction de leur adéqua tion aux différents thèmes sous forme de matrice. L'annexe 2 présente le cahier des charges d'une évaluation de programme comprenant des instructions spécifiques relatives à l'intégration de priorités politiques communautaires : « Evaluation intermédiaire du programme Highlands & Islands de l'Objectif 1 ». L'annexe 3 présente le cahier des charges d'une évaluation thématique transnationale : « Evaluation des actions de RDT dans le cas des Fonds structurels » (1998). L'annexe 4 donne la liste des encadrés. Les documents présentés en annexes 2 et 3 n'ont pas pour but de servir de modèles sur lesquels les cahiers des charges devraient reposer de façon stricte. Ils peuvent, toutefois, guider la mise en forme des cahiers des charges futurs, que les auteurs adapteront aux caractéristiques spécifiques de l'évaluation à réaliser (par exemple en termes de particularités du thème, des outils d'évaluation à sélectionner, des facteurs organisationnels, etc. ). Entretiens Etude de cas Entretien de groupe Question naire enquête SWOT Analyse coûtavan tages Analyse multicritères Notation et pondé ration Radioscopie et focalisation DELPHI Panels d'experts Coefficients multi plicateurs analyse statistique Analyse entrées sorties Modèles macro économique! CD X CD Environne ment Page 54 Page 55 Page 52 PMEs Page 75 Page 78 Page 75 Page 75 Page 77 Crt CD< DJ DJ o" Emploi Page 106 Page 106 Page 108 Page 109 Pagello CD Egalité des chances Page 132 Page 132 Page 129 Page 132 RTD Page 157 Page 157 Page 157 Page 157 Transport  Page 174 Page 171 Page 172 Page 174 CD 3 CD C/> O o Τ! CD C/J DJ en Annexe 2: Extraits d'un cahier des charges d'évaluation d'un programme intégrant des éléments thématiques ■ Evaluation intermédiaire du Programme de l'Objectif 1 des Highlands & Islands Le cahier des charges présente explicitement les exigences d'évaluation des priorités communautaires dans le paragraphe consacré aux « Objectifs spécifiques » de l'évaluation. Examiner chacune des priorités et des mesures, et évaluer si elles sont adaptées à la finalité du programme. Il est Important de tenir compte du nombre de mesures, de leur adéquation et de leur portée, et du maintien de la pertinence des cibles, indicateurs et réalisations. Les recommandations doivent être présentées sous forme d'amendements. L'Annexe A présente, de façon résumée, les questions essentielles identifiées par le partenariat en termes de mise en œuvre du DOCUP par priorité et par mesure. Le rapport final doit aborder chacune de ces questions, sous une forme plus ou moins détaillée selon les cas, et, le cas échéant, fournir des conseils ou des recom mandations pour la mise en œuvre ultérieure du programme. Evaluer les performances au niveau des priorités et des mesures du programme, en Identifiant les causes de variance en termes d'engagement et de dépenses, en tenant compte des facteurs externes et des cofinance ments (expliquer dans quelle mesure ces facteurs peuvent être pris en compte dans la mise en œuvre existante). Examiner la synergie entre les différents Fonds structurels, entre Priorités et entre le DOCUP et les Initiatives communautaires. Commenter et recom mander les liens à l'intérieur du programme et dans quelle mesure les objectifs sont atteints précisément en termes de création d'emploi, de dura bilité de l'environnement et de développement communautaire. Des détails sont donnés sur les questions essentielles concernant les diffé rentes priorités. PRIORITE 1 : SOUTIEN AUX PME • L'équilibre entre les différentes mesures estil adéquat ? • Peuton mieux intégrer les différentes mesures et les différents Fonds ? • Yatil adéquation des cibles par rapport à la stratégie ? Evaluation transversale des impacts sur les priorités d'intervention Mesure 1 : Aide financière à la création d'entreprise et aux PME • Couverture du projet - doit-il est plus centré ? Exige-t-ll une meilleure coor dination ? • Nombre de projets - Portée supérieure ? Capacité supérieure ? • Effet de levier - Faut-il établir des seuils ? • Faut-il une plus grande concentration sectorielle ? Mesure 2 : Aide financière à une Recherche & Développement adaptée aux PME • Pourquoi les PME ne sont-elles pas plus intéressées ? • L'accent doit-il être mis sur le développement de produits nouveaux ? • Comment peut-on rendre la mesure plus attractive ? [etc. ] PRIORITE 3 : RESPECT ET MISE EN VALEUR DE L'ENVIRONNEMENT • Les mesures sont-elles trop contraignantes ou pas assez ? • La portée des mesures est-elle trop limitée ? • Comment obtenir une meilleure Intégration entre les différents Fonds Mesure 1 : Mise en valeur et protection de l'environnement et projets de gestion • La portée de la mesure est-elle suffisante ? • Les cibles choisies sont-elles adéquates ? • Comment ajuster les aides par rapport aux problèmes visés ? Mesure 2 : Contrôle de la pollution, stockage des ordures et développe ment de systèmes recyclage • Comment mieux refléter les responsabilités obligatoires et non obligatoires dans le système ? • Comment renforcer l'encouragement au recyclage ? • Peut-on accroître le caractère innovant des projets ? [ e t c. ] Annexe 3 : Exemple de cahier des charges pour une évaluation thématique transnationale L'évaluation des actions de RDT dans le cadre des Fonds structurels ■ Contexte Présentation du thème, des interventions politiques associées, du contexte et de la raison d'être de l'évaluation. L'importance de la recherche et du développement technologique (RDT) pour l'amélioration de la compétitivité des structures productives à travers l'Innovation de produits et de procédés, notamment par les PME, est reconnue dans le cadre des Fonds structurels. Le premier Plan d'Action pour l'Innovation en Europe a également souligné la nécessité de mobiliser tous les instruments de la Communauté pour encourager la RDT et l'Innovation et, dans ce cadre, de renforcer l'aide des Fonds structurels par d'autres formes d'Intervention, telles que l'article 10 du FEDER et certaines initiatives communautaires (initiatives PME, ADAPT, LEADER II). La création d'une capacité de RDT dans les réglons aidées est une condition nécessaire mais non suffisante de l'amélioration de la compétitivité et des performances économiques de cellesci. L'effort d'investissement dans le secteur de la RDT devrait être associé à la création d'un système d'innova tion plus large, en particulier par l'établissement de liens durables entre le système de RDT et les structures industrielles régionales. Les interventions communautaires en faveur de la RDT et de l'innovation dans le cadre des Fonds structurels permettent de renforcer les capacités des régions aidées et de réduire les écarts technologiques avec les régions les plus développées. La plupart des régions de l'objectif 1 (et dans une moindre mesure, celles de l'objectif 6) sont confrontées à un certain nombre de problèmes liés, en par ticulier, à la concentration des activités de RDT dans les zones les plus déve loppées, au faible degré de participation de l'Industrie et au manque. de res sources humaines. Dans ces régions, la fourniture de moyens et d'équipements et la disponibilité de chercheurs sont des priorités, de même Evaluation transversale des impacts sur les priorités d'intervention que l'application des résultats de la recherche et le transfert d'innovation et de technologie vers les milieux économiques locaux. La plupart des régions de l'Objectif 2, qui sont souvent dotées d'une meilleure capacité de RDT, axent leurs actions sur le développement de segments spécifiques, conformes aux besoins des PME régionales, et notamment sur le transfert de technologie et de savoirfaire aux milieux économiques locaux par des réseaux de coopération régionale et interrégionale. Etant donné la complexité inhérente au développement de politiques de RDT pour ces deux types de zones, il est essentiel de pouvoir comprendre de manière détaillée la situation actuelle des régions afin de mieux définir quelles sont les politiques plus appropriées. Une analyse spécifique menée au niveau régional, en fonction des caractéristiques propres à chaque Objectif, permettrait d'évaluer les niveaux actuels de technologie et d'inno vation et d'identifier les lacunes éventuelles dans le cadre d'une program mation stratégique. En vue de la préparation des interventions structurelles après 1999, la Com mission prépare actuellement une communication sur la RDT et l'innovation. Simultanément, il est envisagé de lancer une vaste étude sur ce thème de manière à nourrir la réflexion et préparer l'avenir. ■ Objectifs de l'évaluation Cette section du document répertorie les questions essentielles que l'éva luation doit aborder. Si ces questions sont évidemment spécifiques au thème à évaluer en ce qui concerne les programmes mis en œuvre et les impacts susceptibles d'être générés, elles seront centrées sur les facteurs clés généralement applicables à l'évaluation d'interventions structurelles :  Impacts à analyser  Efficacité, rendement, pertinence et utilité des interventions  Cohérence et synergies entre les différents niveaux d'intervention (c'est à dire régional, national et européen)  Cohérence et synergies entre les différentes interventions au niveau com munautaire (c'est à dire programmescadres communautaires, programmes des Fonds structurels, Initiatives communautaires, mesures innovantes ou spécifiques)  Orientations futures de la politique Annexes L'étude a pour objectif de fournir une analyse approfondie et systématique de la contribution et de l'incidence des actions des Fonds structurels en faveur de la RDT et de l'Innovation dans les Etats membres et régions de l'Union dans une optique de développement économique. Elle contribue également à établir des lignes directrices pour les Investissements futurs dans ce domaine dans les régions aidées par les Fonds structurels, à la lumière de l'expérience des interventions passées et actuelles. Les questions essentielles sur lesquelles portera l'étude thématique sont les suivantes : (1) Quelle a été l'efficacité des programmes financés par les Fonds structu rels dans la promotion des capacités de RDT ? (2) Dans quelle mesure et par quels mécanismes les programmes des Fonds structurels ontils contribué à renforcer les liens avec les milieux écono miques locaux ? (3) Dans quelle mesure les interventions des Fonds structurels ontelles permis de répondre aux carences de personnel et d'améliorer les niveaux de qualifications dans le domaine de la RDT ? (4) Dans quelle mesure la nouvelle capacité de RDT fournie avec l'aide des Fonds structurels atelle renforcé la compétitivité et amélioré les perfor mances économiques des zones concernées ? (5) Quelle a été l'incidence des CCA et DOCUP sur les politiques natio nales/régionales en matière de RDT et leur financement, notamment sur la répartition régionale de la capacité de RDT ? (6) Y atil eu synergie et coopération ou plutôt double emploi avec d'autres politiques communautaires pertinentes, en particulier avec les programmes cadres de RDT? (7) Quelles sont les principales orientations à définir pour l'avenir au regard des besoins de développement des régions aidées ? ■ Domaine d'application Le domaine d'application spécifié doit délimiter l'évaluation en fonction de dimensions pertinentes telles que la durée, le secteur géographique, le type d'intervention :  Sur quelle période l'évaluation doitelle est centrée ? L'évaluation devrat elle comprendre une comparaison entre périodes de programmation ?  Quels pays/quelles régions seront pris en compte ou exclus de l'évaluation ?  Quels Instruments politiques seront inclus dans l'étude ? Evaluation transversale des impacts sur les priorités d'intervention *· Suggérer comment les interventions et leurs objectifs peuvent être peuvent être classés dans différentes catégories, afin d'aider les évaluateurs à mieux orienter leurs propositions. Etant donné le contenu et l'importance politique des actions de RDT ainsi que la nécessité de couvrir les Objectifs concernés, l'étude comprendra deux lots. Elle sera axée, d'une part, sur les réglons des Objectifs 1 et 6 (lot 1 ) et, d'autre part, sur les régions de l'Objectif 2 (lot 2), mais, le cas échéant, il sera tenu compte d'autres formes d'intervention, telles que les initiatives communautaires et actions Innovatrices dans le cadre de l'article 10 du FEDER. L'étude couvrira les deux périodes de programmation des Fonds structurels, mais une attention particulière sera accordée à la période de 1994-99, pour laquelle un plus grand nombre d'informations est disponible. L'étude prendra également en considération les programmes-cadres de l'UE et les politiques nationales en matière de RDT, y compris les aides nationales à finalité régionale en faveur de la RDT. En ce qui concerne les actions ou activités à évaluer, ¡I est nécessaire d'établir une classification claire des activités de RDT. L'étude ne portera pas que sur la RDT au sens strict, mais couvrira une grande partie du système d'innovation. Il faudra se référer à un cadre commun, tel que celui développé par le Plan d'Action pour l'Innovation des Fonds structurels. Par exemple, il devrait être possible, pour l'Objectif 1, de mesurer le processus de rattra page de certaines régions en termes d'infrastructures de RDT, et de distin guer à l'Intérieur de celles-ci entre infrastructures scientifiques (centres de recherche, projets de recherche,. ) d'une part, et infrastructures technolo giques (parcs et centres technologiques,. ) d'autre part. Le cadre de référence suggéré comprend les catégories suivantes : (1) Renforcement du potentiel scientifique et technologique • Potentiel et compétences scientifiques (infrastructure, équipement, actions scientifiques. ) ; • Potentiel et compétences technologiques (infrastructure, équipement, actions technologiques). (2) Soutien à l'innovation • Promotion d'une culture d'innovation, comprenant notamment le dévelop pement de ressources humaines à travers l'éducation et la formation, la Annexes mobilité des chercheurs, actions de simulation, dissémination des résultats de la recherche,. actions de promotion et de sensibilisation, etc. • Cadre réglementaire et financier (environnement législatif et réglementaire, financement de l'innovation au moyen d'instruments tels que le capital risque,. • Lien entre recherche et innovation, incluant le transfert technologique, la promotion de réseaux, le renforcement des liens entre les entreprises, les universités et les centres de recherche, etc. Dans le cadre de l'examen des différents types d'actions de RDT et d'inno vation, il serait également opportun de prendre en considération les secteurs pertinents du ProgrammeCadre, afin d'évaluer la complémentarité et la synergie entre les interventions des Fonds structurels et le Programme Cadre luimême :  technologies de l'information et de la communication;  technologies industrielles;  sciences de la vie, notamment biotechnologies et agriculture. En ce qui concerne le développement d'indicateurs de RDT et d'innovation, le « manuel » sur l'Innovation « d'Eurostat devrait constituer une source d'in formation essentielle pour cette étude. ■ Contenu de l'étude Cette section souligne comment l'évaluation sera structurée. Elle doit présenter le cadre méthodologique de l'évaluation, y compris :  Les outils méthodologiques utilisés  Les méthodes de collecte de données qui seront utilisées  Les caractéristiques détaillées des types d'analyse qui seront réalisées ·■ Le cadre méthodologique doit être défini de façon à garantir que les éva luateurs, tout en respectant sa structure générale, puissent utiliser leur expé rience et leur savoirfaire pour faire des suggestions pratiques sur la façon de mener l'évaluation. Evaluation transversale des impacts sur les priorités d'intervention L'étude comprendra les aspects suivants : • Cadre méthodologique Cette partie comprendra la présentation d'une méthodologie pour permettre une analyse comparative et la mesure des résultats des actions de RDT : (a) adoption d'une approche thématique requérant l'évaluation comparative et simultanée de thèmes et de problèmes communs ; (b) proposition d'indicateurs appropriés , relatifs aux ressources, aux réalisa tions, aux incidences et au cadre managerial et économique ; (c) création d'instruments sélectionnés pour évaluer les résultats d'un échantillon d'actions de RDT ; (d) établissement de questionnaires et identification des principaux informa teurs (base du travail sur le terrain) ; (e) sélection et application d'études de cas. • Analyse comparative des politiques et programmes de RDT et incidence des interventions des Fonds structurels Dans le cadre des Fonds structurels, la Commission souhaite analyser par comparaison les éléments suivants : - financement de la RDT, c'est-à-dire montant et part du budget des Fonds structurels affectés à la RDT et comparaison avec les crédits nationaux ou autres fonds communautaires alloués à la RDT pour chaque objectif, Etat membre et région considérés ; - importance accordée aux différentes actions du RDT et leur diversité à travers les régions ; - qualité de l'organisation et des structures de RDT, en particulier en ce qui concerne les structures de gestion et procédure d'évaluation ; - efficacité des instruments ou mécanismes de promotion des actions de RDT et d'innovation - incidence sur les ressources humaines et formation dans le secteur de la RDT; • Evaluation d'un échantillon d'actions de RDT à l'échelon national/ré gional (travail sur le terrain) Cette partie comprendra une analyse approfondie d'un échantillon significa tif d'actions de RDT financées par les Fonds structurels pour chacun des pays considérés. Annexes La sélection des actions de RDT sera fondée sur des critères comme la dimension financière et l'importance stratégique. Le travail sur le terrain sera effectué dans les pays ou régions considérées, sur la base d'une méthodo logie normalise (Cf. cadre méthodologique). Evaluation de la valeur ajoutée communautaire et bonnes pratiques Dans cette partie de l'étude, les actions de RDT financées par les Fonds structurels seront évaluées et des enseignements seront tirés pour la politique régionale. Une attention particulière doit être accordée aux éléments suivants : - qualité des actions de RDT et changements observés entre la période de programmation 1989-93 et celle de 1994-99 ; - valeur ajoutée des actions des Fonds structurels dans le secteur de la RDT; - Identification des meilleures pratiques en termes de relations recherche- industrie, de mécanismes de transfert technologique et de structures orga- nisationnelles dans les régions aidées et analyse des conditions de transfé rabilité vers d'autres régions ; - complémentarité et synergie à l'intérieur des programmes des Fonds structurels et avec le Programme-Cadre de RDT de l'UE, ainsi qu'avec les politiques nationales de RDT. • Synthèse des principaux résultats et questions d'ordre politique Dans cette partie, des conclusions seront tirées et des recommandations formulées, en particulier au regard de l'avenir des politiques structurelles. Certains des problèmes en jeu ont déjà été abordés dans le premier rapport sur la Cohésion et la communication en cours sur « RDT, Innovation et cohésion ». Toutefois, il conviendra de réfléchir de manière plus approfondie aux questions suivantes : Faut-Il financer davantage d'activités de RDT dans le cadre des Fonds structurels ? Sur quel type d'actions devraient-elles être axées ? Les Fonds structurels ont-ils été suffisamment pris en considération dans le quatrième Programme-Cadre et vice versa ? Evaluation transversale des impacts sur les priorités d'intervention Devraiton faire plus à l'avenir pour parvenir à une meilleure synergie de ces deux types de politiques ? ■ Sources de données L'objectif de cette section est de tracer les grandes lignes de l'étape de collecte de données de l'évaluation. ·■ Il conviendra de fournir des informations sur l'équilibre entre les sources de données primaires et secondaires. Ceci permettra aux évaluateurs de mieux planifier le programme de travail et de calculer son coût. La méthodologie de l'évaluation sera développée en coopération avec les services de la Commission et les experts sélectionnés pour l'étude. Elle devra comprendre à la fois des aspects qualitatifs et quantitatifs. L'étude comprendra deux éléments principaux : recherche documentaire et travail sur le terrain dans les régions considérées. • Recherche documentaire Le consultant effectuera une évaluation comparative détaillée des zones pour lesquelles ¡I sera désigné. Celleci portera sur des programmes passés et actuels (CCA/DOCUP, PO et autres) et leurs principales composantes relatives à des activités de RDT (par exemple, analyses régionales, approches stratégiques, hiérarchie des objectifs, priorités et mesures, indi cateurs et profils, synergie entre actions de RDT et autres composantes). L'étude s'appuiera largement sur les contenus des programmes et les éva luations disponibles de ces programmes. En particulier elle prendra en considération la méthodologie et les enseignements tirés de l'évaluation thématique de RDT concernant l'Irlande, le Portugal et la Grèce pour la période allant de 1989 à 1993. Elle prendra également en considération les résultats des dernières évaluations, telles que les évaluations à miparcours (pour les régions de l'objectif 1) et l'évaluation des PRT (plans régionaux technologiques au titre de l'article 10 du FEDER). Le consultant est invité à collecter des données, à établir des statistiques et à développer des indicateurs appropriés, adaptés aux besoins de l'évalua tion, pour fournir des informations clés sur les dépenses de RDT, ainsi que la nature et l'Incidence des actions financées. Annexes • Travail sur le terrain Pour recueillir des informations de première main sur les effets des actions de RDT, le consultant procédera à des entretiens avec des observateurs pri vilégiés dans les régions considérées. Une liste de problèmes clés (devant être soigneusement sélectionnés) devrait permettre de structurer le ques tionnaire ou les listes de contrôle (« checklists ») utilisées dans le cadre des enquêtes. Des études de cas seront sélectionnées, et devraient fournir des Indications et des informations détaillées sur les meilleures pratiques concernant les actions de RDT dans le cadre des Fonds structurels. ■ Documents produits Les documents (rapport de mise en place, rapports Intermédiaires et finaux, etc. ) produits par l'évaluation, intermédiaire ou finale, doivent être réperto riés et leur contenu doit être détaillé le cas échéant. • Quel format fautil utiliser pour les documents produits ? • Quel type de fichier informatique fautil utiliser ? • Quelle(s) langue(s) fautil utiliser ? ·· Le planning d'une évaluation est habituellement déterminé par le calen drier de prise de décision et non pas par les exigences méthodologiques. Plutôt que d'imposer un planning susceptible de réduire la profondeur, la portée ou même la qualité de l'évaluation, la production d'un rapport inter médiaire peut constituer un compromis acceptable. Le programme des travaux et le calendrier à proposer devraient comprendre:  un programme de travail détaillé couvrant les questions essentielles et un cadre méthodologique pour l'étude thématique ;  des rapports nationaux, couvrant les étapes de recherche documentaire et de travail sur le terrain ;  un rapport de synthèse final, comprenant un résumé axé sur les politiques à suivre, qui puisse être compris et utilisé indépendamment du rapport luimême. L'ensemble des textes et la base de données correspondantes seront établis ou transmis (sur papier et sur disquette) dans les formats établis par la DG XVI de la Commission européenne. Les rapports et documents seront présentés en anglais, français ou allemand. Un budget supplémentaire est prévu pour la traduction dans au moins une des deux langues. Evaluation transversale des impacts sur les priorités d'intervention ■ Calendrier La durée de l'évaluation doit être précisée avec tous les délais intermédiaires éventuels. L'étude, divisée en deux lots séparés, sera achevée dans un délai d'un an. Annexe 4 : Liste des encadrés Introduction Encadré 1 - Priorités, domaines et thèmes Encadré 2 - L'intégration de l'égalité des chances : une définition 8 12 Considérations techniques relatives à l'évaluation d'impacts thématiques Encadré 3 - Construire un arbre d'objectifs thématique Encadré 4 - La construction d'une méthode d'évaluation et le choix d'outils pour une analyse approfondie des impacts Encadré 5 - Forces et faiblesses types des sources d'information existantes Encadré 6 - Estimation des impacts nets d'effet d'aubaine Encadré 7 - Additionnalité, effets d'aubaine et de levier Evaluer l'impact des interventions structurelles sur l'environnement Encadré 8 - Adaptation du modèle de développement durable Force Motrice-Etat-Réponse Encadré 9 - Typologie détaillée des Impacts des interventions structurelles sur l'environnement Encadré 10 - Priorités environnementales des interventions des Fonds structurels présentées sous forme « d'arbre d'objectifs » Encadré 11 - Exemple d'un système d'Indicateurs pour la construction d'une station d'épuration Encadré 12 - Exemple de formulaire de radioscopie environnementale 15 19 20 22 25 34 36 38 47 53 Evaluer les impacts des interventions structurelles sur la compétitivité des Petites et Moyennes Entreprises Encadré 13 - Définition des PME 61 Evaluation transversale des impacts sur les priorités d'intervention Encadré 14 - Exemple d'un « arbre d'objectifs » pour les interventions auprès des PME Encadré 15 - Exemple de système d'indicateurs pour une intervention fournissant une aide pour la promotion des exportations des PME Encadré 16 - Exemple d'une analyse factorielle du secteur coopératif catalan Encadré 17 - Exemple de l'utilisation d'une technique d'étude de cas dans l'évaluation du programme NordTek au Danemark Evaluer les impacts sur l'emploi des interventions structurelles Encadré 18 - Différents types d'obsolescence des compétences Encadré 19 - Différents types d'effets d'emploi Encadré 20 - La production d'effets d'emploi par les interventions structurelles. Encadré 21 - Interventions des Fonds structurels et mécanismes des effets d'emploi 67 73 77 78 84 85 86 86 Encadré 22 - Exemple d'arbre d'objectifs pour la promotion de l'emploi 91 Encadré 23 - Comparaison des effets d'aubaine, de substitution et de déplacement Encadré 24 - Exemple d'un système d'Indicateurs pour un programme de retour à l'emploi 93 102 Evaluer l'impact des interventions structurelles sur l'égalité des chances Encadré 25 - Arbre d'objectifs des Fonds structurels en matière d'égalité des chances Encadré 26 - Exemples d'effets par catégories d'impacts Encadré 27 - Exemple d'application du principe du mainstreaming: Encadré 28 - Exemple d'un système d'indicateurs pour l'amélioration de centres sociaux Encadré 29 - Fiche-type pour apprécier la dimension de l'égalité des chances dans le cadre d'une évaluation ex ante Encadré 30 - Matrice d'appréciation d'un programme 119 120 126 128 131 132 Annexes Evaluer les impacts des interventions dans le domaine de la Recherche et du Développement Technologique Encadré 31 - Evaluation des impacts des CCA sur la Recherche et la Technologie en Grèce, en Irlande et au Portugal sur la période de programmation de 1989 à 1993 142 Encadré 32 - Typologie des Interventions structurelles dans le domaine de la RDT 146 Encadré 33 - Exemple d'arbre d'objectifs thématiques pour des interventions de RDT Encadré 34 - Exemple de système d'indicateurs pour une mesure d'aide financière et à l'information pour l'acquisition de technologie par les PME Encadré 35 - Exemple de questionnaire pour une action recherche réal ¡sée en col laboration 147 153 154 Evaluer les impacts découlant d'interventions dans les domaines des transports, des télécommunications et du tourisme Encadré 36 - Exemple de système d'indicateurs pour l'amélioration d'une ligne ferroviaire pour des activités de fret Encadré 37 - Exemple de système d'indicateurs pour la mise en place d'un réseau hybride fibre et coaxial (HFC) à large bande Encadré 38 - Exemple d'aide à la création d'installations touristiques (musées, parcs à thème, etc. ) Encadré 39 - Exemple de matrice d'analyse SWOT Encadré 40 - Extrait d'un « Corridor Ranking Framework >> appliqué à la Grèce Une démarche "pas à pas" pour une analyse thématique Encadré 41 - Evaluation transversale : une démarche « pas à pas » pour un programme Encadré 42 - Matrice d'appréciation thématique : exemple lié au principe de l'égalité des chances Encadré 43 - Fiche de notation d'une mesure : un exemple pour évaluer la prise en compte de la priorité égalité des chances 166 167 170 172 173 180 , 184 185 Evaluation transversale des impacts sur les priorités d'intervention Encadré 44 - Etudes de cas, entretiens individuels et de groupe 187 Encadré 45 - Tableau récapitulatif des mesures et de leurs effets. Exemple d'amélioration de l'adaptation du cadre de vie aux besoins des femmes Encadré 46 - Résumé des étapes clés et des outils d'évaluation Les évaluations thématiques transnationales Encadré 47 - Comparaison des synthèses supranationales des évaluations de programme et d'évaluation transnationale Encadré 48 - Echantillonnage visant à mettre en évidence la meilleure pratique Encadré 4 9- Développement d'évaluations transnationales Encadré 50 - Echantillonnage visant à effectuer une analyse paneuropéenne Encadré 51 - Exemple d'études de cas multiples avec possibilité de replication Encadré 52 - Les sept étapes de la synthèse de recherche 188 190 191 194 195 196 198 199 Index A absorption, 90 additionnalité, 24,158 analyse comparative, 107,197 analyse coût-avantages, 55 analyse coût-efflcaclté, 106,144,156 analyse de régression, 107 analyse économétrique multinationale, 195 analyse multicritère, 56 analyse SWOT, 171,193 arbre d'objectifs, 14, 37, 67, 90, 91,119, 147, 182 B bonne pratique, 65,130, 193 cahier des charges, 192 chômage, 18,81,103,132,139,144, 187 coefficient, 21,55,100,195 cohérence externe, 14,38 cohérence Interne, 14,38 comité technique, 192 contexte-cadre, 64 démarche "pas à pas", 179 développement durable, 29, 34 diagramme Ishikawa, 130 donnée de suivi, 76,104,155,196 donnée primaire, 19, 73,155 échantillonnage, 192 effet additionnel, 24 effet brut sur l'emploi, 92 effet d'attraction, 94,108 effet d'aubaine, 22, 23,38,68, 91, 93, 107,108,148, 158,168,169 effet de création ou de maintien d'emploi, 82,84,93,106 effet de demande, 166 effet de déplacement, 21, 22, 23, 39, 68, 83,93,106,169 effet de levier, 68,72,148,152 effet de substitution, 68, 83, 93 effet de synergie, 67, 83,145,164,175 effet d'emploi, 77, 82, 84, 85, 86, 94,101 effet d'emploi durable, 88 effet d'emploi temporaire, 88 effet d'employabilité, 88,106 effet déplacement, 92 effet d'éviction, 106 effet direct, 166 effet d'offre, 166 effet fournisseur, 24, 83, 88,94 effet indirect, 166 effet induit, Voir effef indirect effet multiplicateur, 24, 83, 86, 94 effet net, 39,107 effet net d'emploi, 83, 91 emploi durable, 99 emploi maintenu, 98 emploi temporaire, 89, 98 emploi temps partiel, 99 emploi temps plein, 99 employabilité, 82, 84,93,100,106 enquête DELPHI, 175 enquête par questionnaire, 75,107,134, 157 enquête statistique, 21,103 entretien de groupe, 75,187 entretien individuel, 75,157,187 équipe d'évaluation, 16,127,181,190, 192 équivalent temps plein (ETP), 89 étalonnage, 106 étude de cas, 54, 78,129,132, 171,174, 187,192 étude de cas multiple, 55,197 Evaluation de l'Impact Environnemental, 29,52 Evaluation Environnementale Stratégique, 32,50 Evaluation transversale des impacts sur les priorités d'intervention facteur concurrent, 17, 83,101 fiche de notation, 180,185,186, 188 focalisation, 50,52,180,181,186 Force Motr ce-Etat-Réponse, 34, 43 groupe de contrôle, 92,107 groupe d'écoute, 129 I impact brut, 21 Impact brut sur l'emploi, 22 impact net, 21,68, 107 indicateur, 17 indicateur (exemple d'), 47, 73,102,128, 153,166,167,170 indicateur ad hoc, 44,99,125 indicateur de contexte, 16, 74,125,128, 155,182 M mainstreaming, 11, 71,113,126 matrice d'appréciation thématique, 181, 183,189 matrice des impacts croisés, 175 modèle entrées-sorties, 109 modèle macroéconomique, 110 N notation et pondération, 171,172 objectif implicite, 14 observation ethnographique, 129 panel d'experts, 157 priorité politique, 15,27 R radioscopie, 50,52,53,180, 181 situation contrefactuelle, 22, 68, 76, 91, 104, 126 situation de référence, 16,102 substitution, 21, 23, 68, 92,109,169 synthèse de recherche, 198 système d'information, 19 tableau récapitulatif, 197 technique du scénario, 130 typologie des impacts, 36,119,148,183 Remerciements La préparation de ce Volume s'est étalée sur plusieurs années, de 1996 à 1998. Les travaux préparatoires ont comporté les étapes suivantes : • Plusieurs ateliers et réunions ont permis de rapprocher les perspectives des experts des différents thèmes et la perspective transversale (ou multi-thématique) des res ponsables des Fonds structurels. • Ce processus a d'abord donné lieu à la publication de deux Cahiers MEANS sur l'emploi (cahiers N° 3 et 6) ainsi qu'à une note méthodologique sur l'évaluation des interventions liées aux ressources humaines. Ces publications ont servi de base à la réalisation du chapitre sur l'emploi. • De même, les chapitres sur l'environnement et l'égalité des chances ont été basés sur des notes méthodologiques récentes issues là encore de discussions entre des experts et des responsables européens. La note méthodologique sur l'environnement a été réalisée à l'aide de la technique de la cartographie conceptuelle pour établir la typologie (voir la description de cet outil dans le Volume 3 de la Collection MEANS). La coordination des travaux de ce volume a été assurée par Anastassios Bougas et David Sweet (D. G. XVI. G. 2 : Coordination de l'évaluation) et a impliqué plusieurs Direc tions Générales de la Commission Européenne, notamment les D. G. Il, V, VI, XI, XIV et XVI et en particulier Philippe Goybet, Anne Bucher, Nelly Bandarra, Miguel Benito Alonso, R Bradley, Ciaran Dearie, Sylvie Finne, Martin Hallet, Richard Harding, Mikael Kirosingh, Frédérique Lorenzi, Andrea Mairate, René Marty, Valéry Morard, Irmengard Nelles, Anastasios Nychas, Jullus Op de Beke, Sergio Piccolo, Brigitta Renner-Loquenz, Jacqueline Soulier Oliveira, Martin Tyrrell, Martine Voets et Dominique Van Der Wee. Ce Volume a été rédigé par le Centre Européen d'Expertise en Evaluation, notamment avec la participation de Cristina Diaz Gomez, Andreas Esche, Connor Kearney et Kevin Williams. Les auteurs sou haltent remercier toutes celles et tous ceux qui ont contribué, soit direc tement, soit indirectement, à la production de ce Volume et en particulier les experts dont les noms suivent : Christine Abrossimov (DARES), Mariano d'Antonio (Universita da Roma), Peter Auer (Wissenschaftszentrum, Berlin), Jean-Claude Barbier (Centre d'Etudes pour l'Emploi), Martin Bekker (B&A Groep), Peter Bosch (The European Envi ronment Agency), Marco Causi (CLES Sri), Antonio Estevan Estevan (Gabinete de Economia Aplicada), Marta Ferrés (Interés General), Christopher Hasluck (University of Warwick), Andy Hirst (PA Cambridge Economics Consultants), Liisa Horelli (ITSU OY), Japp de Koning (Netherlands Economic Institute), Kierän A. Kennedy (The Economic and Social Research Institute), Ulla Koski (Finnish Ministry of EnvironmentJMarie- Christine Lefebvre (Lconsult SPRLHedwig Lutz (WIFO), James Medhurst (Ecotec), Dr Heino Von Meyer. Chris Newton, (The Environmental Agency), John Rhodes (PA Cambridge Economics Consultants), Barry Sadler (Institute of Environmental Assess ment), Claude Selbel (DARES), Thanos Skouras (Reseach Centre of the Athens Univer- sity of Economics & Business), Antoni Soy (Centro d'Estudis de Planificado), Joachim Spangenberg (Wuppertal Institute for Climate, Environment & Energy), Peter Tyler (PA Cambridge Economics Consultants), Pieter Van Run (CBEA), Claudia Villante (ISFOL). Commission européenne Évaluer les programmes socio-économiques Évaluation transversale des impacts sur l'environnement, l'emploi et les autres priorités d'intervention Luxembourg: Office des publications officielles des Communautés européennes 1999 — 227 p. — 14,8x21 cm ISBN 92-828-6627-0 Venta * Salg · Verkauf · Πωλήσεις · Sales · Vente · Vendita · Verkoop · Venda · Myynti · Försäljning BELGIQUE/BELGlE OSTERREICH JM π D· Lannoy Avenue du Ren 202 Koningslaan 202 B1190 Bruxetles/Brussel Tol (3221 538 43 08 Fa* (322) 538 08 41 Email jean. de lannoy O mloboard be URL: MtpJ/Www jeanOoiannoy be La librairie européenne/ De Europese Boekhandel Rue de la La 244/Wetslraat 244 81040 Bruielies/Brussel Tel 132 2)295 26 39 Fax (322) 735 06 60 Email: mailOlibeurop be URL: http://www. libeurop. be Moniteur belge/Bel gl i ch Staatsblad Rue de Louvam 404Z Leuvonsoweg 4042 B100O Bru «elles/B russel Tel. (322) 552 22 11 Fax (322) 5t l 01 84 DANMARK J. H. Schultz Information ATS Herstedvang 1012 DK2620 Albertslund TH. (45) 43 63 23 00 Fax (45) 43 63 19 69 Email: scr1ulI2Oschutt2. dk URL: http//www Schultz dk DEUTSCHLAND Bunde Mm el ger Verlag GmbH vertnebsabieilung Amsierdamet Straße 192 D50735 Köln Tel (49221)97 66 80 Fax (49 221)97 66 82 78 EMail: vertneo O bundesan zeiger de URL: hitp. '/www bundo sa n zeige r de ΕΛΛΑΔΑ/GREECE G. C. Eleflheroudakls SA International Bookstore Panepistimiou 17 GR10564 Alhina Tel. (301)33141 60/1/2/3/4/5 Fax (301) 323 98 21 Email: elecooksOnetor gt ESPAÑA Boletín Oficial dal Eatado Trafalgar 27 E280 71 Madrid Tel (34)9153821 11 (Libros). 913 Θ4 17 15<Suscrip. ) Fax (34)9153821 21 (Libros), 91384 17 t4(Suscrtp. ) Email, dientes O com boe es URL: http//www boe es Mundi Prema Libros, SA Castellò. 37 E2BO01 Madrid Tel (34)914 36 37 00 Fax (34) 915 75 39 98 Email: libraria O mundipronsa es URL: http J/www. mundiprensa. com FRANCE Journal officiel Service des publications des CE 26, rue Desaix F75727 Parts Cedex 15 Tel (33) 140 58 77 31 Fax (33) 140 58 77 00 URL: http 'www | ou malOfficiel gouv. lr IRELAND Government Supplies Agency Publications Section 45 Harcourt Road Dublin 2 Tel (3531)661 31 11 Fax (3531) 475 27 60 ITALIA ~ Licosa SpA Via Duca di Calabria, 1/1 Casella postale 552 150125 Firenze Tel (39)055 84 83 1 Fa* ¡39) 055 64 12 57 Email: Icosa O ttbec il URL: hup www tibcc Π licosa LUXEMBOURG Messageries du livre SARL 5. rue Ra iff eisen L2411 Luxembourg Tel (352)4010 20 Fax (352) 49 06 61 Email mailOmrJI lu URL: http www mdl lu Manz'teha Verlags und Unlvefsitltsbuchhandlung GmbH Kohlmarkt 16 A1014 Wien Tel. (431)53161100 Fax (43-1) 53 16 11 67 EMail: bestelle n O manz. co. ai URL· http://www. manz. at/index. htm PORTUGAL Distribuidora de Livros Bertrand L d. ' Grupo Bertrand. SA Rua das Temas dos Vales. 4A Apartado 60037 P2700 Amadora Tel. (3511)495 90 50 Fax (3511)496 02 55 Imprensa NacionalCasa da Moeda. EP Rua Marquas Sa da Bandeira. 16A Ρ1050 Lisboa Codex Tel (3511)353 03 99 Fax (3511) 353 02 94 Email: del mcmOmail teiepac pi URL: http / www inan pt SUOMI/FINLAND Akateeminen Kirjakauppa/ Akademiska Bokhandeln Keskuskatu t/Centralgalan 1 PUPB 128 FlN001 Ol Helsinki Helsingfors Ρ. /tin (3589) 121 4418 F/lax (3589) 121 44 35 Sähköposti : aka lilau s O aka teeminen com URL: htlp//www. akateeminen com SVERIGE BTJ AB Traktorvägen 11 S22182Lund TIn (4646)16 00 00 Fax (4646) 30 79 47 Epost: btieupuböbtj st URL: http i/www blj. se UNITED KING DOM The Stationery Office Ltd Inlemalional Sales Agency 51 Nine Elms Lane London SW8 SDR Tel. (44171)873 90 90 Fax (44171)873 B4 63 E  mail : ipa. enqui nesOtheso. co. uk URL: httpJ/www thes tallone ryoff ice c ISLAND Boka bud Laruaar Blonda! Skólavürdustig, 2 15101 Reykjavik Tel. (354) 551 56 50 Fax (354) 552 55 60 Swats Norge AS N-0606 Oslo Tel. (4722) 97 45 00 Fax (4722) 97 45 45 SCHWEIZ/SUISSE/SVIZZERA Euro Into Center Schweiz c/o OSEC St am ptonbacri stralìe 85 PF 492 CH8035 Zürich Tel. (411)365 5315 Fax (411) 365 54 11 Emaü: eicsOosec. ch URL: http//www osee. ch/eies BÄLGAP. UA Europress Euromedia Ltd 59, bivrj Vitosha BG1000 Sotia Tel (3592)980 37 66 Fax (3592) 960 42 30 Email: MilenaOmbox. ol. bg C E S KA REPUBLIKA Osts NlSprodeina Havelkova 22 CZ130 00Praha3 Tel (4202)24 23 14 66 Fax (4202) 24 23 11 14 Email: nkpospOdec. nis cz URL: http. u5iscr cz CYPRUS Cyprus Chamber ot Commerce and industry PO Box 1455 CYl509Nx;osia Tel. (3572) 68 95 00 Fa* (3572) 66 10 44 Email. demetrapOccci org cy HRVATSKA Medlatrada Ltd Pavia Hatza 1 HR10000 Zagreb Tel. (3851)481 94 11 Fax (3651)481 9411 M A G Y A R O R S Z AG Euro Info Service Europa H ai Mar gi [sz iget PO Box 475 H1396 Budapest 62 Tel. (361 350 80 25 Fax (36-1)350 90 32 E mail :euroin1oOmail. mata v. hu URL: httpJrtvww. euroinlo. hu/indexhtm MALTA Miller Distributors Ltd Maila International Airport PO Box 25 Luqa LOA 05 Tel. (356) 66 44 88 Fax(356)67 67 99 Email: gwirthOusa. net POLSKA Ars Polona Krakowekle Przedmiesde 7 Skr. pocztowa 1OO1 PL00950 Warszawa Tel. (4822)826 12 01 Fax (4822) 826 62 40 Email: ars_polObevy. hsn. co ROMANIA Euromedia Str. Gral Berthelol Nr 4 RO70749 Bucuresti Tel. (401)31544 03 Fax (401) 314 22 66 nossiv·'. CCEC 60leliya Oktyabrya Av. ! 117312 Moscow Tel. (7095M35 52 27 Fax (7095) 135 52 27 SLOVAKIA Centrum VTl SR Nám Slobody. 19 SK81223 Bratislava Tel. (4217)54 4183 64 Fax (4217) 54 41 63 64 Email: europOtbbl. sttk. stuba. sk URL: http//www. sttk. stuba. sk SLOVENUA Gospodarskl Vestnik Dunajska cesta 5 SLO1000 Ljubljana Tel (386)613 09 16 40 Fax (386) 61309 16 45 Email: europOgvostnik si URL: httpy/www. gvestnik. si TÜRKIYE Dunya Inlotef AS 100. Yli MahaJlessi 34440 TR80050 Bagcilaflstanbul Tel. (90212)629 46 89 Fax (90212} 629 46 27 Email:inlotelOdunya gaz el θ com. ir AUSTRALIA Hunter Publications PO Box 404 3067 Abbotslord, Victoria Tel. (613)94 17 5361 Fax (613) 94 19 71 54 Email : jpda vws Oozemail. corn. au CANADA Les éditions La Liberté Inc. 3020, chemin SainleFoy G1X 3V SainleFoy, Québec Tel (1418)658 37 63 Fax (1-600) 567 54 49 Email: liberie O mediom. qc ca Reno ut Publishing Co. Ltd 5369 Chemin Canolek Road Unit l KU 9J3 Ottawa, Ontario Tcri. (1613)745 26 65 Fax (1613) 745 76 60 E  m a 11 or do r dopi O ronoufbooks com URL http J/www renoufbooks. com EGYPT The Middle East Observer 41 Sherif Street Cairo Tel (202)392 89 19 Fax (202) 393 97 32 Email: mal oudaOmeobserver. com. eg URL· http. 'www meobserver com. eg NEDERLAND EESTI SOU Servicecentrum Uitgever· Chfistoflol Planlijnstraat 2 Postbus 20014 2500 EA Den Haag Tel (3170) 37Β9Θ 60 Fax ¡3170) 37B 97 83 Email sduOsdu nl URL: Http www Γ. ΛΙΙ r,: Eesti KaubandusTbostuikodi (Estonian Chamber ot Commerce and industry) Toom. KooU17 EE0001 Tallinn Tel. (372) 646 02 44 Fax (372) 646 02 45 Emai einloOkoda ee URL· http. www koda ee EBIC India 3rd Floor. Υ. B Chavan Centre Gen. J BhosaleMatg 400 021 Mumbai Tel. (9122)282 60 64 Fax (9122) 285 45 64 Email: ebicOgiasbm0l. vsnl. nel. ir URL: httpJ/wVrti. abicindia. com ROY International 41. Mishmar Hay ar Oen Streel PO Bo» 13056 61130 Tel Aviv Tel. (972-3) 649 94 69 Fax (9723) 648 60 39 Email: royilônetvision nei il URL· http://www. royintCO. il Subagent lor the Palestinian Authonty: Index Information Services PO Box 19502 JAPAN PSI Japan Asahi Sanbancno Plaza »206 71 Sanbancno, Chiyodaku Tokyo 102 Tel. (813) 32 34 69 21 Fax (813) 32 34 6915 Email: books O psijapan. co. jp URL: httpJ/www. psijapan. com EBIC Malaysia Level 7. Wisma Hong Leong 16 Jalan Perak 50450 Kuala Lumpur Tol. (603) 262 62 98 Fax (603) 262 61 98 Email: obicWOmol. net. my Mundi Prensa Mexico, SA de CV Rio Panuco No 141 Colonia Cuauhtemoc MX06500 Mexico, DF Tel (525)533 56 58 Fax(525¡5!4 67 99 Email: 101545. 2361Ocompuserve. com EBIC Philippines 19th Floor, PS Bank Tower Sen. Gil J. Puya! Ave. cot. Tindalo St. Makati City Metro Manilla Tel. (632) 759 66 80 Fax (63-2) 759 66 90 Email: eccpcornOglobo com. ph URL: httpJWMW. eccp. com EBIC Sri Lanka Trans Asia Hoiel H5Sirchittampalam A. Gardiner Mawatha Colombo 2 Tel. (941)074 71 50 78 Fax (94-1)44 87 79 Email: ebicsKlitmin com EBIC Thailand 29 Vanisse Building. 6th Floot SoiChidlom Ploenchü 10330 Bangkok Tel. (662) 655 06 27 Fax (66-2) 655 06 28 Email: eb«tikkOksc15. th cor URL· hnpJwww. ebicbkk. org UNITED STATES OF AMERICA Beman Associates 4611 F Assembly Drive U n h am MD20706 Tel. Π 800) 274 44 47 (toll tree telephone) Fax (1400) 865 34 50 (toll free lax) Email: queryObernan. com URL· http://www. beman. com Bitte wenden Sie sich an ein Büro Ihrer Wahl/ Please contact lhe sales office »I your choice/ Veuillez vous adresser au bureau de vente de votre choix Office lor Official Publications of lhe European Communities 2, rue Mercier L298S Luxembourg Tel. (352)29 2942455 Fax (352) 29 2942758 Email: lnlo. infoOopoce. cec. be URL: http://eur. op eu ini La collection MEANS : "Évaluer les programmes socio-économiques" Cette collection en six volumes met à la disposition d'un public élargi les enseignements du programme MEANS, lancé par la Commission européenne en vue d'améliorer et de promouvoir les méthodes d'évaluation. Cette publi cation répond au besoin de plus en plus manifeste de disposer de références solides pour traiter de façon efficace les problèmes d'évaluation rencontrés dans la mise en œuvre de l'action publique en général et en particulier dans le domaine des Fonds Structurels. De ce point de vue, cet ouvrage constitue un guide méthodologique original qui fournit des solutions à des problèmes techniques et organisationnels rencontrés par l'évaluation auxquels la littérature existante apporte peu de solutions. La collection s'adresse non seulement aux évaluateurs professionnels pour qui elle constituera un vade-mecum précieux, mais aussi aux non-spécialistes et en particulier aux autorités de gestion et aux membres des comités de suivi des programmes structurels. Chaque volume est conçu de manière à être lu indépendamment des autres, mais tous sont complémentaires et traitent conjointement la totalité des aspects de l'évaluation des programmes socio-économiques : I. Conception et conduite d'une évaluation II. Choix et utilisation des indicateurs pour le suivi et l'évaluation III. Principales techniques et outils d'évaluation IV. Solutions techniques pour évaluer dans un cadre de partenariat V. Évaluation transversale des impacts sur l'environnement, l'emploi et les autres priorités d'intervention VI. Glossaire de 300 concepts et termes techniques OFFICE DES PUBLICATIONS OFFICIELLES DES COMMUNAUTÉS EUROPÉENNES L-2985 Luxembourg