title: Rapport spécial n° 15/98 sur l'évaluation des interventions des Fonds structurels concernant les périodes 1989-1993 et 1994-1999, accompagné des réponses de la Commission (présenté en vertu de l'article 188 C, paragraphe 4, deuxième alinéa, du traité CE)

eurovoc_concepts:
Community support framework
Structural Funds
impact study
management
operational programme
project evaluation

formats: html pdf print

text: 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/1 I (Communications) COUR DES COMPTES RAPPORT SPÉCIAL No 15/98 sur l’e´valuation des interventions des Fonds structurels concernant les pe´riodes 1989-1993 et 1994-1999, accompagne´ des re´ponses de la Commission (pre´sente´ en vertu de l’article 188 C, paragraphe 4, deuxie`me aline´a, du traite´ CE) (98/C 347/01) TABLE DES MATIÈRES Points Page 1. INTRODUCTION. 1. 1 — 1. 4 2. PORTÉE DE L’AUDIT. 2. 1 — 2. 3 3. RÉSUMÉ DES PRINCIPALES OBSERVATIONS. 3. 1 — 3. 12 4. PROBLÈMES GÉNÉRAUX. 4. 1 — 4. 36 Introduction. 4. 1 — 4. 11 Cadre de re´fe´rence. 4. 12 — 4. 13 Bases statistiques et informations relatives aux objectifs poursuivis. 4. 14 — 4. 15 Indicateurs. 4. 16 — 4. 21 Prise en compte de l’e´valuation. 4. 22 — 4. 27 Objectivite´ des e´valuations. 4. 28 — 4. 30 Les contrats d’e´valuation passe´s par la Commission. 4. 31 — 4. 36 5. ÉVALUATIONS EX POST DES CCA OBJECTIFS 1 ET 2 (1989-1993). 5. 1 — 5. 17 Introduction. 5. 1 Évaluation ex post des CCA objectif 1 (1989-1993). 5. 2 — 5. 8 Évaluations ex post objectif 2 (1989-1993). 5. 9 — 5. 17 3 3 4 5 5 6 7 7 8 8 9 9 9 10 11 C 347/2 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 Points Page 6. ÉVALUATIONS INTERMÉDIAIRES (1994-1999). 6. 1 — 6. 27 De´veloppement et inte´gration des principes d’e´valuation interme´diaire. 6. 1 — 6. 7 Proce´dures de mise en œuvre. 6. 8 — 6. 13 Priorite´s accorde´es aux objectifs d’e´valuation. 6. 14 — 6. 20 Approches, me´thodes et techniques. 6. 21 — 6. 26 Re´alisation des programmes de l’objectif 2 (1994-1996). 6. 27 7. IMPACT DES FONDS STRUCTURELS ET MODÈLES D’ÉVALUATION 7. 1 — 7. 22 Impact au niveau des CCA et des programmes. 7. 1 — 7. 15 Re´sultats des mode`les en matie`re d’impact des Fonds structurels. 7. 1 — 7. 13 Croissance du PIB. 7. 2 — 7. 3 Convergence re´elle en termes de PIB per capita. 7. 4 — 7. 8 Emploi et chômage. Efficacite´ des instruments des CCA. 7. 9 7. 10 Obligation d’additionnalite´ et de cofinancement. 7. 11 — 7. 12 De´veloppement durable. 7. 13 Rôle de l’e´valuation au niveau macro-e´conomique dans le processus de´cisionnel des Fonds structurels. 7. 14 — 7. 15 Impact au niveau des sous-programmes, mesures et projets. 7. 16 — 7. 22 8. CONCLUSION. 8. 1 — 8. 19 TABLEAUX. ANNEXES. Re´ponses de la Commission. 13 13 14 15 15 16 17 17 17 17 17 18 18 18 18 19 19 20 22 31 40 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/3 1. INTRODUCTION 1. 1. La re´forme des Fonds structurels (FS) de 1988 a pre´vu l’obligation pour la Commission et les États mem- bres d’e´valuer les politiques structurelles europe´ennes. En 1993, la re´glementation modifie´e dans le cadre de la re´vision de la re´forme des FS (1994-1999), ainsi que les clauses standard des nouveaux Cadres Communautaires d’Appui (CCA) et des Documents uniques de program- mation (DOCUP), ont renforce´ cette obligation d’e´va- luer. 1. 2. L’e´valuation, instrument indispensable pour une bonne gestion des FS, est de´finie dans les principales dispositions re´glementaires (1) comme une appre´ciation de l’efficacite´ à trois niveaux: a) l’impact d’ensemble des actions structurelles sur les objectifs vise´s à l’article 130A du Traite´; b) l’impact d’ensemble des actions pre´vues dans les CCA; c) l’impact spe´cifique de chaque intervention ope´ration- nelle (programmes et autres formes d’intervention). 1. 3. La mise en œuvre de l’e´valuation comprend princi- palement trois phases : a) l’appre´ciation ex ante (2), qui permet d’identifier cor- rectement les proble`mes socio-e´conomiques à re´sou- dre et les objectifs à atteindre, d’une part, et la strate´gie adopte´e avec les moyens disponibles pour y re´pondre, d’autre part; b) l’e´valuation interme´diaire, qui permet lors de l’exe´cu- tion d’un programme de ve´rifier si les objectifs sont encore adapte´s et les re´sultats souhaite´s en bonne voie d’eˆtre atteints; c) l’e´valuation ex post, qui intervient une fois le pro- gramme termine´ et qui sert à analyser si les re´sultats et effets obtenus peuvent eˆtre conside´re´s comme posi- tifs, e´tant entendu que les effets à long terme d’une action structurelle ne peuvent eˆtre appre´hende´s que plusieurs anne´es apre`s sa finalisation. (1) Il s’agit particulie`rement de: a) l’article 6 du re`glement cadre [re`glement (CEE) no 2052/ 88 tel que modifie´ par le re`glement (CEE) no 2081/93] concernant les missions des Fonds à finalite´ structurelle, leur efficacite´ ainsi que la coordination de leurs interven- tions; b) l’article 26 du re`glement de coordination des Fonds [re`glement (CEE) no 4253/88 tel que modifie´ par le re`glement (CEE) no 2082/93]. (2) L’«appre´ciation ex ante» est parfois e´galement appele´e «e´va- luation ex ante». Dans le pre´sent rapport, la Cour a pre´fe´re´ retenir les termes re´glementaires d’«appre´ciation ex ante». 1. 4. La re´glementation, telle que modifie´e en 1993, souligne la responsabilite´ tant des États membres que de la Commission en matie`re d’e´valuation, laquelle s’inscrit dans le cadre du partenariat (3). Dans ce contexte, la Commission a pris l’initiative de l’encadrement et de la coordination ge´ne´rale de la mise en œuvre de l’e´valuation et pre´sente un rapport triennal d’e´valuation, pre´vu par l’article 16 du re`glement (CEE) no 2052/88, sur les progre`s accomplis en matie`re de cohe´sion e´conomique et sociale et sur la façon dont notamment les Fonds et le cofinancement national y ont contribue´. 2. PORTÉE DE L’AUDIT 2. 1. L’objectif ge´ne´ral de l’enqueˆte de la Cour (4) a e´te´ de ve´rifier les progre`s re´alise´s en matie`re d’e´valuation des interventions structurelles communautaires, tant sur le plan des syste`mes et des proce´dures d’e´valuation que sur le plan me´thodologique. L’examen a porte´ sur les modali- te´s de la mise en œuvre de l’e´valuation des interventions structurelles tant par la Commission que dans le cadre du partenariat. L’utilisation le´gale et re´gulie`re des cre´dits du budget des Communaute´s europe´ennes destine´s à l’e´va- luation ainsi que la qualite´ de leur gestion financie`re ont e´te´ examine´es. 2. 2. L’enqueˆte a aussi consiste´ à appre´cier les techniques d’e´valuation de l’impact socio-e´conomique des actions structurelles. Bien que l’enqueˆte n’ait pas pre´tendu consti- tuer une e´valuation directe des programmes produisant de nouveaux re´sultats scientifiques, elle e´voque certains de ces re´sultats constate´s par des experts, en vue de mieux cerner la relation entre les instruments de politique e´conomique utilise´s et les re´sultats obtenus. 2. 3. Des enqueˆtes spe´cifiques ont porte´ sur les e´valua- tions ex post des CCA et programmes ope´rationnels (PO) des objectifs 1 et 2 pour la pe´riode de programmation 1989-1993 et sur les e´valuations interme´diaires des CCA, DOCUP et PO de la pe´riode de programmation 1994- 1999. La totalite´ des e´valuations ex post des CCA 1989-1993 de l’objectif 1 a e´te´ prise en compte, ainsi (3) L’action communautaire structurelle est conçue comme un comple´ment aux actions nationales correspondantes ou une contribution à celles-ci. Elle s’e´tablit par une concertation e´troite, de´nomme´e «partenariat», entre la Commission, l’État membre, les autorite´s re´gionales et locales, les autres autori- te´s compe´tentes, les partenaires e´conomiques et sociaux et les autres organismes compe´tents. Le partenariat est mene´ en plein respect des compe´tences institutionnelles, juridiques et financie`res respectives de chacun des partenaires. (4) Dans ses rapports annuels relatifs notamment aux exercices 1990 (chapitre 7), 1993 (chapitres 6, 7, 8 et 9) et 1994 (chapitre 4), la Cour faisait de´jà e´tat de nombreuses carences dans le domaine de l’e´valuation pour la pe´riode de program- mation de 1989 à 1993. C 347/4 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 qu’environ 20 % des rapports d’e´valuation ex post des CCA 1989-1993 de l’objectif 2 et 15 % des rapports d’e´valuation interme´diaire des CCA 1994-1999, se´lec- tionne´s en fonction de leur re´partition ge´ographique et de la nature des interventions (CCA, DOCUP, PO). Par ailleurs, sur 25 rapports d’e´valuation traitant principale- ment des aspects macro-e´conomiques, 15 ont e´te´ analy- se´s. L’enqueˆte a e´te´ mene´e aupre`s des services de la Commission et dans huit États membres (Belgique, Gre`ce, Espagne, France, Irlande, Italie, Pays-Bas, Portugal), où les e´valuateurs et les responsables des administrations nationales concerne´es ont e´te´ consulte´s. 3. RÉSUMÉ DES PRINCIPALES OBSERVATIONS insuffisantes; les États membres devraient en ame´liorer la qualite´ (voir points 4. 14-4. 21). 3. 5. Beaucoup d’e´valuations sont acheve´es tardivement, ce qui peut retarder d’autant les ajustements des pro- grammes. Par ailleurs, les re´sultats d’e´valuation en termes de performance ou d’efficacite´ des formes d’intervention pourraient eˆtre mieux pris en compte par le syste`me de´cisionnel en ce qui concerne les reprogrammations (voir points 4. 22-4. 27). 3. 6. En ce qui concerne l’objectivite´ des e´valuations, aucun contrôle sur place de la cohe´rence et de la fiabilite´ des indicateurs ou des syste`mes qui les produisent n’est effectue´ par la Commission (voir points 4. 29-4. 30). 3. 1. L’e´valuation s’est surtout de´veloppe´e et diffuse´e, sous l’impulsion de la Commission, au cours de la pe´riode de programmation 1994-1999, notamment dans le cadre du FEDER, de´bouchant aussi sur la reconnais- sance de cet instrument dans le domaine de la gestion et de la programmation. À partir de cette pe´riode de pro- grammation 1994-1999, l’e´valuation est applique´e syste´- matiquement aux deux premie`res phases (ex ante, inter- me´diaire), et le sera en fin de pe´riode (ex post) (voir points 4. 2-4. 8). 3. 7. Les proce´dures de passation de contrats de consul- tants en matie`re d’e´valuation pre´sentent encore des fai- blesses importantes au niveau de la Commission. La se´lection des consultants n’est pas toujours clairement justifie´e. Les cahiers des charges restent tre`s ge´ne´raux sur la technique lie´e à la me´thodologie, sur les indicateurs ou sur les obligations de re´sultat. Il s’ensuit des retards et des perturbations lors de la production des rapports d’e´valua- tion, une qualite´ variable de l’analyse et parfois des recommandations vagues (voir points 4. 31-4. 36). 3. 2. La Commission, bien que connaissant ses de´penses directes pour l’e´valuation, ne dispose pas toujours de la totalite´ des informations en ce qui concerne les de´penses relatives à l’e´valuation dans le cadre du partenariat (voir points 4. 9-4. 11). 3. 3. La Commission a fortement contribue´ à diffuser la culture de l’e´valuation, bien qu’elle n’ait pas apporte´ un encadrement suffisant concernant les indicateurs et la me´thodologie d’e´valuation dans son programme «Me´tho- des d’e´valuation des actions de nature structurelle» (MEANS). Compte tenu de la complexite´ des aspects me´thodologiques lie´s à l’e´valuation, une me´thodologie unique applicable à toute situation spe´cifique n’existe pas. Il est cependant important que la Commission soit en position de fournir des encadrements me´thodologiques permettant de disposer d’orientations approprie´es pour mener à terme des e´valuations adapte´es aux situations spe´cifiques (voir points 4. 12-4. 13). 3. 4. La qualite´ des indicateurs est e´troitement lie´e à la fiabilite´ des donne´es re´sultant du suivi des interventions et des bases statistiques existantes, lesquelles, relevant de la responsabilite´ des États membres, s’ave`rent souvent 3. 8. L’application des me´thodologies relatives aux e´va- luations ex post des objectifs 1 et 2 1989-1993 a e´te´ confronte´e à des lacunes statistiques, à l’absence d’objec- tifs et d’indicateurs pre´visionnels quantifie´s, à un suivi des effets inefficace et elle n’a pas toujours e´te´ re´alise´e de manie`re suffisamment rigoureuse. Ces e´valuations ont ne´anmoins mis en e´vidence une valeur ajoute´e commu- nautaire des FS tant sur le plan des re´alisations, des re´sultats et des effets des CCA, PO et mesures que sur celui de la programmation, de l’organisation, du suivi, de la coordination, du partenariat et de l’additionnalite´ (voir points 4. 15-4. 19, 5. 1, 5. 4, 5. 10-5. 16). 3. 9. En ce qui concerne les e´valuations interme´diaires relatives aux interventions des FS 1994-1999, mises en œuvre en partenariat dans le cadre des comite´s de suivi, la priorite´ accorde´e aux diffe´rents objectifs d’e´valuation est variable, l’examen des re´alisations physiques et finan- cie`res ayant ne´anmoins une place importante dans toute e´valuation interme´diaire. L’e´valuation des effets est entra- ve´e par des proble`mes au niveau notamment des indica- teurs et de la mode´lisation des effets. Ces e´valuations n’ont souvent encore qu’une utilite´ relative pour le pro- cessus de´cisionnel, la gestion des projets, la reprogram- mation ou la pre´paration des interventions à venir (voir points 4. 16-4. 21, 6. 5, 6. 7, 6. 14-6. 26). 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/5 3. 10. En ce qui concerne l’objectif 2 (O2) spe´cifique- ment, l’e´valuation a mis en e´vidence, notamment, les faiblesses suivantes: a) une inade´quation entre la re´alisation des programmes et le financement communautaire, puisque les reports de cre´dits d’un programme à un autre restent impor- tants, de l’ordre de 12 % en moyenne pour le passage de la pe´riode 1994-1996 à celle de 1997-1999 (voir point 6. 27); b) la succession de courtes pe´riodes de programmation ne permet pas l’utilisation optimale des re´sultats pro- venant de l’e´valuation (voir point 4. 23); c) les effets indirects restent insuffisamment mesure´s pour cerner l’impact des interventions structurelles, notamment concernant l’emploi (voir points 5. 12- 5. 15). 3. 11. Les e´valuations macro-e´conomiques re´alise´es ont mis en e´vidence des re´sultats positifs, notamment sur le plan de l’impact des actions structurelles (accroissement du PIB, effets sur l’offre et la demande, ame´lioration de l’emploi et de la convergence, efficacite´ des instruments des CCA), malgre´ des lacunes dans les syste`mes de programmation, de mise en œuvre et de suivi de ces actions (voir points 7. 1-7. 14). 3. 12. Les e´valuations au niveau des sous-programmes ou mesures restent insuffisantes. Elles se heurtent par ailleurs à des difficulte´s techniques dues à la dispersion et au manque de cohe´rence d’un grand nombre de mesures et de sous-programmes (voir point 7. 17). 4. PROBLÈMES GÉNÉRAUX Introduction 4. 2. De`s la re´forme de 1988, l’e´valuation s’est inscrite explicitement dans le cadre du partenariat [article 26 du re`glement (CEE) no 4253/88 — pre´cise´ dans le re`glement modifie´ du 20 juillet 1993]. Au cours de la premie`re pe´riode de programmation et jusqu’en 1995, les e´valua- tions ont cependant e´te´ effectue´es surtout à l’initiative de la Commission (5). Ces e´valuations — notamment celles ayant un caracte`re ex post — ont e´te´ entrave´es par des strate´gies de de´veloppement peu pre´cises et par un suivi non satisfaisant; elles n’ont d’ailleurs en ge´ne´ral pas fait l’objet d’une re´elle prise en compte et d’une discussion approfondie au niveau des comite´s de suivi. 4. 3. La Commission a surtout veille´ dans un premier temps à mettre en place son propre dispositif d’e´valuation pour l’ensemble des CCA couvrant les cinq objectifs prioritaires de la re´forme (6). Parmi les initiatives de la Commission lie´es au de´veloppement des e´valuations et des me´thodes affe´rentes, il convient de citer notamment la cre´ation en 1992 du groupe technique «Évaluation des politiques re´gionales» et, sur le plan me´thodologique, le lancement du Programme «Me´thodes d’e´valuation des actions de nature structurelle» (MEANS) en 1994. 4. 4. Pour la pe´riode de programmation 1994-1999, la Commission a e´te´ à la base d’une nouvelle dynamique de l’e´valuation, qui se traduit de´sormais par son application syste´matique aux deux premie`res phases (ex ante, inter- me´diaire) et ulte´rieurement à la phase ex post. 4. 5. L’e´valuation interme´diaire, alors que non pre´vue explicitement dans les re`glements des FS, a e´te´ applique´e à partir de 1995-1996 à tous les CCA, DOCUP et PO de la pe´riode de programmation 1994-1999. Elle s’inscrit concre`tement dans le cadre du partenariat, permettant aux comite´s de suivi d’en faire un outil de gestion 4. 1. L’e´valuation a pour but de de´terminer les effets socio-e´conomiques des actions mises en œuvre, c’est- à-dire d’examiner les re´sultats obtenus, de les confronter aux ressources investies et d’en analyser le coût; et tous ces points devront faire aussi l’objet d’une analyse par rapport aux pre´visions envisage´es. Or, afin de mener à bien cette tâche d’e´valuation, il est indispensable de disposer d’une bonne base statistique, d’e´tablir des objec- tifs quantifie´s sur la base d’un syste`me d’indicateurs et de de´velopper le cadre me´thodologique et analytique, tout en s’appuyant sur une analyse des relations entre moyens utilise´s, re´sultats finals et re´sultats interme´diaires. La Cour a constate´ des de´faillances à tous ces niveaux, qui ont limite´, jusqu’à pre´sent, l’utilite´ des e´valuations re´ali- se´es dans le cadre des fonds structurels, meˆme si de re´els progre`s ont e´te´ observe´s, contribuant à consolider la dynamique de l’e´valuation. (5) Il s’agit des e´valuations suivantes: a) pour la pe´riode de programmation 1989-1993: — appre´ciations ex ante des CCA O1 et O5b (1990- 1991), — e´valuations ex post des CCA O1 (1994-1995), — e´valuations ex post des CCA O2 (1996-1997), — e´valuations the´matiques (PME, te´le´communications); b) pour la pe´riode de programmation 1994-1999: — appre´ciations ex ante des plans de de´veloppement re´gional O1, — appre´ciations ex ante des programmes O5b, — appre´ciations ex ante des DOCUP O2 1994-1996, — appre´ciations ex ante des DOCUP O2 1997-1999, — analyses critiques des DOCUP et CCA O1 (1995). Des e´valuations par État membre de l’impact des politiques structurelles europe´ennes sur la cohe´sion e´conomique et sociale de l’Union ont aussi e´te´ commande´es par la Commis- sion. (6) Note de la DG XXII du 14 mars 1991. C 347/6 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 inte´gre´e et contribuant ainsi à une tre`s large diffusion de la culture de l’e´valuation. La Commission a pre´pare´ pour l’e´valuation interme´diaire un dispositif en phases successi- ves pour sa mise en œuvre aupre`s des États mem- bres (7). 4. 6. Ce dispositif n’a toutefois pas pre´cise´ les modalite´s concre`tes du processus (de´finition du cahier des charges, crite`res de se´lection de l’e´valuateur, structure du rapport d’e´valuation, collecte des donne´es, normes de qualite´ exige´es, calendrier, etc. ). 4. 7. En paralle`le, des manifestations comple´te´es par de nombreuses publications ont e´te´ organise´es par la Com- mission (8). En rassemblant les professionnels de l’e´valua- tion et les gestionnaires des FS, ces manifestations ont contribue´ au de´veloppement de la culture de l’e´valuation et à la sensibilisation des gestionnaires à ce sujet. L’e´va- luation a e´te´ pre´sente´e essentiellement comme un proces- sus d’apprentissage issu de l’expe´rience. 4. 8. La Commission a pre´sente´ en mai 1998 dans le cadre de l’avant-projet de budget ge´ne´ral des Communau- te´s europe´ennes pour l’exercice 1999 le document de travail «Bilan d’e´valuation 1996/1997», où elle de´crit les activite´s d’e´valuation mene´es en 1996-1997, e´voque la liste des e´valuations re´alise´es et en cours de re´alisation et (7) a) L’e´laboration en 1994 des premiers «termes de re´fe´rence pour l’e´valuation on going des CCA et des formes d’intervention objectif 1». Ils confirment le rôle de l’e´va- luation interme´diaire comme outil d’aide à la de´cision pour les comite´s de suivi et sa re´alisation en partenariat. Ils pre´cisent e´galement ses modalite´s de mise en œuvre, notamment le profil de l’e´quipe d’e´valuation et ses tâches; b) la diffusion en 1995 des «orientations communes pour le suivi et les e´valuations interme´diaires» pour les FS com- munautaires, qui de´finissent les e´le´ments d’analyse (objec- tifs globaux et spe´cifiques, indicateurs), ainsi que le lien entre le suivi et l’e´valuation interme´diaire; c) l’envoi de lettres aux États membres (1995) rappelant l’obligation de l’e´valuation interme´diaire et pre´cisant de nouveau les modalite´s de mise en œuvre souhaite´es. (8) Telles que: a) la confe´rence de Bruxelles sur l’e´valuation de la politique re´gionale europe´enne (16 novembre 1995) concernant principalement les re´sultats des e´valuations ex post de l’O1 1989-1993 et des appre´ciations ex ante 1994- 1999; b) la confe´rence europe´enne sur les me´thodes d’e´valuation des interventions des FS (Berlin, 2 et 3 de´cembre 1996) portant essentiellement sur les proble`mes d’e´valuation d’impact aux niveaux micro-e´conomique, macro-e´cono- mique et the´matique; c) la confe´rence de Se´ville en mars 1998 visant à favoriser les e´changes d’expe´rience en matie`re d’e´valuation dans le cadre du partenariat. fournit une synthe`se des re´sultats des e´valuations re´alise´es en 1996-1997. 4. 9. Les de´penses concernant l’e´valuation peuvent eˆtre finance´es soit directement par la Commission, soit cofi- nance´es en partenariat avec les États membres. Les tableaux 1 et 2 indiquent les de´penses directement effec- tue´es par la DG XVI dans le domaine de l’e´valuation pour les deux pe´riodes de programmation 1989-1993 et 1994-1999. 4. 10. Pour la pe´riode 1989-1993, les de´penses consa- cre´es à l’e´valuation sont de l’ordre de 10 Mio ECU, comme le montre le tableau 1. Les deux tiers environ de ces de´penses ont e´te´ effectue´s dans deux domaines qui rele`vent directement de la responsabilite´ de la Commis- sion et qui ressortent de sa propre initiative: d’une part, les initiatives communautaires au titre de l’article 11 du re`glement (CEE) no 4253/88 pour un montant de 3,1 Mio ECU et d’autre part, les e´valuations transversales et the´matiques telles que les PME, les te´le´communications, l’environnement ou les ressources humaines pour un montant de 3,2 Mio ECU. Les montants destine´s à l’e´valuation des O1 et O2 des FS sont cependant reste´s relativement faibles compte tenu du fait qu’à la meˆme pe´riode le partenariat a e´te´ peu de´veloppe´ dans le domaine de l’e´valuation. Pour la pe´riode 1994-1999, le montant consacre´ à l’e´valuation est de 25,2 Mio ECU en avril 1998 comme le montre le tableau 2. Cette augmen- tation par rapport à la pe´riode pre´ce´dente s’explique par le de´veloppement de l’e´valuation interme´diaire et de la me´thodologie y affe´rente dans le cadre du partenariat. 4. 11. En ce qui concerne les de´penses effectue´es par la Commission et les États membres dans ce cadre, forte- ment augmente´es depuis 1996, la Commission ne dispose pas toujours de la totalite´ des informations affe´rentes, notamment lorsque les e´valuations sont incluses dans la mesure «assistance technique» des programmes ope´ra- tionnels qui peut comprendre aussi d’autres de´penses. Un montant spe´cifiquement alloue´ aux besoins de l’e´valua- tion pourrait eˆtre pre´vu de`s la phase initiale de program- mation, ce qui rendrait son coût plus transparent. Cadre de re´fe´rence 4. 12. Dans le processus de de´veloppement de l’e´valua- tion, le programme MEANS (1995-1998), d’un montant total de 2,8 Mio ECU, occupe une place spe´cifique (9). La de´marche applique´e vise à susciter un de´veloppement me´thodologique uniforme et cohe´rent, à travers l’inven- taire des me´thodologies utilise´es par les États membres et (9) Ce programme est ge´re´ conjointement par la Commission et un consultant externe, dont la participation est finance´e sur la ligne B2-1820 pour un montant annuel de 932 000 ECU. 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/7 la mise en e´vidence d’exemples valables. Cette approche, essentiellement incitative et empirique, ne permet pas à la Commission de se prononcer sur les modalite´s concre`tes de mise en œuvre des me´thodes d’e´valuation ou sur le choix d’indicateurs, notamment ceux visant à mesurer les impacts socio-e´conomiques dans le domaine du de´velop- pement re´gional. Compte tenu de la complexite´ des aspects me´thodologiques lie´s à l’e´valuation, une me´thodo- logie unique applicable à toute situation spe´cifique n’existe pas. Il est cependant important que la Commis- sion soit en position de fournir des encadrements me´tho- dologiques permettant de disposer d’orientations appro- prie´es pour mener à terme des e´valuations adapte´es aux situations spe´cifiques. 4. 13. Les re´sultats du programme MEANS ont servi jusqu’à pre´sent à e´tablir les premiers fondements d’une nouvelle de´marche en matie`re d’e´valuation, notamment en introduisant un langage commun, et ont permis de pre´parer l’e´valuation interme´diaire dans le cadre du par- tenariat. Les tableaux 3 et 4 montrent la de´marche ge´ne´ralement accepte´e pour l’e´valuation. Toutefois, le programme MEANS n’a pas encore re´pondu de manie`re approfondie aux questions relatives aux aspects pratiques ou ope´rationnels lie´s à l’e´valuation. Ainsi, deux questions fondamentales restent encore sans re´ponse: d’une part, quel syste`me d’indicateurs est le plus approprie´ pour formuler un jugement global sur un programme structurel communautaire et, d’autre part, quelle approche d’e´va- luation est la plus approprie´e pour mesurer l’impact socio-e´conomique d’un programme structurel donne´ dans le cadre du de´veloppement re´gional. La Commission n’est pas encore en mesure de formuler des instructions pre´ci- ses quant aux techniques concre`tes à appliquer dans chaque situation spe´cifique d’e´valuation. Cette lacune pe`se notamment sur la mise en œuvre des e´valuations interme´diaires des formes d’intervention de la pe´riode de programmation 1994-1999. Bases statistiques et informations relatives aux objectifs poursuivis 4. 14. Les e´valuations, qu’elles soient ex ante, interme´- diaires ou ex post, sont souvent confronte´es à des objec- tifs formule´s de manie`re trop ge´ne´rale, meˆme au niveau des objectifs de mesures. Indicateurs 4. 16. L’existence de syste`mes d’indicateurs fiables et approprie´s est un e´le´ment indispensable du processus de programmation. Pour les besoins de l’e´valuation, les programmes structurels doivent contenir des informations sur la re´alisation financie`re et physique ainsi que sur les re´sultats ou performances des actions. Ces indicateurs doivent pouvoir renseigner les gestionnaires sur les effets imme´diats ou durables des actions mises en œuvre et d’autre part, permettre de mesurer les progre`s re´alise´s par rapport aux objectifs globaux des programmes, tels que la croissance re´gionale ou la re´duction du chômage. 4. 17. La fiabilite´ des indicateurs financiers est e´troite- ment lie´e à celle des certificats de de´penses envoye´s à la Commission pour de´clencher le paiement communautaire y affe´rent. Les indicateurs physiques sont souvent indi- que´s comme un comple´ment d’information et leur fiabili- te´ est relative. Les bases de donne´es existantes ne permet- tent pas toujours d’enregistrer l’e´volution physique des re´alisations et les be´ne´ficiaires finals n’informent pas toujours les gestionnaires de manie`re pe´riodique sur l’e´tat des re´alisations physiques. L’e´valuation interme´diaire du PO Lisboa e Vale do Tejo au Portugal fait e´tat d’indica- teurs physiques strictement proportionnels aux de´penses, sans mentionner aucune variation lie´e à des retards de re´alisation ou à d’autres causes. Les États membres devraient ame´liorer leurs me´canismes de suivi et les bases de donne´es soutenant les indicateurs. 4. 18. La mesure des re´sultats et des effets au niveau des sous-programmes et des mesures d’une part, de l’impact au niveau des programmes d’autre part, est confronte´e aux incertitudes pesant sur l’identification des chaînes de causalite´ entre les diffe´rents niveaux d’objectifs et entre les objectifs et les mesures et projets, et sur celle des relations horizontales de comple´mentarite´ et de synergie entre mesures et entre objectifs. Ainsi l’effet spe´cifique d’une mesure sur le de´veloppement re´gional, ou l’impact d’un investissement sur la demande ou a fortiori sur l’offre, sont difficiles à concre´tiser. Dans ce cadre, la recherche d’indicateurs constituant un outil ade´quat pour l’e´valuation des re´sultats et de l’impact s’ave`re encore inacheve´e en ce qui concerne le CCA 1994-1999 (voir 6. 23). 4. 15. Le niveau de de´veloppement des bases statistiques existantes constitue un frein au suivi et à l’e´valuation des programmes et des mesures cofinance´es par les Fonds structurels. Les lacunes visent notamment le manque de couverture statistique limite´e aux zones concerne´es, l’ab- sence de statistiques pour certains aspects et une pe´riodi- cite´ de collecte des informations inade´quate par rapport aux besoins de suivi et d’e´valuation. 4. 19. L’exercice d’appre´ciation ex ante du CCA est indispensable aux e´valuations ulte´rieures, veillant à ce que tous les indicateurs de re´sultats et d’impact soient e´tablis et quantifie´s pour permettre un jugement sur l’impact pre´visionnel du programme et la comparaison avec les effets re´els. Dans ce contexte, l’approche de la gestion par objectifs n’a pas toujours e´te´ applique´e de manie`re harmonise´e ou satisfaisante, ce qui a eu un C 347/8 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 impact dans le domaine des indicateurs ne´cessaires à l’e´valuation. Ainsi, le CCA 1994-1999 italien contient un faible nombre d’indicateurs, ce qui pourrait entraver ses e´valuations ulte´rieures. Par contre, le CCA 1994-1999 portugais, approuve´ par la Commission sans grandes modifications, comporte un nombre trop grand d’indica- teurs, de l’ordre de 300, ce qui compliquerait e´galement l’exercice d’e´valuation. Cette divergence dans l’e´tablisse- ment des indicateurs d’un CCA à un autre souligne le manque de cohe´rence de la programmation. La pre´sence de nombreux objectifs ge´ne´raux et peu quantifiables conduisent parfois à revoir, lors de l’e´valuation interme´- diaire, le syste`me des indicateurs approuve´ par la Com- mission au stade de l’appre´ciation ex ante, car celui-ci e´tait insuffisamment de´fini et ope´rationnel. 4. 20. Les interventions structurelles et les situations socio-e´conomiques sur lesquelles elles agissent, donnent lieu à une grande varie´te´ d’indicateurs souvent e´tablis de façon de´centralise´e. La Commission n’a pas de´veloppe´ de listes d’indicateurs qu’elle conside`re comme indispensa- bles et repre´sentatifs sur le plan du de´veloppement re´gio- nal ou dans le cadre des diffe´rents types d’actions, meˆme si des listes partielles ont bien e´te´ communique´es à certaines instances nationales ou re´gionales et ont de´jà fait l’objet de discussions. 4. 21. Une quantification accrue des indicateurs de re´sul- tats et d’impact devrait eˆtre de´veloppe´e dans le cadre du suivi, sans oublier la fiabilite´ de cette quantification. Il arrive en effet qu’elle ne soit pas fiable, n’e´vitant pas dans certains cas le double comptage d’emplois cre´e´s ou ne permettant pas de distinguer les effets bruts des effets nets sur l’emploi. Ceci a e´te´ constate´ en comparant le rapport d’e´valuation interme´diaire du PO Brandebourg avec les statistiques concernant l’inscription des personnes à la se´curite´ sociale. Prise en compte de l’e´valuation 4. 22. La contribution de l’e´valuation à l’utilisation effi- cace des fonds communautaires de´pend largement de la qualite´ du contenu, ainsi que de la date de re´ception des re´sultats et de celle de la de´cision visant à modifier la strate´gie. Toutefois, un certain nombre d’e´valuations interme´diaires des CCA, DOCUP et PO de la pe´riode de programmation 1994-1999, ont e´te´ finalise´es assez tardi- vement, retardant ainsi les ajustements e´ventuels. 4. 23. En ce qui concerne la programmation de l’O2, la succession des pe´riodes de programmation plus courtes que celle de l’O1 rend particulie`rement difficile la coïnci- dence des dates auxquelles les re´sultats des e´valuations sont disponibles pour tirer les enseignements du passe´ et pour adapter les interventions suivantes et les dates auxquelles les de´cisions de programmation doivent eˆtre prises. Il y a un certain de´phasage entre le cycle de la programmation de l’O2 et son cycle d’e´valuation; ainsi, la version finale du rapport de synthe`se de l’e´valuation ex post de l’O2 pour la pe´riode 1989-1993 a e´te´ remise à la Commission en e´te´ 1997, alors que l’appre´ciation ex ante de la programmation 1997-1999 e´tait en cours et que l’e´valuation ex post de la pe´riode 1994-1996 n’avait pas de´marre´. 4. 24. Quels que soient les re´sultats des programmes structurels mis en e´vidence par les rapports d’e´valuation, la dotation budge´taire en faveur de ces programmes ou des suivants reste souvent inchange´e. Les e´valuations ont e´te´ tre`s rarement prises en compte lors de la premie`re pe´riode de programmation dans le syste`me de´cisionnel, les reprogrammations ayant e´te´ ge´ne´ralement fonde´es essentiellement sur le degre´ d’absorption financie`re. Ainsi, en e´tait-il des recommandations utiles faites par le consul- tant principal dans le cadre de l’e´valuation ex post des CCA objectif 1 1989-1993 (voir point 5. 7). 4. 25. Les aspects plus qualitatifs de performance ou d’efficacite´ des programmes identifie´s dans des e´valua- tions interme´diaires ou des rapports d’exe´cution n’ont pas eu suffisamment d’incidence sur la gestion ope´ration- nelle des FS, ni sur le processus de responsabilisation des partenaires concerne´s par le de´veloppement des program- mes. 4. 26. Les re´sultats de l’e´valuation interme´diaire des DOCUP, CCA et PO de l’objectif 2 (1994-1996), de meˆme que du suivi, mettent en e´vidence une inade´quation entre le financement programme´ et la re´alisation des programmes. Cette situation conduit à rendre pre´ponde´- rant le souci de l’absorption des cre´dits et peut de´boucher sur une sous-estimation du rôle de l’e´valuation dans l’analyse de la zone conside´re´e, notamment en ce qui concerne la cohe´rence entre les objectifs, les ressources affecte´es et l’impact des interventions structurelles. 4. 27. Les conclusions et recommandations des e´valua- tions sont souvent e´videntes pour les gestionnaires des formes d’interventions bien qu’elles puissent eˆtre utiles pour d’autres partenaires. Cela vaut tant pour les e´valua- tions ex post (voir point 5. 8) que pour les e´valuations interme´diaires dans le cadre du partenariat. Objectivite´ des e´valuations 4. 28. Le manque de cadre de re´fe´rence pre´cis entrave l’application de techniques approprie´es et applicables de manie`re objective aux situations d’e´valuation spe´cifique, les re´sultats pouvant ainsi eˆtre facilement contrôle´s et garantissant l’inde´pendance de l’e´valuateur. Il arrive cependant que la me´thode pre´conise´e ne soit pas objecti- 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/9 vement motive´e, que l’e´valuateur adapte son approche trop facilement aux difficulte´s rencontre´es ou choisisse les indicateurs en fonction de l’information disponible. 4. 29. L’inde´pendance vis-à-vis des gestionnaires ne paraît pas non plus toujours assure´e, notamment sur le plan des informations (voir point 6. 11), tandis que les rapports d’e´valuation n’indiquent pas toujours la source des informations sur lesquelles se fondent leurs constata- tions. Cette lacune peut conduire à douter de la fiabilite´ et de la validite´ des informations pre´sente´es dans les rapports d’e´valuation. 4. 30. Alors que l’objectivite´ devrait eˆtre garantie par un syste`me de contrôle visant la qualite´ des indicateurs (de re´alisation, de re´sultat et d’impact), la fiabilite´ des infor- mations de base et le degre´ de mise en œuvre de la me´thodologie, les services de la Commission analysent les informations et les re´sultats pre´sente´s dans le cadre de l’e´valuation, mais ne font aucun contrôle sur place ou ve´rification du bon fonctionnement des syste`mes d’e´va- luation existant dans les États membres. Les contrats d’e´valuation passe´s par la Commission 4. 31. L’examen des proce´dures de passation de contrats relatifs aux e´valuations que la Commission a fait effec- tuer, a identifie´ des faiblesses: proce´dures de se´lection insatisfaisantes, cahiers des charges trop flous, retards et faible qualite´ des rapports. 4. 32. Les e´le´ments d’appre´ciation ou d’analyse de´termi- nant le choix du consultant par la Commission ne figurent pas toujours de manie`re pre´cise dans les proce`s- verbaux de re´unions relatifs à la proce´dure d’appel d’of- fres. L’audit re´alise´ par la Cour n’a pas pu assurer que les meilleurs experts du domaine de compe´tence le plus approprie´ ont e´te´ se´lectionne´s. 4. 33. Dans les cas de l’e´valuation ex post de l’ensemble des CCA 1989-1993 de l’O1 et de celle de l’O2, la se´lection a porte´ respectivement sur un consultant princi- pal accompagne´ d’autres consultants nationaux et sur des consultants coordinateurs qui, eux-meˆmes, ont par la les e´tudes à d’autres consultants. Dans suite sous-traite´ cette chaîne de consultants, la Commission peut perdre la maîtrise des modalite´s de mise en œuvre de l’e´valuation garantissant la cohe´rence, l’homoge´ne´ite´ et la qualite´ des re´sultats. 4. 35. S’agissant de l’e´che´ancier de remise des rapports, des retards sont souvent constate´s. Ainsi, concernant l’e´valuation de l’ensemble des CCA 1989-1993 O1, les clauses contractuelles pre´voyaient une remise du rapport le 28 fe´vrier 1995, lequel n’a en fait e´te´ comple´te´ qu’en novembre 1995. Aucune sanction quant à la non-obser- vation des obligations contractuelles en matie`re de de´lai n’avait e´te´ pre´vue par la Commission qui a, par contre, verse´ le paiement final de 40 % le 11 juillet 1995 en vertu de l’article 4 du contrat. 4. 36. L’absence de termes de re´fe´rence contractuels pre´- cis et clairs en ce qui concerne la de´marche me´thodologi- que à suivre et les re´sultats escompte´s permet des re´ac- tions variables des services de la Commission aux rap- ports. Ainsi, certains rapports se limitant à de simples descriptions ou à des analyses vagues de l’utilite´ des re´alisations, ou fonde´s sur des affirmations ge´ne´riques de personnes interroge´es, ou encore de´bouchant sur des recommandations trop ge´ne´rales, sont ne´anmoins agre´e´s. Dans le cas de l’e´valuation ex post du CCA 1989-1993 Irlande, un service pre´conise de re´silier le contrat avec le consultant en raison de la mauvaise qualite´, alors qu’un autre service l’a approuve´. Dans le cas de l’e´valuation ex post du CCA 1989-1993 Portugal, les services concerne´s s’accordent à pre´ciser que le rapport ne contient pas d’e´le´ments d’e´valuation, mais se contente de re´pe´ter les e´le´ments des re´alisations physiques de´jà pre´sente´s par l’État membre. De meˆme, il est souligne´ que le rapport d’e´valuation ex post du CCA 1989-1993 Espagne est trop descriptif et contient peu d’analyses. Pour l’e´valua- tion ex post du CCA 1989-1993 Irlande du Nord, il est juge´ incomplet. Pour l’e´valuation ex post du CCA 1989- 1993 Italie, le rapport est conside´re´ comme mal structure´ et organise´. Pour l’e´valuation du CCA 1989-1993 Gre`ce, la conclusion ge´ne´rale manque, alors que des conclusions par chapitre y figurent. 5. ÉVALUATIONS EX POST DES CCA OBJECTIFS 1 ET 2 (1989-1993) Introduction 5. 1. Les e´valuateurs sont souvent confronte´s aux diffi- culte´s suivantes: a) une programmation initiale qui s’est souvent de´roule´e dans la hâte et en l’absence d’e´valuations ex ante des programmes, notamment des fondements e´conomi- ques inhe´rents surtout en ce qui concerne les re´gions de l’O1; 4. 34. Le cahier des charges est parfois impre´cis en ce qui concerne la description des travaux à exe´cuter et les obligations de re´sultat attendues. Les termes du contrat restent tre`s ge´ne´raux. Souvent, les modalite´s de mise en œuvre de l’e´valuation restent ouvertes à un accord ulte´- rieur sur le cadre me´thodologique restant à convenir avec la Commission. b) l’absence d’objectifs quantifie´s et d’indicateurs de re´sultat; c) des lacunes statistiques en ce qui concerne la situation socio-e´conomique à la veille de l’intervention des FS dans le cadre de l’O2 et celle apre`s l’intervention, notamment en ce qui concerne le tissu industriel, les C 347/10 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 investissements et le produit re´gional brut. Les outils statistiques ne correspondent pas toujours au pe´rime`- tre d’analyse retenu (commune, arrondissement, bas- sin d’emploi); d) le non-ache`vement de certaines actions; e) l’existence de facteurs exoge`nes contribuant à expli- quer l’e´volution de la situation socio-e´conomique; f) le caracte`re he´te´roge`ne des projets et de leurs objec- tifs, lorsque l’attribution des aides n’est pas suffisam- ment lie´e aux besoins re´gionaux ou locaux; g) des effets inhe´rents aux mesures et au programme difficilement identifiables, en raison de l’arsenal d’ac- tions be´ne´ficiant à la meˆme re´gion ou zone; h) la difficulte´ pour mesurer des effets indirects du programme (notamment en matie`re d’emploi), aucun e´le´ment d’observation y relatif n’ayant e´te´ mis en place de`s le lancement des programmes et aucune enqueˆte approfondie n’ayant e´te´ re´alise´e à ce sujet depuis leur ache`vement. Évaluation ex post des CCA objectif 1 (1989-1993) 5. 2. L’e´valuation ex post des CCA O1 a e´te´ coordonne´e par un consultant central et se compose d’e´valuations ex post des CCA concerne´s mene´es par des consultants nationaux entre janvier 1994 et juin 1995. Le consultant assurant la coordination a mis au point la de´marche me´thodologique à appliquer, qui fait appel à des me´tho- des d’analyse tant macro-e´conomique que de mesures et projets. Cette de´marche vise d’une part l’analyse de la strate´gie et de la logique inhe´rente aux CCA, PO et mesures, d’autre part un premier bilan des re´alisations physiques et de l’impact, et enfin un examen des me´canis- mes de mise en œuvre. La synthe`se de cette de´marche figure en annexe I. 5. 3. Bien que cohe´rente dans l’ensemble, la me´thodolo- gie propose´e montre des faiblesses. Ainsi, elle pre´voit que l’analyse de la strate´gie et de la logique inhe´rente aux CCA, PO et mesures s’appuie sur une structure d’objec- tifs harmonise´e, lie´e à une nomenclature standard d’acti- vite´s. Cette approche permettrait la comparaison entre États membres, mais ne donne cependant pas ne´cessaire- ment lieu à une hie´rarchisation des objectifs, bâtie à la fois sur les priorite´s telles que perçues par les États membres et sur les crite`res de hie´rarchie, de comple´men- tarite´, de substituabilite´ et de synergie. Aussi, ne permet- elle pas une identification de toutes les faiblesses de cohe´rence dans la strate´gie propre à chacun des CCA et PO. En outre, les indicateurs physiques et d’impact repris dans le document me´thodologique ne permettent souvent pas de re´pondre aux questions pertinentes sur les effets pre´vus et non pre´vus auxquelles la me´thodologie pre´voit de re´pondre. 5. 4. La Cour a par ailleurs constate´ des lacunes telles que: a) l’e´volution de l’environnement socio-e´conomique des CCA et des PO n’a pas toujours fait l’objet d’une comparaison entre la situation initiale sur laquelle l’intervention communautaire devait agir (1988-1989) et la situation de fin de mise en œuvre (1993-1994); parfois les donne´es sont trop anciennes, notamment celles qui concernent les disparite´s re´gionales; b) la hie´rarchisation des objectifs pre´vue dans la me´tho- dologie n’a souvent pas e´te´ suffisamment analyse´e; soit elle n’e´tait pas e´tablie, soit elle n’e´tait que par- tielle, se limitant aux PO et mesures choisis pour un examen spe´cifique, ou n’appliquant pas de manie`re syste´matique les crite`res de structuration; il est arrive´ ainsi que la hie´rarchisation des objectifs et des instru- ments n’ait pas de´bouche´ sur une meilleure identifica- tion des proble`mes de cohe´rence et de pertinence des priorite´s et de leurs poids relatifs; c) les ajustements apporte´s aux CCA et PO n’ont parfois pas fait l’objet d’une analyse approfondie des causes; d) alors que l’exe´cution financie`re et les me´canismes de mise en œuvre, de meˆme que les re´alisations physi- ques, sont ge´ne´ralement bien traite´s dans les rapports d’e´valuation, les effets des programmes ou mesures, n’ont, dans certains cas, pas fait l’objet de recherche, à l’exception des emplois cre´e´s, ou sont formule´s en termes non quantitatifs. Les seuls effets quantifie´s sont parfois fournis par l’application de mode`les macro-e´conomiques et concernent l’accroissement du PIB, la cre´ation d’emplois, la compe´titivite´. Cela a montre´ l’insuffisance des donne´es fournies par les gestionnaires dans le cadre des syste`mes de suivi; e) les analyses de type bottom-up n’ont ge´ne´ralement pas abouti à tirer des conclusions en termes d’impact au niveau des programmes; f) la valeur ajoute´e communautaire ne s’exprime parfois qu’en termes qualitatifs (par exemple, la prise en compte de la logique de programme, la mise en œuvre d’une strate´gie inte´gre´e, l’effet sur le processus d’orga- nisation); elle n’a d’ailleurs pas toujours e´te´ examine´e de manie`re syste´matique; 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/11 g) les effets attendus à long terme n’ont pas e´te´ aborde´s ou ne l’ont e´te´ qu’en termes qualitatifs. 5. 8. L’e´valuation ex post de l’ensemble des CCA 1989- 1993 O1 conduite par les e´valuateurs nationaux a princi- palement porte´ sur l’ame´lioration des syste`mes de suivi et de gestion des États membres, plutôt que sur un re´el exercice d’e´valuation de l’impact des FS. 5. 5. Le CCA O1 Espagne a fait l’objet à la fois d’une e´valuation ex post commande´e par la Commission et d’une autre initie´e par les autorite´s nationales et be´ne´fi- ciant d’un cofinancement communautaire. Élabore´es dans la meˆme pe´riode et poursuivant les meˆmes objectifs, les deux e´tudes ont e´te´ de´veloppe´es de manie`re inde´pendante et se´pare´e. 5. 6. En matie`re de re´sultats et d’impact, les e´valuations ex post mettent en e´vidence les re´alisations physiques dues aux CCA O1, les impacts macro-e´conomiques des CCA retenus par certaines e´valuations nationales, et les progre`s en matie`re de planification, bien qu’en ce domaine l’approche par programme ait rencontre´ certains obstacles (10). Elles soulignent e´galement les contributions des CCA en matie`re de structures organisationnelles innovantes, de gestion financie`re, de suivi, de syste`mes d’information, de coordination et de partenariat, bien qu’à chacun de ces niveaux des progre`s substantiels restent à re´aliser. 5. 7. La synthe`se effectue´e en 1995 par le consultant principal comportait quelques recommandations utiles auxquelles la Commission n’a pas pu donner pleinement suite: par exemple, une meilleure clarification, lors de l’e´laboration de la programmation, entre les interventions structurelles communautaires encourageant les facteurs endoge`nes de croissance et celles ayant pour objectif le re´e´quilibre re´gional ou l’augmentation du bien-eˆtre; ou bien un e´quilibrage entre la priorite´ octroye´e aux investis- sements en infrastructure et les spe´cificite´s re´gionales qu’il conviendrait de de´velopper, ou entre la lutte contre le chômage et la ne´cessite´ d’accroître la productivite´ et la compe´titivite´; ou enfin une meilleure prise en compte de l’emploi dans les politiques re´gionales. Évaluations ex post objectif 2 (1989-1993) 5. 9. Les e´valuations ex post des programmes de l’O2 pour la pe´riode 1989-1993 ont e´te´ coordonne´es par un e´valuateur externe dans les 60 re´gions e´ligibles. Chaque re´gion a fait l’objet d’une analyse ge´ne´rale, tandis que des e´tudes approfondies ont porte´ sur 22 re´gions. Ces e´valua- tions avaient pour objet principal d’analyser l’impact de ces interventions structurelles sur le processus de recon- version industrielle dans ces re´gions et de de´gager les leçons pour la programmation suivante. Une synthe`se de l’approche d’e´valuation figure en annexe II. 5. 10. Bien qu’un cadre commun ait e´te´ pre´vu, les appro- ches retenues sont tre`s he´te´roge`nes, notamment en ce qui concerne les priorite´s et le niveau de de´veloppement de l’analyse, son caracte`re descriptif ou critique, les me´tho- des et techniques utilise´es. 5. 11. L’analyse de la strate´gie et du caracte`re approprie´ des CCA et des PO et des modifications qu’ils ont subies par rapport à l’environnement socio-e´conomique a rare- ment conduit à reformuler la structure des objectifs, des sous-programmes et des mesures en fonction de la logi- que de de´veloppement ou de reconversion re´gionale et sur la base des crite`res de hie´rarchie, de comple´mentarite´ et de substituabilite´. Une telle reformulation, à un niveau e´labore´, devrait permettre d’identifier de manie`re plus syste´matique les lacunes de la strate´gie mise en œuvre en ce qui concerne la cohe´rence, le poids relatif ade´quat des priorite´s, les synergies, les comple´mentarite´s, l’efficacite´ face à l’environnement socio-e´conomique, alors que beau- coup d’analyses de strate´gie, partant de la structure des CCA et des PO, sont partielles et peu critiques à l’e´gard de cette strate´gie. (10) L’approche par programme a e´te´ entrave´e par: i) ii) les courts de´lais de planification impliquant notamment l’absence d’e´valuation ex ante; l’absence d’objectifs concrets, d’indicateurs quantifie´s en matie`re de re´alisation, de re´sultat et d’impact; iii) des contraintes administratives, notamment lorsque des sous-programmes d’un meˆme programme de´pendent d’administrations diffe´rentes, ou lorsque les approches sectorielles et re´gionales se croisent; iv) des faiblesses dans les re`gles communautaires, aboutis- sant notamment à agre´er dans le cadre d’initiatives communautaires des projets rejete´s par les PO O1; l’approche par projet du Fonds de cohe´sion, qui ne joue pas non plus en faveur d’une application harmonieuse de l’approche par programme. v) 5. 12. En ce qui concerne l’impact des interventions des FS, les e´valuateurs ne parviennent pas, sur base d’un e´chantillon de projets et de l’examen de leurs re´sultats, de leur valeur ajoute´e et de leur additionnalite´, à agre´ger les observations au niveau de la mesure et de l’impact socio-e´conomique du programme. 5. 13. Peu d’e´valuations se sont base´es en matie`re d’im- pact sur une ve´ritable combinaison des approches top down et bottom up. Cette combinaison a notamment e´te´ utilise´e pour l’e´valuation relative aux interventions O2 en C 347/12 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 faveur de la Toscane. Dans ce cas, l’approche top down permettait, en s’appuyant sur un mode`le e´conome´trique bire´gional Toscane — reste de l’Italie, d’estimer l’impact global de l’accroissement de la demande sur la production par secteur, sur les niveaux de consommation, et sur la valeur ajoute´e, à la fois au niveau de la Toscane et du reste de l’Italie. Le mode`le permet e´galement d’estimer les multiplicateurs d’effet par types d’intervention (infras- tructures, services aux entreprises, aides aux investisse- ments prive´s) et les effets sur l’emploi (11). Les effets directs sur l’emploi ont e´te´ estime´s à l’aide d’une techni- que de coefficients standards concernant les diffe´rentes typologies d’intervention. Cette approche top down concerne donc les effets directs à court terme, lie´s à la demande. L’approche bottom up partant d’un e´chantillon de projets et de mesures est plus à meˆme de traduire les effets à long terme, plus structurants et indirects, concer- nant surtout l’offre et les e´conomies externes permettant de re´duire les coûts de production. Meˆme si ces effets sont plus difficiles à isoler et à quantifier et meˆme si cette approche ne permet pas d’agre´ger les effets au niveau des mesures et du programme — ce qui e´tait pourtant le but de l’e´valuation approfondie — les conside´rations qualita- tives sur l’efficacite´ des mesures et sur le niveau d’addi- tionnalite´ des interventions communautaires constituent un comple´ment utile à l’approche top down. La combi- naison des deux approches peut fournir une re´elle valeur ajoute´e en matie`re d’analyse, notamment si elle s’appuie sur des techniques de mode´lisation ou de formalisation. 5. 14. Les e´valuations qui font appel en matie`re d’impact à des enqueˆtes syste´matiques — telles que plusieurs enqueˆtes sur l’additionnalite´ des mesures ou l’application d’une me´thode spe´cifique d’estimation des emplois nets cre´e´s lie´s aux mesures en comparant un groupe expe´ri- mental et un groupe de contrôle — sont e´galement rares. Elles fournissent pourtant une re´elle valeur ajoute´e au niveau de l’e´valuation de l’impact. L’efficacite´ des mesu- res et des programmes aurait e´te´ mieux e´value´e si les e´valuateurs avaient effectue´ des enqueˆtes statistiques sur certains indicateurs de re´sultat, qu’ils avaient d’ailleurs parfois souhaite´ pouvoir re´aliser. Ainsi, on ne trouve pas toujours des donne´es sur le nombre d’entreprises implan- te´es dans les nouvelles zones industrielles dont l’ame´nage- ment be´ne´ficie d’aides des FS, ou sur les transferts technologiques des instituts de recherche vers les entrepri- ses. Les entretiens avec des gestionnaires de mesures et de projets ge´ne´ralement pre´vus dans les approches d’e´valua- tion ne permettent que rarement d’obtenir des informa- tions pre´cises sur les re´alisations, les re´sultats et l’impact des ope´rations. 5. 15. Les re´sultats en matie`re d’emplois cre´e´s ne sont pas certains quant au caracte`re durable des emplois et à la part spe´cifiquement attribuable aux actions structurel- les. Par ailleurs, les rapports d’e´valuation produisent quelquefois des donne´es contradictoires. 5. 16. En matie`re d’impact des programmes O2, les e´va- luations ex post permettent notamment de retenir que: a) les PO O2, s’ils n’ont pas souvent permis d’ame´liorer la situation socio-e´conomique, ont pour le moins contribue´ à e´viter une nouvelle de´gradation de cette situation, notamment en ce qui concerne le maintien de l’emploi (12), et à jeter les bases de la reconversion; la plupart des re´gions cherchent en effet à diversifier leur e´conomie et leur tissu industriel, e´ventuellement à se de´faire de l’image de zone exclusivement indus- trielle; b) malgre´ la de´marche inte´gre´e, base´e sur le concept de programme, les PO consistent parfois en un amende- ment de politiques nationales et re´gionales de´jà mises en place et ne constituent pas toujours un outil de programmation; c) l’existence simultane´e de PO O2 et d’initiatives com- lieu à des confusions et à des munautaires a donne´ superpositions d’aides; d) l’intervention des FS a eu des effets positifs sur la programmation, les modalite´s de mise en œuvre, le partenariat, les synergies, la coordination et l’e´valua- tion. Le de´faut de synergie et d’e´changes entre gestion- naires et actions FEDER et FSE est cependant souvent souligne´; e) en matie`re d’additionnalite´, les FS permettent d’abor- der de nouveaux cre´neaux, de re´aliser des projets qui ne l’auraient pas e´te´ sans aide communautaire, d’acce´- le´rer la mise en œuvre ou de re´aliser des projets plus ambitieux, ou encore de donner un caracte`re structu- rant au projet initial. L’additionnalite´ des typologies de mesures (aides aux infrastructures, services aux entreprises, aides aux investissements prive´s) peut s’ave´rer assez diffe´rente; (11) Cela ne signifie cependant pas qu’il s’agisse de cre´ations d’emploi, le mode`le e´conome´trique e´tant base´ sur l’hypothe`se du plein emploi et les entreprises disposant, en pe´riode de basse conjoncture, de sur-capacite´s de production. (12) Le 8e`me rapport annuel sur les FS fait e´tat d’effets de levier importants qui se re´fe`rent à des re´sultats bruts tels que la cre´ation d’emplois ou d’entreprises. 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/13 f) les FS ne constituent pas souvent un levier pour la participation des fonds prive´s ou, pour le moins, les e´valuations omettent de traiter cet aspect; munautaires (environnement, marche´s publics, etc. ) et de la mesure des re´sultats en matie`re d’emploi et de PME. g) les e´valuations soulignent que les e´tudes et ne´gocia- tions pre´paratoires, et les proce´dures administratives relatives à l’adoption et à la mise en œuvre de certains projets, de meˆme que l’inte´gration des nouvelles politi- ques nationales impliquent des de´lais souvent sous- estime´s. 5. 17. En matie`re de gestion, il de´coule notamment des e´valuations que certaines pratiques de suivi des program- mes se sont ave´re´es insuffisantes et que les ajustements internes pendant la pe´riode de programmation avaient trait essentiellement à la maximisation du taux d’absorp- tion des cre´dits et pas à une re´vision des axes prioritaires de de´veloppement re´gional. 6. 3. Par ailleurs, la Commission sugge´rait que l’e´valua- tion soit globale et que des e´valuations the´matiques sur un secteur ou une zone ge´ographique particuliers soient de´veloppe´es dans une phase ulte´rieure. 6. 4. Certains États membres, notamment l’Espagne (13), la France (14), l’Irlande (15) et les Pays-Bas (16), ont e´gale- ment de´fini un cadre pour l’e´valuation interme´diaire. Ils retiennent tous que l’e´valuation interme´diaire doit porter sur: a) l’e´volution du contexte socio-e´conomique; b) l’analyse de la strate´gie et de la cohe´rence interne et externe; c) les conditions de mise en œuvre incluant la program- mation et les crite`res de se´lection, l’organisation admi- nistrative, le dispositif de suivi, les circuits de finance- ment des projets; 6. ÉVALUATIONS INTERMÉDIAIRES (1994-1999) d) la mise en œuvre et les re´alisations en tenant compte De´veloppement et inte´gration des principes d’e´valuation interme´diaire 6. 1. L’e´valuation interme´diaire est pre´vue dans le chapi- tre sur les dispositions de mise en œuvre repris dans chaque CCA, DOCUP et autre forme d’intervention visant à renforcer le suivi. Il est souligne´ que les e´valua- tions interme´diaires comportent une analyse critique des donne´es collecte´es dans le cadre du suivi, expliquent les e´carts e´ventuels par rapport aux objectifs poursuivis et estiment les re´sultats escompte´s de l’intervention. Elles contiennent e´galement un avis sur la validite´ de l’inter- vention en cours et la pertinence des objectifs retenus. 6. 2. Dans des notes adresse´es aux États membres au cours de l’exercice 1995, la Commission a souligne´ que les e´valuations interme´diaires devaient «fournir aux comi- te´s de suivi les signaux ade´quats sur le bon fonctionne- ment des programmes, proposer d’e´ventuelles actions de reprogrammation et pre´senter une image objective inde´- pendante des avance´es re´alise´es». Il y e´tait propose´ e´gale- ment de se concentrer, dans une premie`re phase, sur les conditions de fonctionnement des formes d’intervention et notamment sur les indicateurs, les capacite´s de gestion des responsables et les proce´dures de se´lection des pro- jets. Dans une deuxie`me phase, le rapport d’e´valuation interme´diaire devait, en vue de sugge´rer les changements ne´cessaires et d’adapter la programmation, traiter de la pertinence de la strate´gie et du bien-fonde´ des objectifs des interventions mises en œuvre, de l’efficacite´ du pro- gramme par comparaison des re´alisations et des premiers re´sultats par rapport aux objectifs, de l’efficience du programme, de l’application correcte des politiques com- des re´sultats pre´vus; e) les premiers effets obtenus comple´te´s par une estima- tion de ceux à attendre; f) les coûts en vue de mesurer l’efficience, c’est-à-dire le rapport entre les moyens et les re´sultats, et de´boucher, le cas e´che´ant, sur des propositions de modification en matie`re de priorite´s ou d’actions pre´- vues. 6. 5. Le principe du partenariat a e´te´ introduit en 1988 comme un des moyens d’assurer l’efficacite´ des FS, mais il ne joue pleinement son rôle dans le syste`me de gestion de´centralise´e qu’à partir de 1995 avec l’e´valuation inter- me´diaire de l’ensemble des CCA 1994-1999. Il a e´te´ de´fini à cette occasion qu’il appartient aux comite´s de suivi «d’arreˆter les objectifs de l’e´valuation, les normes de qualite´ escompte´es garantissant la cohe´rence d’ensemble de la de´marche, d’adapter le cahier des charges aux particularite´s des re´gions en cause, en respectant la finali- te´ de l’exercice, de se´lectionner les e´valuateurs sur la base de listes restreintes pre´pare´es par des responsables de l’e´valuation (membre du comite´ de suivi et rapporteur communautaire) apre`s appel d’offre publique». L’e´valua- tion interme´diaire a contribue´ à renforcer re´ellement le (13) Evaluación intermedia de programas operativos regionales del objetivo no 2 (fase 1994-1996). Orientaciones sobre contenidos comunes a recoger en los pliegos de condiciones te´cnicas, 23 mai 1996. (14) DATAR, Calendrier re´glementaire et administratif. (15) General criteria to underpin Terms of Reference for Mid- Term Evaluation of Operational Programmes / Community Initiatives. (16) Evaluatiekader voor de programma’s van de Europese Struc- tuurfondsen, Terp Advies-CBEA Pieter van Run, de´cembre 1997. C 347/14 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 partenariat, en le faisant intervenir dans l’analyse causale des interventions structurelles. Les tableaux 5 et 6 mon- trent la mise en œuvre ope´rationnelle des e´valuations interme´diaires, de meˆme que l’engagement important des États membres dans le cadre du partenariat visant à l’identification de l’impact des FS. 6. 6. L’approche de l’e´valuation interme´diaire dans le cadre du partenariat a e´galement fortement influence´ les structures institutionnelles et les traditions nationales ou re´gionales dans les administrations responsables. Elle a permis une meilleure diffusion de la culture de la pro- grammation pluriannuelle, dont l’e´valuation est un e´le´- ment indispensable, pour dresser un bilan critique des interventions structurelles et pre´parer les ajustements ne´cessaires. Le partenariat en matie`re d’e´valuation est particulie`rement bien de´veloppe´ dans le cadre de l’O1. 6. 7. Actuellement, les travaux d’e´valuation interme´diaire ont pour ambition d’apporter des re´ponses globales à l’ensemble des partenaires, du concepteur de programme au responsable politique en passant par le gestionnaire. Ils se traduisent par des rapports tre`s volumineux com- prenant des informations provenant du programme lui- meˆme, de l’appre´ciation ex ante, des rapports annuels d’exe´cution, des e´valuations interme´diaires ou ex post. Or, selon des interlocuteurs rencontre´s au cours des contrôles, une partie seulement des re´sultats ou des recommandations a une re´elle utilite´ pour l’aide à la de´cision, à la gestion des projets, à la reprogrammation ou pour pre´parer la ge´ne´ration des interventions à venir. Proce´dures de mise en œuvre 6. 8. Sur les 389 e´valuations interme´diaires engage´es, 320 concernent les objectifs 1, 2, 5b et 6 (17). L’exe´cution de ces e´valuations connaît un retard assez important dans plusieurs États membres. 6. 9. Le processus d’e´valuation interme´diaire e´tait à l’ori- gine pre´vu en deux e´tapes distinctes. La premie`re concer- nait l’e´valuabilite´, permettant l’identification des proble`- mes y affe´rents. La deuxie`me e´tait l’e´valuation propre- ment dite, aboutissant à l’e´laboration d’un rapport. Dans la pratique, ce sche´ma n’a e´te´ applique´ que dans de rares cas. 6. 10. De manie`re ge´ne´rale, la Commission a insiste´ pour que les e´valuations interme´diaires soient effectue´es par des experts de l’exte´rieur en vue de garantir la cre´dibilite´ (17) Dont 36 ont e´te´ examine´es sur place et/ou aupre`s de la Commission. d’un savoir-faire particulier, d’une part, et l’impartialite´ des conclusions lie´es à la conformite´ de la strate´gie, à la cohe´rence entre les analyses socio-e´conomiques et à la quantification objective des effets escompte´s, d’autre part. Les besoins en matie`re d’e´valuation dans le domaine des FS ont cre´e´ en quelques anne´es une filie`re d’e´valuateurs externes connus de la Commission et des États membres, ce qui pre´sente l’avantage de ge´ne´rer une plus grande expertise dans ce domaine, mais de´limite un marche´ spe´cifique. 6. 11. Dans la pratique, les contrôles sur place de la Cour ont mis en e´vidence les limitations qui re´duisent l’inde´pendance du consultant externe. Compte tenu du temps limite´ dont l’e´valuateur dispose, et de la de´pendan- ce existant de facto vis-à-vis des gestionnaires des pro- grammes pour obtenir les informations ne´cessaires, la se´paration des fonctions respectives est peu nette. Les re´sultats obtenus en matie`re de performance se limitent trop souvent à reproduire et à actualiser les informations du syste`me de suivi en les pre´sentant comme une contri- bution externe. 6. 12. Par ailleurs, la proce´dure habituelle d’appel d’of- fres ouverte avec publication au journal officiel n’a pas toujours e´te´ applique´e en vue de se´lectionner un consul- tant en matie`re d’e´valuation. Aux Pays-Bas, elle consistait à inviter un nombre limite´ de consultants qui figuraient sur une liste d’e´valuateurs potentiels en leur demandant de soumettre une offre. La se´lection a e´te´ ensuite ope´re´e parmi ces offres. 6. 13. Alors que la Commission participe re´gulie`rement aux re´unions des comite´s de suivi et qu’elle a la possibili- te´ d’y faire pre´valoir ses crite`res en matie`re de se´lection de consultants, son intervention dans ce processus n’est pas toujours identique. Ainsi, la participation des services de la Commission est active en Belgique, en Gre`ce, et au Portugal de`s la proce´dure de se´lection de l’e´valuateur dans le cadre des groupes techniques ou du comite´ d’accompagnement technique ad hoc qui pre´parent le choix du consultant et suivent l’exe´cution de l’e´valuation. Par contre, en France, les services de la Commission ne sont informe´s officiellement qu’apre`s le choix des deux offres juge´es les meilleures, accompagne´es de la proposi- tion finale pour laquelle le Pre´fet de re´gion, maître d’ouvrage en la matie`re, demande de faire connaître les observations e´ventuelles. Pour les Pays-Bas, la Commis- sion, qui participe aux travaux du comite´ d’accompagne- ment national pilotant les e´valuations ex ante, interme´- diaires et ex post des re´gions concerne´es par les objectifs 1 et 2 et aux travaux des comite´s de suivi, n’a re´agi que tardivement au contenu du projet de rapport d’e´valuation interme´diaire du DOCUP O1 Flevoland. 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/15 Priorite´s accorde´es aux objectifs d’e´valuation concerne les synergies entre les activite´s du FEDER et celles du FSE. 6. 14. En ce qui concerne la mise en œuvre des e´valua- tions interme´diaires, la priorite´ accorde´e aux objectifs d’e´valuation est variable, à l’exception de l’examen des re´alisations physiques et financie`res au niveau des inter- ventions, qui a une place importante dans toute e´valua- tion interme´diaire. Les de´veloppements prioritaires cor- respondent souvent à un re´el besoin re´gional, comme dans le cas de la Corse où l’accent est principalement mis sur le traitement des proble`mes de gestion, de suivi et de lien entre e´valuation et suivi. La poursuite de certains objectifs d’e´valuation est d’ailleurs entrave´e par des pro- ble`mes techniques, comme la mesure des indicateurs pour l’e´valuation de l’impact. 6. 15. Souvent les e´valuations interme´diaires ne donnent pas assez d’importance à l’appre´ciation critique de la strate´gie de de´veloppement re´gional retenue, à la viabilite´ des projets finance´s par aux FS, aux crite`res de se´lection des projets, aux effets et à l’impact au regard des objectifs spe´cifiques et ge´ne´raux des programmes. 6. 16. La valeur ajoute´e communautaire, dont l’analyse constituait un des objectifs des e´valuations ex post des CCA O1 et O2 pour la pe´riode de programmation 1989-1993, n’est traite´e qu’exceptionnellement dans le cadre des e´valuations interme´diaires. 6. 17. L’e´volution du contexte socio-e´conomique, sur lequel l’intervention communautaire agit et dont le suivi et l’actualisation sont ge´ne´ralement pre´vus dans les contrats d’e´valuation, est traite´e de manie`re syste´matique dans certains cas (par exemple par le biais de tableaux de bord tre`s e´labore´s en ce qui concerne la re´gion wallonne) et de manie`re insatisfaisante dans d’autres cas, ce qui influence directement la qualite´ et l’actualisation des analyses forces/faiblesses ge´ne´ralement effectue´es dans le cadre de l’e´valuation interme´diaire. 6. 18. Le respect et le maintien dans le temps de la cohe´rence interne et externe de chaque programme dans toutes ses composantes (objectifs du programme, des sous-programmes et des mesures, relations de comple´- mentarite´ et de synergie entre objectifs et entre mesures) ne sont que rarement examine´s de manie`re syste´matique. Ainsi, pour le PO Brandebourg, les engagements finan- ciers en faveur des axes 1. 1 (investissements productifs) et 1. 2 (infrastructures) repre´sentent pour la pe´riode 1994- 1996 respectivement 138 % et 242 % de la pre´vision initiale, sans qu’aucune justification en matie`re de strate´- gie de de´veloppement re´gional ait e´te´ apporte´e par l’e´va- luateur. Les synergies font parfois l’objet d’analyses, qui sont d’ailleurs souvent incomple`tes. Cet aspect me´riterait un traitement plus syste´matique, notamment en ce qui 6. 19. De meˆme, lorsque la re´orientation des priorite´s du programme et de l’affectation des moyens est un objectif explicite de l’e´valuation, les travaux d’e´valuation ne don- nent pas toujours lieu à une pre´sentation globale et cohe´rente des modifications propose´es, ni à un expose´ des motifs. Les implications des extensions ou contrac- tions propose´es au niveau des mesures ne sont pas non plus toujours pre´cise´es. 6. 20. Beaucoup d’e´valuations examine´es montrent que l’e´valuateur n’a pas e´te´ en mesure d’atteindre tous les objectifs pre´vus dans le contrat, notamment en ce qui concerne l’e´valuation de l’impact. Le temps et les moyens disponibles n’e´taient pas non plus toujours proportionne´s aux objectifs. Approches, me´thodes et techniques 6. 21. Comme les objectifs d’e´valuation et les approches à appliquer restent souvent formule´s en termes ge´ne´raux dans les contrats, le choix des approches, me´thodes et techniques est souvent laisse´ aux e´valuateurs, qui parfois les adaptent en cours d’exe´cution aux difficulte´s rencon- tre´es. Ainsi, il arrive que ceux-ci transforment en indica- teurs la seule information disponible. 6. 22. Les techniques et me´thodes n’ont pas toujours e´te´ de´veloppe´es de manie`re à pouvoir re´pondre aux objectifs d’e´valuation. Il n’existe d’ailleurs pas encore de ve´ritable consensus sur la me´thodologie ope´rationnelle approprie´e pour e´valuer le de´veloppement re´gional, et la Commis- sion se contente de diffuser «les meilleures pratiques» en termes ge´ne´raux sans ve´ritablement coordonner ou har- moniser concre`tement leur mise en œuvre. Cette impre´ci- sion, lie´e aux disparite´s entre États membres en matie`re de programmation, de mise en œuvre ou d’e´valuation, ge´ne`re des rapports d’e´valuation de qualite´ variable et rend tre`s difficile la comparabilite´ des re´sultats sur le plan europe´en. 6. 23. La mesure de l’impact montre ainsi des lacunes dans les techniques applique´es, lie´es notamment à la spe´cificite´ et la complexite´ des effets à e´valuer: a) une recherche approfondie d’indicateurs encore plus pertinents n’a pas toujours e´te´ effectue´e, parfois les indicateurs pre´vus ne servant qu’à mesurer la re´alisa- tion physique et financie`re; b) les indicateurs d’impact n’ont pas toujours e´te´ rensei- gne´s; c) l’e´valuation de l’impact socio-e´conomique ou de de´ve- loppement re´gional paraît entrave´e par la multiplica- tion des actions, sous-programmes et mesures (objec- tif 1), tandis que de nombreux programmes visant à C 347/16 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 aider à la reconversion et/ou à la redynamisation du tissu industriel (PO, initiatives communautaires, pro- grammes nationaux) peuvent eˆtre mobilise´s conjointe- ment. Par ailleurs, les actions communautaires et nationales ont parfois des couvertures diffe´rentes et les dates de lancement des actions diffe`rent. Enfin, les objectifs sont souvent non quantifie´s et formule´s de manie`re trop ge´ne´rale (18). Dans ce contexte, les liens entre le diagnostic des proble`mes socio-e´conomiques à re´soudre et les objectifs de l’ensemble des mesures, sous-programmes et projets mis en œuvre, d’une part, et d’autre part, entre les objectifs de cet ensemble, ne paraissent pas toujours e´vidents compte tenu aussi du fait que les indicateurs physiques et d’impact affecte´s aux diffe´rents niveaux d’un programme ne refle`tent pas comple`tement les besoins d’e´valuation du pro- gramme. De meˆme, il s’ave`re difficile d’identifier les re´sultats de chaque programme et de les se´parer de ceux d’autres actions prive´es, re´gionales ou nationa- les; d) la mode´lisation qui permet d’estimer les effets et impacts attendus sur la base des re´alisations à mi- parcours et des re´alisations encore escompte´es, reste peu applique´e. L’e´valuation interme´diaire de certains CCA nationaux s’est appuye´e sur un mode`le input- output (Portugal) ou sur un mode`le macro-e´conome´- trique (Espagne, Irlande), tandis que la mode´lisation re´gionale reste tre`s marginale. L’exemple du mode`le de de´veloppement pour la province du Hainaut (Belgi- que) utilise´ dans le cadre de l’e´valuation interme´diaire me´rite à ce titre d’eˆtre cite´. La mode´lisation des effets dans le cadre des mesures n’est pas non plus tre`s re´pandue, sauf dans le domaine des infrastructures de transport. Il convient de citer l’application du mode`le input-output au projet de l’Expo 1998 (Portugal) dans le cadre des e´valuations ex ante et interme´diaire, meˆme si les pre´visions doivent eˆtre conside´re´es avec pre´caution; e) l’estimation des effets sur l’emploi reste e´galement pre´caire. L’application de mode`les et d’autres techni- ques d’analyse et d’enqueˆte ne fournissent pas de pre´cisions suffisantes concernant d’une part, le volume net d’emplois cre´e´s prenant notamment en compte les nouveaux emplois qui auraient e´te´ cre´e´s en dehors de l’action concerne´e, ainsi que les effets de substitution, d’autre part, le degre´ de durabilite´ des emplois. De plus, leur application n’a ge´ne´ralement pas donne´ d’indications sur les emplois cre´e´s non attribuables à la mise en œuvre du programme. (18) Par exemple: revitalisation du monde rural, renforcement du tissu e´conomique dans la re´gion, modifications structurelles lie´es au de´veloppement re´gional. 6. 24. Certains contrats d’e´valuation pre´voient, dans le cadre de l’approche bottom-up, des enqueˆtes à mener aupre`s de partenaires du de´veloppement e´conomique local et de be´ne´ficiaires finals, y compris des entreprises be´ne´ficiaires d’aides communautaires, en vue d’appre´cier quantitativement ou qualitativement la contribution du programme communautaire. Les re´sultats des enqueˆtes souffrent parfois de sous-repre´sentativite´ compte tenu du nombre des entreprises et partenaires ayant re´pondu aux enqueˆtes, et d’une fiabilite´ incertaine, car ils ne font pas toujours l’objet de contrôles. 6. 25. S’agissant des indicateurs de re´sultat et d’impact, il est constate´ que: a) les de´lais pour obtenir les donne´es et les statistiques sont souvent longs; b) les donne´es existantes couvrent des zones ge´ographi- ques qui ne correspondent pas aux zones ou bassins vise´s; c) les donne´es concernant les entreprises ne sont pas saisies au niveau des e´tablissements, ce qui fausse les statistiques locales, lorsqu’un seul e´tablissement est pre´sent sur la zone alors que l’entreprise posse`de une multi-implantation sur le territoire national; d) beaucoup d’organismes de statistiques ne peuvent segmenter les donne´es globales de façon plus fine pour cibler une zone, un bassin ou une proble´matique donne´e. 6. 26. Au cas où l’e´valuateur pre´sente des indicateurs plus ade´quats sous l’angle de la mesure de l’impact, que ce soit pour combler une lacune ou les substituer aux indicateurs pre´vus, il ne les renseigne pas et laisse planer des doutes quant au caracte`re ope´rationnel de ces indica- teurs. De plus, il ne mentionne pas toujours les enqueˆtes restant à faire pour les concre´tiser, ni n’estime leur coût. Il est e´galement souligne´ que la quantification des indica- teurs concernant les objectifs de programme peut eˆtre difficilement conduite sans information sur des se´ries historiques. Re´alisation des programmes de l’objectif 2 (1994-1996) 6. 27. Les re´sultats de l’e´valuation interme´diaire des DOCUP, CCA et PO de la pe´riode 1994-1996, de meˆme que du suivi, mettent en e´vidence une inade´quation entre le financement programme´ et la re´alisation des program- mes. Malgre´ de tre`s nombreuses adaptations des pro- grammes lors de la dernie`re phase de programmation 1994-1996 visant à absorber les montants des concours financiers, des transferts de cre´dits de la programmation 1994-1996, de l’ordre de 12 % en moyenne, ont e´te´ effectue´s vers la programmation 1997-1999. Cette situa- tion risque de conduire à rendre pre´ponde´rant le souci de 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/17 l’absorption des cre´dits et de sous-estimer le rôle de l’e´valuation, notamment en ce qui concerne la cohe´rence entre les objectifs, les ressources affecte´es et l’impact des interventions structurelles. 7. IMPACT DES FONDS STRUCTURELS ET MODÈLES D’ÉVALUATION Impact au niveau des CCA et des programmes Re´sultats des mode`les en matie`re d’impact des Fonds structurels 7. 1. Les mode`les utilise´s dans le cadre de l’e´valuation macro-e´conomique dans le domaine des FS (voir annexe III), compte tenu de leurs caracte´ristiques propres, appre´- cient de manie`re diffe´rencie´e l’impact des FS en ce qui concerne: a) la re´alisation des objectifs des FS en matie`re de croissance du PIB, de convergence re´elle du PIB per capita, d’emploi et de chômage; b) le respect des conditions lie´es à la mise en œuvre des FS, telles que l’additionnalite´, le de´veloppement dura- ble re´fe´rant notamment à la maîtrise de la dette publique et de la balance des paiements, à la distribu- tion des revenus, au respect de l’environnement; c) les effets en termes de demande et d’offre; d) l’efficacite´ des instruments des FS, tels que les investis- sements publics, les investissements en ressources humaines et les aides aux entreprises prive´es. Croissance du PIB 7. 2. Comme le montre le tableau 7, il ressort de la de´marche visant à appre´cier l’impact des FS que les re´sultats des principaux mode`les utilise´s (HERMIN, OGM et DIO) indiquent pour les pays de la cohe´sion un accroissement positif du PIB et par conse´quent une ame´- lioration de la convergence. Ainsi, la croissance cumula- tive de l’e´conomie des pays de la cohe´sion de 1994 à 1999 due aux actions structurelles inscrites dans les CCA serait en termes re´els du PIB de 5,5 % pour le Portugal, 5,9 % pour la Gre`ce, 2,6 % pour l’Espagne et 3,3 % pour l’Irlande. Ces re´sultats supposent que le principe de l’additionnalite´ soit totalement respecte´, et peuvent par conse´quent eˆtre modifie´s en cas de non-respect (voir points 8. 11 à 8. 13). Par ailleurs, les diffe´rents mode`les macro-e´conomiques ont produit des re´sultats suffisam- ment cohe´rents pour que l’impact des CCA 1994-1999 sur la croissance en termes re´els de PIB annuel puisse eˆtre juge´ comme vraisemblable. Toutefois, les effets lie´s à la demande restent majoritairement dominants à court terme, les effets sur l’offre ne se produisant que beaucoup plus tard. De meˆme, le mode`le re´gional HELM utilise´ pour la re´gion du Hainaut e´value l’impact du DOCUP en termes de croissance annuelle de la valeur ajoute´e totale comme repre´sentant une augmentation de 1,7 à 2,5 % si l’on prend la pe´riode 1994-2002. Par contre, dans le cas du Mezzogiorno en Italie, l’impact des FS sur la crois- sance semble tre`s limite´, voire proche de ze´ro. Le mode`le QUEST de la Commission, en introduisant des hypothe`- ses sur les anticipations des entreprises et des consomma- teurs, aboutit à des estimations sur les effets sur la croissance et l’emploi plus faibles que dans les mode`les pre´ce´dents. Les gains montre´s par ce mode`le concernant le potentiel de croissance et la re´duction du chômage ne se manifestent qu’à plus long terme. 7. 3. En termes d’acce´le´ration moyenne de la croissance annuelle due aux actions structurelles inscrites dans les CCA, le tableau 8 montre que les effets multiplicateurs d’une croissance de 1 % de la part des CCA dans le PIB aboutissent pour la pe´riode 1994-1999 à un supple´ment de croissance annuelle de 0,2 % à 0,3 % pour les effets de demande et de 0,2 % au plus pour les effets d’offre. Sur le plan e´conomique, la dominance, mise en e´vidence par le mode`le HERMIN, des effets sur la demande, qui disparaîtraient avec l’arreˆt de l’aide communautaire, ne contribue à re´aliser les objectifs de l’article 130 A du traite´ que si les effets sur l’offre se de´veloppent de manie`re durable et renforcent les capacite´s productives des re´gions concerne´es. Dans la mesure où les effets sur l’offre se de´veloppent beaucoup plus tard que ceux sur la demande, il est possible que les effets multiplicateurs correspondants soient sous-estime´s. Convergence re´elle en termes de PIB per capita 7. 4. Les mode`les utilise´s dans le cadre des FS montrent que le processus de convergence n’est pas toujours garanti et que certaines programmations de CCA peuvent au mieux re´duire la divergence plutôt que de´velopper la convergence. 7. 5. En ce qui concerne l’Irlande, Bradley (HERMIN 1994) et Honohan (HERMIN 1997) pre´voient ce que pourrait eˆtre l’effet de l’aide des CCA 1989-1993 et 1994-1999 sur le PIB per capita. Le premier estime que la contribution des CCA 1994-1999 à ce rattrapage s’ave`re modeste tandis que pour le second, les CCA jouent un rôle significatif dans le processus de convergence. Beutel (1997) pre´dit que l’Irlande rattrapera le reste de l’Europe meˆme sans CCA 1994-1999, qui augmenterait le taux annuel de croissance de 0,6 %. De meˆme, l’Espagne, le Portugal et la Gre`ce verraient leurs taux annuels de croissance augmenter respectivement de 0,4 %, 1,1 % et C 347/18 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 1 % pour la pe´riode de 1994-1999 grâce aux FS, ce qui a eu dans tous les cas un effet positif sur la convergence re´elle en termes de PIB per capita. 7. 6. Les simulations pre´visionnelles effectue´es avec le mode`le OGM portant sur la convergence en PIB re´el per capita par rapport à la moyenne de l’Union montrent des estimations qui soulignent que, meˆme si les tendances projete´es en 1995 sont trop pessimistes pour l’Irlande (voir tableau 9), la contribution nette des CCA à la convergence reste modeste pour les pays de la cohe´sion. 7. 7. En ce qui concerne le Hainaut, le mode`le HELM prend en conside´ration les aspects de la convergence re´elle pour l’e´valuation interme´diaire et estime que son taux annuel pre´visionnel de croissance serait d’environ 1,4 % à 1,6 % supe´rieur à la moyenne europe´enne grâce aux FS, ce qui permettrait un re´el rattrapage. 7. 8. Ces estimations mettent en e´vidence que, compte tenu des diffe´rences dans les structures re´gionales ou sectorielles productives des États membres de l’O1, les concours des FS produisent des effets variables. Elles confirment e´galement que la qualite´ de la programmation des FS doit eˆtre ame´liore´e, afin que, dans un but de convergence, les interventions des FS permettent d’ame´- liorer les capacite´s productives de l’e´conomie. Emploi et chômage 7. 9. Le tableau 10 re´sume les re´sultats des e´valuations en matie`re d’impact des FS sur l’emploi et le chômage. Pour toutes les e´tudes, les CCA ge´ne`rent des emplois nets. Ces nouveaux emplois sont souvent cre´e´s dans le secteur des services non marchands, alors que les effets de productivite´ des CCA sont principalement concentre´s dans le secteur industriel. Enfin, certaines e´tudes rele`vent une re´duction de l’emploi industriel due à une augmenta- tion de la productivite´ du travail. Efficacite´ des instruments des CCA 7. 10. Les e´valuations HERMIN pour l’Espagne, l’Ir- lande et le Portugal montrent que les aides aux investisse- ments publics, notamment ceux de l’infrastructure, sont plus productives en termes de croissance que les aides aux investissements en ressources humaines (à l’exception de l’Espagne) et celles aux investissements prive´s. Cela est mis en e´vidence dans le tableau 11 qui montre, par instrument, l’accroissement du PIB national re´sultant de l’augmentation de 1 % de la part du CCA dans le PIB cumule´ de la pe´riode 1994-1999. L’e´tude HERMIN pour la Gre`ce arrive e´galement à la conclusion que les investis- sements en infrastructure («hard infrastructure») repris dans les CCA contribuent davantage à la croissance du PIB que les investissements en ressources humaines. L’ap- plication du mode`le OGM (Pereira 1991) pour e´valuer les effets du remplacement d’aides aux investissements prive´s ou aux investissements en ressources humaines par des aides additionnelles aux investissements en infrastruc- ture montre une ame´lioration des gains en croissance de PIB et dans le processus de convergence induits par les FS. Obligation d’additionnalite´ et de cofinancement 7. 11. Les mode`les ont e´galement permis d’e´valuer l’im- portance de l’additionnalite´ et du cofinancement public. Ainsi, Honohan (HERMIN 1997) estime que, sans l’obli- gation de cofinancement public, le taux de croissance de l’e´conomie irlandaise aurait e´te´ infe´rieur de 1 % à l’im- pact du CCA, de meˆme que l’emploi se serait accru dans une moindre mesure. Par contre, Honohan pre´voit une re´duction plus sensible du rapport dette publique/PIB et de l’exce´dent de la balance des paiements en l’absence d’obligation de cofinancement public. Pour le Portugal, l’exigence de cofinancement conduit, selon l’e´valuation HERMIN, à un gain additionnel cumule´ de 1,3 % pour le PIB, mais donne e´galement lieu à une e´volution moins positive en matie`re de dette publique. 7. 12. L’e´valuation HELM pour le Hainaut attribue une grande importance à l’additionnalite´. Le taux de crois- sance moyen de la valeur ajoute´e pour la pe´riode 1994- 1999 des trois sce´narios — la politique re´gionale compre- nant le DOCUP, la poursuite de la politique re´gionale sans aide communautaire, la politique re´gionale dont on a de´duit le DOCUP — s’e´le`ve selon l’e´valuation HELM à 2,5 %, 1,7 % et 0,1 % respectivement, de meˆme que le taux de croissance de l’emploi tomberait de 0,8 % à 0,2 %. La situation de l’industrie se serait e´galement de´te´riore´e de manie`re substantielle. L’e´valuation HELM permettait e´galement, en faisant varier le taux de subven- tion, de constater qu’un taux d’aide à l’investissement ne stimule pas celui-ci dans la meˆme mesure et que de nombreux investissements seraient re´alise´s avec des niveaux d’aides plus bas. De´veloppement durable 7. 13. Le tableau 10 montre que les effets des FS sur le solde de la balance commerciale, de la balance courante ou du de´ficit public, ne sont pas toujours e´value´s. Les diffe´rentes e´tudes de´bouchent par ailleurs sur des conclu- sions divergentes; ainsi l’expansion e´conomique induite par les CCA conduit dans certains cas à ame´liorer les finances publiques à travers la fiscalite´, alors que les CCA cre´ent des de´ficits budge´taires selon d’autres mode`les. 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/19 Rôle de l’e´valuation au niveau macro-e´conomique dans le processus de´cisionnel des Fonds structurels 7. 14. Compte tenu des effets à court terme des FS sur la demande, l’e´valuation interme´diaire a tendance à suresti- mer les proble`mes d’absorption des fonds communautai- res aupre`s des autorite´s politiques et à sous-estimer les effets à plus long terme sur l’offre. Les re´orientations ou reprogrammations des PO ou CCA peuvent ainsi eˆtre biaise´es. En effet, des mesures ou projets qui n’absorbent pas assez vite les cre´dits communautaires risquent d’eˆtre supprime´s, notamment dans des domaines complexes à mettre en œuvre comme l’innovation ou les technologies nouvelles, au profit de structures de´jà existantes à pro- ductivite´ beaucoup plus faible, sans que les aspects macro-e´conomiques de de´veloppement durable soient toujours conside´re´s. 7. 15. Dans ce contexte, les e´valuations macro-e´conomi- ques comple´mentaires qui inte`grent les aspects de durabi- lite´, de croissance ou de convergence sont indispensables avant toute prise de de´cision au niveau de la programma- tion initiale et de son re´ame´nagement. Or, dans de nombreux cas comme en Espagne, en Gre`ce ou dans les nouveaux Länder allemands, des reprogrammations dans le cadre de l’e´valuation interme´diaire ont de´jà e´te´ effec- tue´es sans analyse globale macro-e´conomique se´rieuse. En ce qui concerne les re´gions de l’O1 en Allemagne, aucune analyse macro-e´conomique de l’impact n’a e´te´ effectue´e lors de l’e´valuation interme´diaire. Impact au niveau des sous-programmes, mesures et pro- jets 7. 16. Au niveau des sous-programmes et mesures, il le fait que les existe tre`s peu d’e´valuations, malgre´ sous-programmes ou mesures constituent le moteur de la programmation des FS. La dispersion, le manque de de´finition et de cohe´rence de beaucoup de sous-program- mes ou mesures, ainsi que la quantification insuffisante des objectifs spe´cifiques y relatifs peuvent contribuer à expliquer cette difficulte´ à mesurer l’impact. 7. 17. Cette lacune rend difficile tout effort visant à identifier et à mesurer la synergie et la comple´mentarite´ des mesures entre elles ou entre diffe´rents programmes. Par ailleurs, les liens entre les objectifs ge´ne´raux du programme et ceux spe´cifiques des sous-programmes ou des mesures sont tre`s souvent peu e´vidents. Ainsi, de nombreux proble`mes de cohe´rence dans les programmes des CCA 1994-1999 O1 ont e´te´ releve´s dans les rapports d’e´valuation interme´diaire. ci-avant ne permettent de fournir une e´valuation de l’efficacite´ des principaux instruments des CCA — les investissements publics, les investissements prive´s et les investissements en ressources humaines — qu’en ce qui concerne leur contribution respective à la croissance du PIB. Les de´penses d’infrastructure, e´tant comple´mentaires du capital prive´, semblent augmenter le rendement de ce dernier et auraient un effet d’acce´le´ration de la vitesse de la convergence supe´rieur à d’autres formes d’investisse- ment (voir tableau 11). 7. 19. Ne´anmoins, le choix des mesures ou sous- programmes constituant le programme et leur finance- ment n’est pas neutre en ce qui concerne l’impact du de´veloppement re´gional en termes de croissance endoge`ne durable. Les travaux d’e´valuation engage´s par la Com- mission ou les États membres dans le cadre du partena- riat au niveau des sous-programmes ou mesures sont d’ailleurs encore insuffisants pour permettre d’examiner les conse´quences d’une mesure spe´cifique sur d’autres zones ou secteurs ou de la comparer avec d’autres mesu- res poursuivant des objectifs similaires. De plus, l’analyse de l’impact des mesures ou sous-programmes devra e´gale- ment prendre en conside´ration l’arbitrage initial entre croissance et e´galite´ interre´gionale qui a pre´de´termine´ son choix, afin de ponde´rer les gains d’efficacite´ attendus et re´alise´s. 7. 20. Au niveau des projets, l’analyse coûts/avantages des projets est en principe e´labore´e en vue de l’approba- tion du financement du projet. Cette analyse est obliga- toire conforme´ment à l’article 5 du re`glement no 2083/93 (FEDER) pour les grands projets dont le coût total est supe´rieur à 25 Mio ECU pour les investissements en infrastructure et à 15 Mio ECU pour les investissements productifs. Ces appre´ciations ex ante des grands projets font partie de l’instruction des demandes de concours communautaires et de´terminent l’enveloppe de finance- ment, mais leurs e´valuations ex post ne sont pas pre´vues dans les re`glements des FS et ne peuvent eˆtre exige´es par la Commission pour ve´rifier la re´alisation effective des avantages socio-e´conomiques attendus au regard des res- sources communautaires mobilise´es à cet effet. Cette de´ficience dans le processus de l’e´valuation en matie`re de grands projets rend le concept meˆme d’e´valuation inope´- rant à ce niveau, car une appre´ciation ex ante ne peut se justifier que s’il y a effectivement une e´valuation ex post. De plus, ces e´tudes micro-e´conomiques et sectorielles pourraient aussi estimer l’impact potentiel des FS sur la productivite´ et devenir ainsi un instrument performant pour l’analyse à court ou à moyen terme de cet impact. 7. 18. Rares sont d’ailleurs les techniques adapte´es pour mesurer l’impact d’un sous-programme ou d’une mesure spe´cifique. Ainsi, les mode`les macro-e´conomiques de´crits 7. 21. Les synergies et les comple´mentarite´s doivent eˆtre aussi prises en conside´ration lors de l’e´valuation de projets. Elles sont encore e´value´es insuffisamment ou de C 347/20 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 façon superficielle. Une ade´quation des comple´mentarite´s et synergies entre projets est indispensable pour ne pas fragiliser l’impact pre´visible. 8. 4. Il en est de meˆme en ce qui concerne les bases statistiques dont la faiblesse met en question la validite´ des indicateurs et conditionne fortement le processus de suivi et d’e´valuation. 7. 22. L’e´valuation interme´diaire aborde souvent les pro- ble`mes de gestion des programmes, mais ne tient pas souvent compte des crite`res qui ont de´termine´ la se´lection des projets, tels que la durabilite´ du projet ou la contribu- tion du projet au de´veloppement re´gional. Or, le syste`me de gestion des programmes doit pouvoir garantir que les crite`res de se´lection des projets sont utilise´s de manie`re à optimiser les re´sultats du programme. Il faudrait e´viter notamment les projets ayant une tre`s faible valeur ajoute´e en matie`re de de´veloppement, meˆme si ceux-ci pre´sentent l’avantage de consommer tre`s vite les cre´dits. Le syste`me de se´lection de projets doit eˆtre plus transparent afin de permettre son contrôle et d’assurer son e´valuabilite´. 8. CONCLUSION 8. 1. La de´marche d’e´valuation des interventions structu- relles communautaires de´coule des obligations re´glemen- taires issues des de´cisions du Conseil et se trouve actuel- lement largement utilise´e dans le cadre du partenariat. L’e´valuation est devenue un syste`me d’aide à la concep- tion et à la gestion des interventions, contribuant à une meilleure connaissance de leurs effets et de leur utilite´. Pour la pe´riode 1994-1999, plus de 250 e´valuations à mi-parcours ont e´te´ finalise´es au niveau des comite´s de suivi (19) au cours de l’anne´e 1997. 8. 2. Avec la re´vision de la re´forme des FS, l’e´valuation entre dans une phase de maturite´ qu’il convient de`s à pre´sent de consolider à travers un meilleur encadrement me´thodologique. Un effort important doit encore porter sur les me´thodes d’e´valuation les plus approprie´es pour mesurer l’impact socio-e´conomique des programmes, dans le cadre du de´veloppement re´gional, le programme MEANS n’ayant pas pu y donner une re´ponse satisfai- sante. 8. 3. Un autre effort soutenu devrait eˆtre fourni dans le domaine des indicateurs à tous les niveaux en ce qui concerne la pertinence, les modes de renseignement et le coût y affe´rent. Un effort de formalisation devrait e´gale- ment porter sur les aspects qualitatifs. Sans nouveaux progre`s dans ces domaines, le processus d’e´valuation risque de stagner. (19) Les comite´s de suivi comprennent des repre´sentants des instances nationales concerne´es et de la Commission. 8. 5. L’actuelle multiplicite´ des indicateurs, plus ou moins pertinents, nuit à la qualite´ de l’e´valuation et empeˆche de la rendre ope´rationnelle. Un petit nombre d’indicateurs d’impact indispensables pour justifier ou re´orienter une politique structurelle devrait eˆtre soigneusement se´lection- ne´ en tenant compte des contraintes de la re´gionalisation des donne´es et des possibilite´s mate´rielles de collecte d’informations. La fiabilite´ de ces indicateurs devrait eˆtre contrôle´e. La comparabilite´ entre indicateurs et leur agre´- gation à l’e´chelle europe´enne devraient eˆtre ame´liore´es. 8. 6. Pour que l’e´valuation puisse eˆtre prise en compte pleinement dans le processus de´cisionnel et la gestion ope´rationnelle des FS, il conviendrait d’assurer la transpa- rence et l’objectivite´ des e´valuations, la correspondance de leurs objectifs aux besoins et une date de finalisation ade´quate. 8. 7. Pour garantir l’objectivite´ des re´sultats de l’e´valua- tion, l’inde´pendance des e´valuateurs doit eˆtre pre´serve´e par rapport aux gestionnaires et aux autorite´s publiques concerne´s. 8. 8. L’utilisation d’un cadre de re´fe´rence commun facili- terait la lisibilite´ et la comparabilite´ des rapports d’e´va- luation ainsi que les e´changes d’expe´riences. 8. 9. Pour chaque e´valuation, il conviendrait de de´finir des objectifs plus ope´rationnels. Les termes de re´fe´rence et le cahier des charges, ge´ne´ralement approuve´s par la Commission, devraient clairement indiquer la me´thodolo- gie la plus approprie´e selon qu’elle s’adresse aux aspects re´gionaux, sectoriels ou nationaux ou selon qu’elle doit porter particulie`rement sur les effets à court terme ou à long terme. Toute autre me´thodologie devrait faire l’objet d’une analyse forces/faiblesses en comparaison avec la me´thodologie de la Commission. De meˆme, le cadre de re´fe´rence de chaque e´valuation devrait comprendre une liste minimale d’indicateurs propose´e par la Commission pour mesurer la performance des objectifs des program- mes, afin d’assurer une cohe´rence indispensable à l’ana- lyse. D’autres indicateurs de situation socio-e´conomique et structurelle peuvent naturellement eˆtre utilise´s pour comple´ter et affiner cette analyse. 8. 10. Compte tenu de la diversite´ des approches lie´es à l’e´valuation, la Commission doit exiger que les e´valua- teurs explicitent beaucoup mieux leur approche dans la phase de l’appel d’offres, notamment le type d’effets ou 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/21 d’impact qu’elle est suppose´e mesurer et sur quelle dure´e, afin de pouvoir appre´cier le degre´ d’exhaustivite´ des me´thodologies utilise´es. De plus, l’e´valuation devrait contenir une analyse de´taille´e des liens entre les objectifs des programmes et les axes et mesures mises en œuvre pour re´aliser ces objectifs, ainsi que la ne´cessaire articula- tion en cascade des objectifs/re´sultats/re´alisations des pro- grammes, des axes et des mesures. 8. 15. La mode´lisation macro-e´conomique fait une dis- tinction fondamentale entre les effets sur la demande à plus court terme et les ajustements structurels de l’offre. La programmation des interventions des FS devrait davantage viser à ame´liorer la capacite´ productive de l’e´conomie, afin d’assurer la permanence des effets et d’e´viter une de´pendance trop marque´e vis-à-vis de la demande qui conduirait à une situation où l’aide commu- nautaire resterait indispensable à long terme. 8. 11. Dans ce contexte, une meilleure segmentation de l’e´valuation en fonction des destinataires concerne´s est ne´cessaire pour en accroître l’efficacite´ et pour mieux re´pondre à leurs attentes spe´cifiques, notamment dans le domaine des e´valuations interme´diaires. De meˆme, une meilleure maîtrise du coût devrait eˆtre recherche´e, car la Commission ne connaît pas toujours les de´penses affec- te´es à l’e´valuation dans le cadre du partenariat. 8. 16. Comme les effets sur l’offre ne se mate´rialisent que sur une pe´riode plus longue, l’e´valuation interme´diaire est en ge´ne´ral amene´e à accorder plus d’attention aux effets sur la demande. La Commission devrait mener une action visant à de´velopper les instruments ne´cessaires au suivi et à l’e´valuation des effets structurants sur l’e´conomie. 8. 12. La Commission devrait e´galement indiquer les aspects de la politique re´gionale qui doivent eˆtre plus particulie`rement e´value´s: additionnalite´, convergence, par- tenariat, concentration, emploi, de´veloppement e´conomi- que endoge`ne ou bien-eˆtre social. La mesure du PIB per capita ne doit pas eˆtre la seule re´fe´rence pour juger de l’efficacite´ des interventions structurelles. 8. 17. Il se de´gage e´galement des mode`les macro-e´cono- miques qu’une politique de croissance e´conomique n’est pas toujours compatible avec un de´veloppement durable. Il conviendrait d’analyser encore davantage les relations entre l’impact sur la croissance et les effets sur le de´velop- pement durable et de tenir compte de manie`re syste´mati- que de cette dualite´ dans la programmation des interven- tions des FS. 8. 13. L’estimation des effets, de l’impact et de la valeur ajoute´e communautaire devrait pouvoir s’appuyer sur des mode`les de de´veloppement national et re´gional au niveau du programme, ainsi que sur des mode`les d’impact concernant des mesures. 8. 18. Les effets de l’obligation d’additionnalite´ et de cofinancement public ne sont pas faciles à cerner et ne sont pas toujours examine´s. Des analyses plus syste´mati- ques et plus approfondies devraient y eˆtre consacre´es. 8. 14. Les re´sultats macro-e´conomiques des actions struc- turelles devraient eˆtre affine´s en tenant compte des imper- fections des mode`les qui les sous-tendent, des effets secondaires provoque´s par ces meˆmes actions et de tous leurs effets sur le bien-eˆtre social. 8. 19. L’e´valuation en soi ne pre´tend pas remplacer le processus de de´cision politique, lequel inte`gre des consi- de´rations plus larges, mais doit constituer un outil indis- pensable à une gestion saine et efficace des interventions structurelles communautaires qui tienne compte des re´sul- tats socio-e´conomiques. Le pre´sent rapport a e´te´ adopte´ par la Cour des comptes à Luxembourg en sa re´union du 23 septembre 1998. Par la Cour des comptes Bernhard FRIEDMANN Pre´sident Coût de l’e´valuation directement finance´e par la Commission (DG XVI) pour le premier CCA Tableau 1 Pays Objectif 1 1989-1993 Objectif 2 Initiatives communautaires The´matique Autres Total Ex ante Ex post Ex ante Ex post Ex ante Ex post (En ECU) Belgique Danemark Allemagne Gre`ce Espagne France Irlande Italie Luxembourg Pays-Bas Portugal Royaume-Uni CE 35 000 31 000 42 000 35 000 35 000 35 000 53 000 150 172 207 372 97 662 109 572 150 552 193 022 72 572 17 500 35 000 17 500 70 000 35 000 35 000 17 500 35 000 122 500 69 040 25 520 138 570 117 090 253 185 96 580 15 880 47 925 131 500 14 815 65 963 10 514 143 480 526 347 739 274 197 228 201 915 395 955 15 128 46 816 452 706 223 428 98 400 35 395 25 000 593 350 260 977 104 371 464 064 390 156 25 000 625 169 626 694 77 500 151 845 30 000 151 845 151 845 35 000 550 256 187 898 96 034 299 550 1 456 714 1 455 713 881 291 810 551 1 255 088 48 508 154 741 1 340 897 1 229 694 740 971 Total 266 000 980 924 385 000 910 105 3 117 154 3 227 676 1 070 791 9 957 650 Source: Commission europe´enne. C 3 4 7 2 2 / F R J o u r n a l o f f i c i e l d e s C o m m u n a u t e´ s e u r o p e´ e n n e s 1 6. 1 1. 9 8 Coût de l’e´valuation directement finance´e par la Commission (DG XVI) pour le deuxie`me CCA jusqu’au 1er avril 1998 Tableau 2 Pays 1994-1999 Objectif 1 1994-1996 1997-1999 1994-1999 Objectif 2 Objectif 2 IC The´matique Ex ante En cours Ex ante En cours Ex ante Ex ante (En ECU) Études Cohe´sion De´veloppement me´thodologique et autres Total Belgique Danemark Allemagne Gre`ce Espagne France Irlande Italie Luxembourg Pays-Bas Autriche Portugal Finlande Sue`de Royaume-Uni CE 24 000 352 527 38 940 108 303 68 995 86 841 56 000 83 809 19 000 17 671 60 000 71 774 49 150 1 030 037 4 171 941 1 382 117 481 092 1 067 557 1 514 311 37 499 11 827 1 631 604 339 214 281 295 70 885 26 530 23 312 94 784 85 102 186 122 105 287 9 143 46 431 33 000 16 750 27 000 154 591 127 300 611 348 9 278 128 450 209 078 807 462 722 690 61 741 104 924 171 201 326 614 247 636 10 600 9 600 29 200 19 000 45 600 31 169 10 600 10 600 30 000 1 559 39 702 23 286 29 725 36 091 4 326 33 185 460 4 406 245 35 247 35 845 4 314 127 986 2 576 126 19 417 33 357 62 217 55 167 48 367 56 967 52 317 49 417 14 597 46 817 38 417 52 122 90 000 4 030 438 1 045 981 75 547 1 551 316 4 358 697 1 842 384 1 700 175 1 180 200 2 539 868 96 541 269 677 233 944 1 765 268 682 578 555 931 415 217 6 877 328 Total 684 483 12 371 906 935 352 3 400 422 196 369 248 391 2 704 112 619 179 4 030 438 25 190 652 Source: Commission europe´enne. 1 6 1 1 9 8. F R J o u r n a l o f f i c i e l d e s C o m m u n a u t e´ s e u r o p e´ e n n e s C 3 4 7 / 2 3 C 347/24 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 Tableau 3 Articuler Contrôle, Suivi et Évaluation Moyens RR Réalisations RR Impacts Input Output Outcome rr Contrôle RR rr rr Suivi (de gestion) RR Évaluation (des effets) RR Source: MEANS. Tableau 4 Juger la valeur d’un programme Référents Conformité aux textes administratifs Normes de bonne gestion Satisfaction des citoyens Impacts qq QQ QQ Société Besoins Enjeux QQ QQ Résultats qq QQ QQ RR Moyens Ressources RR Interventions Réalisations QQ Objectifs spécifiques globaux Pertinence Efficience Efficacité Utilité Action publique Évaluation Source: MEANS 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/25 Tableau 5 Nombre d’e´valuations interme´diaires par pays et par objectif Pays Objectif 1 Objectif 2 Objectif 3 Objectif 4 Objectif 5a Objectif 5b Objectif 6 Total Belgique Danemark Allemagne Gre`ce Espagne France Irlande Italie Luxembourg Pays-Bas Autriche Portugal Finlande Sue`de Royaume-Uni Total 1 8 28 27 6 11 24 1 1 25 12 144 4 2 9 9 27 11 1 5 4 1 5 13 91 5 1 13 12 1 1 1 1 1 4 1 1 5 1 1 2 1 1 1 1 1 4 1 42 19 1 1 1 1 1 1 1 1 8 3 1 8 7 20 13 1 5 7 2 5 11 83 19 6 40 28 58 55 11 50 4 13 15 25 13 14 38 389 1 1 2 Au niveau du CCA cinq e´valuations interme´diaires ont e´te´ engage´es — Espagne, Gre`ce, Irlande, Italie et Portugal — et une synthe`se des travaux d’e´valuation pour les actions objectif 1 Allemagne. Source: Commission europe´enne. Tableau 6 État d’avancement des e´valuations à mi-parcours objectifs 1, 2 et 6 État membre Comite´s de suivi Appel d’offres Organisme se´lectionne´ Nombre de rapports de´pose´s ou pre´vus Obj. 1 Pays Cohe´sion Espagne Gre`ce Irlande Portugal 1 comite´ CCA 12 sous-comite´s re´gio- naux 7 sous-comite´s sectoriels FEDER 1 re´gional/central (Canta- bria) finalise´ 12 finalise´s 7 finalise´s 1 finalise´ 1 externe 12 externes 1 rapport pre´vu pour 07/97 12 rapports pre´vus pour 05/97; 1 rapport de´pose´ 7 externes 7 rapports pre´vus 05-06/97; 1 rapport de´pose´ 1 externe rapport pre´vu 05/97 1 comite´ CCA 13 sous-comite´s re´gio- naux 17 sous-comite´s sectoriels en cours de se´lection 13 finalise´s 6 offres reçues 13 externes – 13 rapports de´pose´s 06/97 7 finalise´s 3 publie´s Nomination en cours – 1 comite´ CCA 9 comite´s sectoriels lance´ en 1996 1 comite´ CCA 7 sous-comite´s re´gionaux 3 sous-comite´s plurire´gio- naux 7 sous-comite´s sectoriels finalise´ finalise´ finalise´ finalise´ 1 externe 9 externes 1 externe 7 externes 3 externes 14 externes 1 rapport à mi-parcours de´pose´ le 03. 97 9 rapports à mi-parcours de´pose´s le 03. 97 rapport pre´vu pour la fin de 97 7 rapports de´pose´s 1er trimestre 97 3 rapports de´pose´s 1er trimestre 97 12 rapports de´pose´s 1er trimestre 97 — 1 rapport pre´vu 07/97 — 1 rapport pre´vu 09/97 Obj. 1 Autres pays Allemagne 1 comite´ CCA 6 sous-comite´s re´gionaux 3 sous-comite´s FSE- FEOGA-IFOP 1997 (restreint) 1996 — 1 externe 6 externes — 1 rapport final pre´vu 08/97 6 rapports de´pose´s 05/97 — Belgique 1 comite´ DOCUP 03. 09. 94 1 externe rapport final de´pose´ 05/97 C 3 4 7 2 6 / F R J o u r n a l o f f i c i e l d e s C o m m u n a u t e´ s e u r o p e´ e n n e s 1 6. 1 1. 9 8 État membre Comite´s de suivi Appel d’offres Organisme se´lectionne´ Nombre de rapports de´pose´s ou pre´vus France 6 comite´s DOCUP 6 finalise´s 6 externes Corse: rapport à mi-parcours de´pose´ 12/96 Arrondissements d’Avesnes, Douai et Valenciennes de la Re´gion Nord-Pas-de- Calais: rapport pre´vu pour 07/97 Martinique/Guadeloupe: rapports pre´vus 06/97 Re´union/Guyane: rapports pre´vus pour fin 97 Italie 1 comite´ CCA 8 sous-comite´s re´gionaux 12 sous-comite´s multi- re´gionaux short list disponible, se´lection pre´vue 11/ 97 lance´s publication en cours, se´lection pre´vue (e´te´ 97) 0 e´valuation interne: rapport pre´vue pour 07/97 e´valuation externe: rapport pre´vue pour 06/98 2 sur 8 externes 0 rapports pre´vus de´but 98 — Pays-Bas 1 comite´ DOCUP 03/96 1 externe rapport pre´vu fin 1997 Royaume-Uni 2 comite´s DOCUP 1:02/96 (Merseyside) 2:1996 (H&I) 1 externe 1 externe 1 rapport de´pose´ de´but 97 1 rapport pre´vu e´te´ 97 Irlande du Nord 1 comite´ CCA 9 sous-comite´s sectoriels 1:06/96 mai 96 1 externe 9 externes rapport de´pose´ mai 97 9 rapports de´pose´s 1er semestre 97 Autriche 1 comite´ finalise´ 1 externe rapport pre´vu automne 1997 Obj. 6 Finlande 1 comite´ DOCUP finalise´ 1 externe rapport pre´vu pour 10/1997 Sue`de 1 comite´ DOCUP finalise´ 1 externe rapport de´pose´ 06/97 Source : Commission europe´enne. 1 6 1 1 9 8. F R J o u r n a l o f f i c i e l d e s C o m m u n a u t e´ s e u r o p e´ e n n e s C 3 4 7 / 2 7 C 347/28 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 Incidence des programmes du second CCA (y compris le cofinancement national) sur la croissance du PIB Tableau 7 CCA 1994-1999 en % du PIB HERMIN (1) (Moyenne en % des taux de croissance annuels pour 1994-1999) demande offre Total OGM (2) (Moyenne en % des taux de croissance annuels pour 1994- 1999) DIO (3) (Moyenne en % des taux de croissance annuels pour 1994- 1999) Gre`ce Espagne (4) Portugal Irlande 5,9 2,6 5,5 3,3 0,9 0,6 1,6 0,5 0,9 0,3 0,2 0,2 1,8 0,8 1,8 0,7 0,6 0,2 0,4 0,1 1 0,5 1 0,6 (1) HERMIN: Mode`le e´conome´trique qui se base sur le mode`le original HERMES (Harmonised Econometric Research for Modelling Economic Systems), mais ayant la particularite´ d’eˆtre de taille minimum (Min), d’où (HER)MIN. (2) Optimal Growth Model (OGM) de Pereira (1991 et 1995). Voir chapitre 7 et plus particulie`rement les points 7. 2, 7. 5, 7. 10, 7. 11 ainsi que l’annexe III point 5. (3) Dynamic Input output model (DIO) de Beutel (1995, 1996 et 1997). Voir point 6. 23 d) ainsi que l’annexe III point 9. (4) S’agissant de l’Espagne, toutes les re´gions ne sont pas e´ligibles à l’objectif 1. Source: Évaluations sur la base des mode`les macro-e´conomiques concerne´s, cofinance´es par la Commission. Tableau 8 Multiplicateurs de croissance annuelle des CCA en 1994-1999 HERMIN demande offre Total OGM DIO Gre`ce Espagne Portugal Irlande 0,2 0,2 0,3 0,2 0,2 0,1 0 0,1 0,4 0,3 0,3 0,3 0,1 0,1 0,1 0 0,2 0,2 0,2 0,2 Source: Évaluations sur la base des mode`les macro-e´conomiques concerne´s, cofinance´es par la Commission. Tableau 9 Convergence réelle en PIB per capita avec le modèle OGM 9 0 90 8 0 80 7 0 70 60 6 0 50 5 0 40 4 0 Greece G r e e c e I r e l a n d Ireland P o r t u g a l Portugal S p a i n Spain ) % ( E U e n n e y o M 30 3 0 1993 1 9 9 3 1995 1 9 9 5 1997 1 9 9 7 1999 1 9 9 9 2003 2 0 0 3 2007 2 0 0 7 Note: De ces simulations prévisionnelles établies sur la base de données relativement peu récentes, il ne convient de retenir que l'inclinaison des tendances et non les valeurs absolues des projections qui notamment pour l'Irlande s'avèrent trop pessi- mistes. Source: Évaluation sur la base du modèle OGM (Pereira, 1995). 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/29 L’impact des CCA sur l’emploi et le de´veloppement durable au cours de la pe´riode 1989-1999 Tableau 10 Auteurs Emploi et chômage De´veloppement durable Finances publiques Balance des paiements Bradley et al [HERMIN] — Croissance de l’emploi — Les besoins en em- — Re´duction de l’emploi industriel partiellement due à une augmentation de la productivite´ prunts publics augmen- tent au de´but du pro- gramme et diminuent lorsque les effets de l’offre se font sentir — Dans l’hypothe`se où les emprunts du secteur public sont inchange´s, les effets sur la crois- sance sont moins im- portants De´te´rioration de la balance commerciale — Croissance de l’emploi dans le secteur des ser- vices non marchands Honohan (ed. ) [HERMIN] — Croissance de l’emploi — Voir e´tude pre´ce´dente Ame´lioration de la balance des paiements aussi long- temps que le financement par l’UE se poursuit Herce et Sosvilla- Rivero [HERMIN] Christodoulakis et Kalyvitis [HERMIN] Sema Group [HELM] Pereira (1995) [OGM] Lolos et Zonallas [BBM] — Croissance de l’emploi — Re´duction du chômage — Re´duction sensible du rapport dette publique/ PIB — Voir e´tude Bradley et al De´te´rioration de la balance commerciale due aux effets sur la demande — Re´duction du rapport dette/PNB — Croissance de l’emploi — Croissance du de´ficit Non pris en conside´ration primaire — Re´duction du chômage urbain — Croissance de l’emploi Non pris en conside´ration Non pris en conside´ration — Re´duction de l’emploi industriel — Croissance de l’emploi dans le secteur des ser- vices Mode`le de plein emploi Croissance de l’emploi et re´duction du chômage De´ficit public primaire en % de la croissance du PIB Croissance du de´ficit fiscal dans la pe´riode 1989-1993 et re´duction dans la pe´rio- de 1994-1995 Augmentation du de´ficit de la balance courante, sauf pour l’Espagne dans la pe´riode 1997-1999 De´te´rioration de la balance courante Beutel [DIO] — Croissance de l’emploi au Portugal, en Gre`ce Non pris en conside´ration et en Espagne Croissance des exportations- importations au Portugal et en Gre`ce, mais baisse en Irlande — En Irlande, baisse de l’emploi avec le premier CCA, mais cre´ation d’emplois avec le second FIDIMS Croissance de l’emploi en Italie du Nord et du Sud Non pris en conside´ration Non pris en conside´ration C 347/30 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 Accroissement (%) du PIB (PNB) ge´ne´re´ par l’augmentation de 1 % de la part du CCA dans le PIB (1994-1999) Tableau 11 Capital physique Capital humain Capital prive´ Espagne Irlande Portugal 2 1,4 1,9 3,3 1,2 1,3 1,5 1,1 Non disponible Source: Évaluations HERMIN. 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/31 ANNEXE I SYNTHÈSE DE LA MÉTHODOLOGIE À APPLIQUER DANS LE CADRE DE L’ÉVALUATION EX POST DES CCA OBJECTIF 1 1989-1993 1. L’e´valuation ex post des CCA O1 1989-93 avait explicitement pour but de: a) appre´cier la strate´gie et les objectifs retenus dans les CCA et en tirer des enseignements pour la future action. Analyser les conse´quences, sur les objectifs initialement fixe´s, de la rede´finition et adaptation des interventions pendant la pe´riode de la mise en œuvre; b) faire un premier bilan au niveau des CCA et des PO des re´alisations physiques pour les actions significatives et proce´der à une premie`re appre´ciation de leur impact; c) analyser l’efficacite´ des me´canismes de la mise en œuvre et tirer des enseignements pour d’e´ventuelles adaptations dans l’avenir. 2. Des approches me´thodologiques ont e´te´ e´labore´es par le consultant principal charge´ de la coordination des e´valuations effectue´es par d’autres consultants pour les États membres concerne´s: a) pour le premier objectif, afin d’e´valuer la logique inhe´rente aux CCA et PO et aux ajustements dont les CCA et PO ont fait l’objet depuis 1989 — et plus spe´cifiquement pour analyser les causes de ces ajustements, la valeur ajoute´e communautaire, la cohe´rence interne, la cohe´rence externe, la pertinence de la strate´gie face aux proble`mes et l’ade´quation des financements — les tâches suivantes, qui rele`vent d’une approche top-down, devaient eˆtre mene´es: — collecte d’informations et de donne´es cle´s: donne´es financie`res, objectifs ex ante, outputs/effets escompte´s, groupes et domaines cibles, instruments principaux utilise´s, nombre de projets/ mesures approuve´s, nombre de projets re´alise´s, — description de l’environnement du programme et de son e´volution (situation initiale — situation actuelle); identification des facteurs externes influençant l’e´volution du programme et son succe`s/e´chec; analyse des proble`mes et des causes de base; concre´tiser les indicateurs cle´s du de´veloppement re´gional, incluant des indicateurs du changement des disparite´s, — identification des instruments de politique (preˆts, subventions, assistance technique), — hie´rarchisation des objectifs, identification des niveaux de hie´rarchie, et des liens entre objectifs et instruments; b) pour le second objectif, les analyses à de´velopper relevaient à la fois d’approches top-down et bottom-up: — analyse des outputs et des effets au niveau de PO, de mesures et de projets, compte tenu de «pertes se`ches» et d’effets de substitution et de multiplication, — analyse de l’efficacite´ relative de mesures et de combinaisons de mesures; analyse des facteurs causals de succe`s/e´checs, — comparaison d’outputs et d’inputs; il s’agissait e´galement de concre´tiser des indicateurs cle´s et facultatifs; c) pour le troisie`me objectif, on visait à analyser l’efficacite´ des me´canismes de mise en œuvre au niveau du CCA et des PO et d’un nombre re´duit de mesures, et à identifier les ame´liorations apporte´es et à apporter dans le processus de programmation, de mise en œuvre, de suivi et d’e´valuation; on examinerait pour chaque État membre les me´canismes de prise de de´cision, de planification, de contrôle financier, de mise en œuvre, de suivi, de contrôle et les circuits financiers, le partenariat, l’additionnalite´, la coordination des fonds, le processus de simplification et d’harmonisation, de plus grande flexibilite´, de meilleure transparence; on analyserait en profondeur la mise en œuvre et le suivi pour un petit e´chantillon de mesures/grands projets; d) des e´chantillons ad hoc de programmes, mesures et projets e´taient choisis dans le but d’une part de renseigner un nombre limite´ d’indicateurs physiques et d’impact, d’autre part d’effectuer des analyses approfondies. C 347/32 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 ANNEXE II SYNTHÈSE DE L’APPROCHE DE L’ÉVALUATION EX POST DE L’OBJECTIF 2 1989-1993 L’e´valuation ex post des interventions communautaires dans le cadre de l’objectif 2 pour la pe´riode de programmation 1989-1993 comprenant ge´ne´ralement des composantes FEDER et FSE, comportait: a) des analyses ge´ne´rales portant sur toutes les re´gions et zones O2 : elles visaient la comparaison entre la situation socio-e´conomique à la veille de l’intervention des FS dans le cadre de l’O2 et la situation socio-e´conomique apre`s ces interventions; elles devaient e´galement donner lieu à une analyse de la strate´gie mise en place, de la hie´rarchie des objectifs, priorite´s et mesures, des indicateurs, des effets planifie´s et non planifie´s, des synergies entre composantes des programmes, de l’inte´gration des diffe´rents fonds. Ces analyses devaient se baser sur le contenu des CCA et des PO, sur les rapports d’exe´cution annuels ou rapports soumis au comite´ de suivi et sur des e´valuations ex ante et ex post, lorsqu’elles e´taient disponibles; b) des e´tudes approfondies portant sur 22 re´gions et ayant pour but de: — e´tudier en profondeur les CCA, les PO et les types de mesures adapte´s; — analyser les structures institutionnelles et les modalite´s de gestion des programmes; — e´valuer les impacts et les effets de «valeur ajoute´e» susceptibles d’eˆtre attribue´s aux CCA et aux PO; — e´valuer le coût et l’efficacite´ des impacts; — e´tudier les contributions de l’intervention du programme O2 dans le processus de de´veloppement re´gional. Les e´valuations approfondies rele`vent de l’approche bottom-up, le but e´tant -à partir d’un examen du processus de choix des ope´rations, de leur typologie, du processus de gestion dont ils font l’objet, de leur impact et effet de valeur ajoute´e, des synergies et de l’additionnalite´- de remonter et d’agre´ger au niveau de la mesure et finalement au niveau du programme. ANNEXE III CARACTÉRISTIQUES DES MODÈLES MACRO-ÉCONOMIQUES UTILISÉES DANS LE CADRE DE L’ÉVALUATION DES FS 1. Les principaux mode`les utilise´s dans le cadre de l’e´valuation macro-e´conomique dans le domaine des FS sont constitue´s: a) de mode`les e´conome´triques, tels que HERMIN (1), HELM (2) et QUEST II (3); b) de mode`les d’e´quilibre ge´ne´ral calculable tels que OGM (4) et BBM (5); c) de mode`les input-output tels que DIO (6) et FIDIMI (7); d) de l’analyse structurelle-re´siduelle. (1) HERMIN: Mode`le e´conome´trique qui se base sur le mode`le original HERMES (Harmonised Econometric Research for Modelling Economic Systems) mais ayant la particularite´ d’eˆtre de taille minimum (Min), d’où (HER)MIN. (2) HELM: Hainaut Economic Lead-in Model (3) QUEST II: A Multy Country Business Cycle and Growth Model — Economic Papers no 123 — October 1997. DG II — Affaires e´conomiques et financie`res. (4) Optimal Growth Model (OGM) de Pereira (1991 et 1995). (5) Bourguignon, Branson et de Melo model (BBM) de Lolos et Zonzilas (1992). (6) Dynamic Input-output model (DIO) de Beutel (1995, 1996 et 1997). (7) FIDIMI Consulting Company, Évaluation de l’impact macro-e´conomique du CCA Objectif 1 — Italie et des me´canismes de mise en œuvre. 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/33 Les caracte´ristiques de l’application de ces mode`les dans les cas examine´s sont pre´sente´es sche´matique- ment dans les tableaux III 1 et III 2. Le tableau III 3 indique quant à lui la mode´lisation des caracte´ristiques des CCA. 2. Par ailleurs, la possibilite´ de simuler l’e´volution de l’e´conomie des pays de l’O1 sur un intervalle temporel de plus de dix ans et sur des bases plurisectorielles permet d’appre´hender le changement structurel engendre´ par les FS et d’e´valuer la solidite´ du processus de rattrapage que l’aide communautaire doit soutenir et renforcer. 3. Dans le cadre de son enqueˆte, la Cour a fait effectuer une analyse (8) pour estimer dans quelle mesure ces techniques au niveau macro-e´conomique sont approprie´es pour mesurer l’impact des interventions structurelles et peuvent contribuer de manie`re efficace au processus de´cisionnel et strate´gique de la programmation. 4. Il ressort de cet exercice que les e´clairages concernant les facteurs endoge`nes ou exoge`nes conditionnant le succe`s des programmes structurels varient en fonction des me´thodologies et approches conceptuelles utilise´es. En effet, les mode`les macro-e´conomiques visent à repre´senter les me´canismes du syste`me e´conomique d’un pays ou d’une re´gion et à capter ou simuler les effets d’un choc exoge`ne comme celui constitue´ par l’intervention des programmes structurels. Or, il n’existe pas une repre´sentation unique et comple`te de la re´alite´ e´conomique. 5. Le mode`le e´conome´trique HERMIN, qui prend en compte les spe´cificite´s de chaque État membre et agre`ge les effets au niveau national, part de l’hypothe`se que les e´conomies n’ope`rent pas en pleine utilisation de leur capacite´ de production et que, par conse´quent, les effets multiplicateurs et acce´le´rateurs lie´s aux accroissements en investissement cre´ent une expansion de la production et de l’emploi, et semble donner des re´sultats satisfaisants en termes d’effets sur la demande. En ce qui concerne les effets sur l’offre, la baisse du chômage induit, selon le mode`le, un accroissement de salaires en prenant en compte la relation de Phillips tout en limitant l’effet sur l’inflation; par ailleurs les effets sur la productivite´ sont explicitement pris en compte en mode´lisant les effets d’e´conomies externes que l’accroissement et l’ame´lioration du capital humain et du capital physique public et prive´ ont sur la productivite´. Cette prise en compte est cependant diffe´rente d’un pays à l’autre. Le mode`le ne fournit que des informations partielles en matie`re de de´veloppement durable, ne conside´rant notamment pas les aspects de variation du taux de change en vue de garantir l’e´quilibre de la balance des paiements, ou des variations de transferts fiscaux. 6. Le mode`le macro-e´conome´trique HELM, qui a e´te´ mis en œuvre pour l’e´valuation interme´diaire du DOCUP 1994-1999 O1 de la Province du Hainaut (Belgique), est l’un des seuls à prendre en compte spe´cifiquement l’approche re´gionale de de´veloppement en conside´rant les effets de la croissance endoge`ne lie´s à la productivite´ à long terme, bien que l’ame´lioration de la productivite´ due à l’intervention des FS soit largement limite´e au secteur industriel et concerne seulement la productivite´ du travail. Partant du meˆme type de pre´misse que le mode`le HERMIN quant à l’utilisation des capacite´s de production et aux effets multiplicateurs et acce´le´rateurs des investissements sur la demande, il indique des effets globaux et agre´ge´s du DOCUP sur l’e´conomie du Hainaut tels que l’investissement cumule´ ge´ne´re´, la valeur ajoute´e ou l’emploi dans les secteurs de l’industrie manufactu- rie`re et des services marchands pendant la pe´riode 1994 jusqu’à l’horizon 2002 ou 2005. Il est à noter que le mode`le HELM prend bien en compte les exportations re´gionales, mais pas les importations en provenance d’autres re´gions, risquant ainsi de surestimer les effets sur la demande. Cette demande est encore renforce´e par le fait que n’ont e´te´ pris en compte ni les ajustements de salaires lie´s à la baisse du chômage, ni des coûts plus e´leve´s ou des contraintes de capacite´. Le mode`le HELM donne e´galement peu d’indications sur l’e´volution du chômage ou sur l’offre de l’emploi. Enfin, il se base sur des informations statistiques historiques, mais celles-ci n’ont pas fait l’objet d’un test de corroboration avec d’autres se´ries d’informations pertinentes. 7. Les mode`les d’e´quilibre ge´ne´ral calculable s’appliquent plus particulie`rement au niveau national. Ils mettent en e´vidence les effets d’offre sur le long terme provenant des interventions structurelles communautaires. Le mode`le OGM qui a adopte´ un cadre de croissance endoge`ne intertemporelle, conside`re que les marche´s des facteurs de production sont en e´quilibre et que l’e´conomie ope`re en (8) La Cour a be´ne´ficie´ des services d’un e´valuateur externe hautement spe´cialise´ dans le domaine des mode`les macro-e´conomiques et de l’e´conomie europe´enne. C 347/34 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 pleine utilisation de la capacite´ de production. Des changements dans la demande n’ont aucun effet sur la production et l’emploi, et les programmes des FS ne peuvent stimuler la croissance qu’en augmentant la productivite´; ces effets de productivite´ sont clairement spe´cifie´s dans la fonction de production. Le mode`le vise à de´terminer un optimum pour le pays en maximisant une fonction de bien eˆtre social intertemporel. Partant de l’hypothe`se d’une situation sans incertitude, les agents e´conomiques, anticipant parfaitement le volume des fonds qui leur sera alloue´ et la pe´riode sur laquelle l’aide s’e´talera, sont cense´s prendre des de´cisions optimales de consommation et d’investissement par rapport à ces donne´es. Enfin, le mode`le OGM pre´voit à long terme l’e´quilibre de la balance de paiement et l’e´quilibre budge´taire. 8. Le mode`le BBM pre´voit pour certains secteurs que les marche´s du travail sont en e´quilibre et que, de`s lors, les effets de demande n’influent pas sur la production et l’emploi, tandis que pour d’autres secteurs une expansion de la demande est cense´e ge´ne´rer de la croissance. Le mode`le incorpore e´galement des effets de productivite´ lie´s aux changements technologiques induisant des re´ductions d’inputs. 9. Le mode`le entre´es-sorties DIO cherche à repre´senter les liens entre toutes les ressources dont dispose une e´conomie et toutes les consommations finales. Elle de´termine ainsi des interde´pendances au niveau des diffe´rents secteurs d’un pays, relie´s entre eux sur la base de consommations interme´diaires. L’approche entre´es-sorties maximalise les effets des interventions structurelles sur la demande et ignore ceux sur l’offre (effets sur la productivite´, sur les salaires, ajustement inflatoire). Le de´veloppement durable n’y est pas traite´. Le mode`le FIDIMI est une combinaison de mode`le d’e´quilibre ge´ne´ral et de mode`le entre´es-sorties et permet d’analyser les effets sur le Nord de l’Italie d’interventions communau- taires re´alise´es dans le Sud de l’Italie. 10. Parmi les autres techniques existantes pour e´valuer les effets des politiques re´gionales, Eurostat utilise surtout l’analyse structurelle — re´siduelle pour e´valuer l’impact des FS dans certaines zones e´ligibles de l’O1 ou de l’O2. Cette analyse s’attache à identifier le re´sidu, qui est donne´ par la diffe´rence entre la situation re´elle et la situation contre-factuelle issue de l’application des tendances nationales estime´es. Toutefois, l’impact ainsi de´limite´ me´lange à la fois les re´sultats du programme en cours d’e´valuation, des autres actions politiques nationales et europe´ennes ainsi que la trajectoire passe´e de la politique re´gionale. De plus, les e´tudes effectue´es par Eurostat en 1997 comprennent des donne´es concernant des indicateurs dont les plus re´centes sont en date de 1993, ce qui relativise beaucoup la valeur de leurs conclusions. 11. Le mode`le QUEST II cherche à analyser les e´conomies des États membres, et leurs interactions avec le reste du monde, notamment avec les États-Unis et le Japon. Le mode`le s’inte´resse plus particulie`rement à la transmission des effets de la politique e´conomique sur le plan national et international. Il a e´te´ initialement conçu pour servir comme outil de simulation et moins pour la pre´vision. Le mode`le QUEST II inte`gre maintenant plus les effets de l’offre que le pre´ce´dent et prend plus en conside´ration les interactions en termes de stocks. Toutefois, les implications en termes de changement de comportement des agents e´conomiques sont peu ou insuffisamment prises en compte dans QUEST II. Tableau III. 1 Caracte´ristiques fondamentales des mode`les macro-e´conome´triques Auteurs Mode`le Pays ou re´gion Effets sur la demande De´veloppement durable Effets sur l’offre Bradley et al. (1994) HERMIN Irlande et Portugal — Approche keyne´sienne Honohan (ed. ) (1997) HERMIN Irlande type; la demande d’inves- tissement stimule la demande globale — Les marche´s du travail ne sont pas automatique- ment en e´quilibre — L’e´conomie ne fonctionne pas à sa pleine capacite´ — Le secteur mone´taire et les taux de change ne sont pas mode´lise´s Salaires Productivite´ — Approche par la relation de Phillips e´tablissant un lien entre emploi, salaires et inflation — L’effet inflationniste de l’expansion de la demande est limite´ — La hausse des salaires pro- voque un apport de main d’oeuvre en Irlande — L’investissement dans le ca- pital humain n’a pas d’inci- dence sur les salaires — En Irlande, les investisse- ments lie´s aux CCA aug- mentent la productivite´ glo- bale des facteurs de pro- duction par secteur — Au Portugal, l’investisse- ment prive´ et certaines de´penses d’infrastructure n’ont pas d’incidence sur la productivite´ — La mode´lisation des effets sur la productivite´ est dis- cutable, en particulier pour le capital humain — L’effet sur la productivite´ peut re´duire l’emploi Herce et Sosvilla- Rivero (1994) HERMIN Espagne Voir mode`le pour l’Irlande, mais pas de migration de la main d’oeuvre Voir mode`le pour l’Irlande Voir mode`le pour l’Irlande, mais: — L’investissement en capital humain augmente la pro- ductivite´ du facteur travail au lieu de la productivite´ globale des facteurs de pro- duction — L’aide à l’investissement prive´ re´duit les coûts du capital pour l’utilisateur Balance des paiements: — L’effet sur la demande augmente les importations — L’effet sur la productivite´ ame´liore les exportations et attire l’investissement e´tranger direct en Irlande — Le taux de change exoge`ne ne permet pas une e´valua- tion comple`te de la balance des paiements Finances publiques — Mode´lisation limite´e du secteur public — Accroissement des em- prunts du secteur public dû aux CCA — La simulation avec des emprunts du secteur public inchange´s est prise en conside´ration Voir mode`le pour l’Irlande, mais absence de lien entre effet sur la productivite´ et investissement e´tranger direct. 1 6 1 1 9 8. F R J o u r n a l o f f i c i e l d e s C o m m u n a u t e´ s e u r o p e´ e n n e s C 3 4 7 / 3 5 Auteurs Mode`le Pays ou re´gion Effets sur la demande De´veloppement durable Salaires Productivite´ Effets sur l’offre Christodoulakis et Kalyvitis (1995) HERMIN Gre`ce — Voir mode`le pour l’Espa- Voir mode`les pour l’Irlande gne — Le taux de change est mode´lise´ Absence d’effet sur les salaires et sur les prix Sema Group (1997) HELM Hainaut — Approche keyne´sienne/ kaldorienne — La demande d’investisse- ment stimule la demande globale — La demande de travail est mode´lise´e — L’offre de travail et le chômage ne sont pas mo- de´lise´s — Les importations en pro- venance d’autres re´gions ne sont pas mode´lise´es Voir mode`le pour l’Espagne, mais: — Ajustement du taux de change nominal pour maintenir un taux de change re´el constant — La re´glementation fiscale est cense´e stabiliser la dette publique Pas d’e´valuation des conse´- quences pour la dette publi- que ou la balance des paie- ments Voir mode`le pour l’Espagne et pour l’Irlande, mais: — Les investissements en capi- tal humain re´duisent le coût l’unite´ du travail — L’aide à l’investissement prive´ n’a pas d’incidence sur la productivite´ — L’investissement dans des infrastructures «le´ge`res» augmente l’emploi dans le secteur public — Les programmes lie´s aux CCA augmentent en pre- mier lieu la productivite´ du facteur travail dans le sec- teur industriel — Dans la pre´sentation des re´sultats, aucune distinction n’est faite entre effets sur l’offre et effets sur la de- mande C 3 4 7 3 6 / F R J o u r n a l o f f i c i e l d e s C o m m u n a u t e´ s e u r o p e´ e n n e s 1 6. 1 1. 9 8 Caracte´ristiques fondamentales des mode`les d’e´quilibre ge´ne´ral calculable et d’input-output Tableau III. 2 Auteurs Mode`le Pays ou re´gion Effets sur la demande De´veloppement durable Salaires Productivite´ Effets sur l’offre Pereira (1991) Mode`le de crois- sance optimale (OGM) Portugal — Pas d’effet de demande keyne´- sienne — Les marche´s des facteurs de pro- duction sont en e´quilibre — Adaptation des sa- laires pour e´quili- brer le marche´ du travail Effets sur la productivi- te´ dus au capital public, humain et prive´ dans la production — La maximalisation du bien-eˆtre intertemporel garantit une solution dynamique optimale Pereira (1995) Portugal, Gre`ce, Irlande et Espagne — L’e´conomie fonctionne à sa pleine capacite´ Lolos et Zonzilas (1992) Mode`le Bourgui- gnon, Branson et de Melo (BBM) Gre`ce — Pas d’effet de demande keyne´- sienne — Les marche´s du travail s’e´quili- brent dans certains secteurs et pas dans d’autres — Les taux de change fixes et flexibles sont pris en conside´ra- tion — Adaptation des sa- laires pour e´quili- brer les marche´s du travail dans certains secteurs — Approche par la re- lation de Phillips dans les autres sec- teurs — L’investissement dans le capital pu- blic et prive´ aug- mente la productivi- te´ globale des fac- teurs de production par secteur, de ma- nie`re discutable — L’investissement dans le capital hu- main augmente l’ap- port de main d’oeu- vre qualifie´e et l’em- ploi public Beutel (1995, 1996, 1997) Input-output dy- namiques (DIO) Gre`ce, Portugal et Espagne Effets de demande keyne´sienne Pas d’effet sur les salai- res Pas d’effet sur la pro- ductivite´ — Les contraintes de ba- lance des paiements et de finances publiques sont satisfaites — Absence de contrainte sur l’emprunt public — Prise en compte d’e´va- luations des ine´galite´s de revenu Pas de mode´lisation des contraintes impose´es à la balance des paiements et aux finances publiques. 1 6 1 1 9 8. F R J o u r n a l o f f i c i e l d e s C o m m u n a u t e´ s e u r o p e´ e n n e s C 3 4 7 / 3 7 Tableau III. 3 La mode´lisation des caracte´ristiques des CCA Auteurs Programme CCA Secteurs vise´s Instruments Cofinancement et additionnalite´ Bradley et al (1994) 1994-1999 Honohan e´d. (1997) Herce et Sosvilla-Rivero (1994) [HERMIN] — 4 secteurs: agricole, mar- chand, non marchand et public — Le secteur marchand est le secteur cle´ pour les ef- fets sur l’offre — Les secteurs marchand et public sont les secteurs cle´s pour les effets sur la demande — Investissements (publics) dans des infrastructures physiques — Investissement dans le capital hu- main — Aides à l’investissement et à la production dans le secteur prive´ — Certaines e´tudes comparent le cofi- nancement national total avec un cofinancement national partiel ou nul Point de de´part et sce´narios pour le futur — Pre´visions pour 1991-2020, sauf Honohan (1993-2010) — Les sce´narios d’atterrissage en catastrophe et en dou- ceur sont pris en conside´- ration Christodoulakis et Kalyvitis [HERMIN] 1994-1999 Identiques aux e´tudes pre´ce´- dentes — Infrastructures lourdes — Infrastructures le´ge`res — Aide à l’investissement productif — Éducation et formation — Les simulations supposent que les taux de cofinancement pre´vus sont re´alise´s — Pre´visions pour 1991-2010 — Sce´nario d’atterrissage en catastrophe Sema Group [HELM] 1994-1999 — 6 secteurs: agriculture, in- dustrie, e´nergie, construc- tion, services commer- ciaux, services non com- merciaux Lolos et Zonzilos [BBM] 1989-1993 Neuf secteurs: agriculture, e´nergie et exploitation minie`- re, industrie alimentaire, in- dustrie le´ge`re, industrie inter- me´diaire, construction, e´chan- ges et commerce, transports et te´le´communications, autres services (y compris publics) — Investissements dans le capital phy- sique public et prive´ — Investissements dans le capital hu- — Sce´nario dans lequel l’aide de l’UE et l’aide re´gionale 1989-1993 sont maintenues ulte´rieurement — Pre´visions pour 1994-2005 main — Investissement dans le capital de R&D — Sce´nario dans lequel l’aide supple´- mentaire de l’UE et le cofinance- ment national pour 1994-1999 s’ajoutent — Sce´nario dans lequel aucune aide de l’UE n’est accorde´e pour la pe´- riode 1989-1999 — Investissements publics dans des secteurs se´lectionne´s L’additionnalite´ n’est pas discute´e, mais probablement impose´e au mode`le — Pre´visions pour 1988-1995 — Atterrissage en catastrophe — L’investissement dans le capital hu- main augmente l’emploi public, le nombre de travailleurs qualifie´s et ge´ne`re des transferts aux me´nages — Soutien aux entreprises prive´es C 3 4 7 3 8 / F R J o u r n a l o f f i c i e l d e s C o m m u n a u t e´ s e u r o p e´ e n n e s 1 6. 1 1. 9 8 Auteurs Programme CCA Secteurs vise´s Instruments Cofinancement et additionnalite´ Point de de´part et sce´narios pour le futur Beutel [DIO] 1989-1999 25 secteurs fonde´s sur des tableaux input-output — Mode´lisation sectorielle des inves- tissements dans le capital humain, public et prive´ — Les investissements dans la forma- tion affectent les re´mune´rations et les salaires L’additionnalite´ est impose´e au mode`le — Pre´visions pour 1989-1994 FIDIMI (1991) 1989-1993 16 secteurs fonde´s sur des tableaux input-output — Mode´lisation sectorielle des CCA — L’additionnalite´ est un e´le´ment essentiel de l’e´tude — Les sce´narios diffe`rent au niveau — Indication des effets totaux seulement, sans ventilation annuelle du montant des fonds qui seraient investis en Italie du Sud avec et sans CCA — Pas de discussion sur les sce´narios d’atterrissage en catastrophe et en douceur Pereira (1991) [OGM] 1989-1993 2 secteurs: marchand et non marchand — Investissements dans les infrastruc- — Des obligations de cofinancement — Pre´visions pour 1990-2006 tures publiques sont impose´es — Investissements dans le capital hu- — Le mode`le permet d’e´valuer si l’ad- main ditionnalite´ sera re´alise´e — Soutien à l’investissement prive´ — Les sce´narios d’atterrissage en catastrophe et en dou- ceur sont pris en conside´- ration Pereira (1995) [OGM] 1994-1999 et comparaison avec 1989-1993 Voir mode`le pre´ce´dent Voir mode`le pre´ce´dent — Des obligations de cofinancement — Pre´visions pour 1993-2007 sont impose´es — Sce´nario d’atterrissage en — Les simulations comparent les cas catastrophe de: i. non-additionnalite´ ii. de´finition officielle et iii. de´finition intertemporelle de l’additionnalite´. 1 6 1 1 9 8. F R J o u r n a l o f f i c i e l d e s C o m m u n a u t e´ s e u r o p e´ e n n e s C 3 4 7 / 3 9 C 347/40 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 RÉPONSES DE LA COMMISSION I. COMMENTAIRE GÉNÉRAL La Commission reconnaît que la de´marche d’e´valuation, ayant un caracte`re novateur pour beaucoup, souffre encore d’approximation quant à son contenu et l’emploi qui peut en eˆtre fait, mais rappelle qu’en l’espace de quelques anne´es, des progre`s remarquables ont e´te´ obte- nus. Consciente des difficulte´s restant encore à vaincre, la Commission a multiplie´ ses efforts tant sur le plan organisationnel que me´thodologique afin de se rappro- cher d’une situation aussi satisfaisante que possible, menant un dialogue constant avec tous ceux qui, dans les diffe´rents pays de l’Union, re´fle´chissent et de´veloppent des recherches dans ce domaine. Trois grandes e´tapes caracte´risent le de´veloppement de la de´marche d’e´valuation des interventions des Fonds struc- turels, lie´es aux 3 pe´riodes de programmation: Pe´riode 1989-1993: Les re`glements de la 1e`re re´forme des Fonds structurels n’ont e´te´ adopte´s par le Conseil qu’en de´cembre 1988; les plans nationaux de´pose´s de´but 1989, ne refle´taient qu’en partie les exigences en matie`re de vision strate´gique, choix des objectifs à atteindre et quantification des impacts escompte´s. De`s lors, les travaux d’e´valuation ex-post ont tente´ de pallier ces carences en comparant les re´sultats obtenus avec des objectifs reconstitue´s. Ce travail conside´rable comporte ses propres limites qui se refle`tent dans des rapports consacre´s aux interventions dans les zones de l’Objectif 1 et l’Objectif 2. Il constitue ne´anmoins la premie`re tentative d’analyse cohe´rente de l’impact de cette re´forme sur la cohe´sion e´conomique et sociale. Pe´riode 1994-1999: Tant à la demande de certains États membres qu’à celle de la Commission, un renforcement de la re´glementation en matie`re de suivi et d’e´valuation, a suivi cette premie`re expe´rience, avec la fixation des trois phases, ex ante, interme´diaire et ex post. Le succe`s de la phase interme´- diaire n’est pas contestable. Allant au-delà meˆme d’une stricte application des re`glements, pour la premie`re fois, les e´valuations à mi-parcours ont e´te´ organise´es par et au niveau de chaque comite´ de suivi, rapprochant e´valua- teur et be´ne´ficiaires de l’e´valuation. Les rapports qui ont e´te´ pre´pare´s ont fait l’objet de pre´sentation et de de´bat au sein de chaque comite´, donnant à cette de´marche une fonction à la fois pe´dagogique et ope´rationnelle à laquelle les travaux organise´s et conduits par la Commission peuvent difficilement pre´tendre. Il peut exister des discordances dans les me´thodes utili- se´es, le choix des e´valuateurs, le coût des travaux, le degre´ de de´tail des re´sultats, meˆme si la coordination et l’encadrement ge´ne´ral e´taient assure´s par l’unite´ de coor- dination de l’e´valuation des services de la Commission et leurs correspondants nationaux au sein du groupe techni- que d’e´valuation. Cependant, en de´pit de certaines diffe´- rences lie´es à la marge de manœuvre dont dispose chaque État membre dans le cadre de la subsidiarite´, la Commis- sion estime que cette de´marche a joue´ un rôle essentiel dans la diffusion d’une ve´ritable culture de l’e´valuation. La de´monstration a ainsi e´te´ faite aupre`s des be´ne´ficiaires qu’ils disposaient d’un outil ope´rationnel afin de mieux ge´rer les interventions finance´es par des sources tant nationales que communautaires. Les futures e´valuations auront tout à gagner de cet e´tat d’esprit car la qualite´ de leurs conclusions de´pend autant de la qualite´ des infor- mations de´tenues et de´livre´es par les gestionnaires que du degre´ d’expertise des e´valuateurs inde´pendants. Pe´riode 2000-2006: Les nouvelles propositions de re`glements visent en parti- culier à re´duire encore les facteurs qui limitent la porte´e de la de´marche d’e´valuation, le souci principal e´tant d’accroître l’efficacite´ dans l’utilisation des Fonds structu- rels. C’est ainsi, notamment, que sont propose´s: — une ve´ritable incorporation de l’e´valuation ex ante dans les plans que devront de´poser les États membres avec une quantification rigoureuse des objectifs à atteindre; — la prise en compte des re´sultats des e´valuations de´jà re´alise´es soit the´matiques, soit spe´cifiques par pro- gramme, de la pe´riode pre´ce´dente; — l’e´tablissement d’un lien e´troit entre reprogrammation à mi-parcours et conclusions des e´valuations interme´- diaires. Dans un souci d’assurer une plus grande efficacite´ à l’utilisation des Fonds structurels, la Commission a pro- pose´ que 10 % du montant des Fonds structurels soit attribue´ à mi-parcours en fonction des performances 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/41 re´alise´es, les crite`res de performance e´tant e´troitement lie´s à la qualite´ de la programmation, du suivi et des e´valua- tions ex ante et à mi-parcours. II. COMMENTAIRES SPÉCIFIQUES 2. PORTÉE DE L’AUDIT Enfin, dans un domaine plus strictement me´thodologique, la Commission entend publier d’ici l’automne l’ensemble des travaux re´alise´s dans le cadre de MEANS (1) lui permettant d’assurer une harmonisation accrue de la de´marche d’e´valuation au sein de l’Union. Ceci concer- nera: — la description pre´cise d’un cahier des charges et de la me´thodologie pour une e´valuation ex ante, interme´- diaire ou ex post; — la pre´sentation des diffe´rentes me´thodes d’e´valuation existantes dans la litte´rature et leurs conditions d’em- ploi; — l’analyse des syste`mes d’indicateurs par domaine d’in- tervention. Harmonisation des concepts et liste indica- tive d’indicateurs; — la me´thodologie des e´valuations the´matiques et leur organisation; — un glossaire multilingue des principaux concepts de l’e´valuation; — une pre´sentation des expe´riences nationales ou com- munautaires les plus innovantes. Les remarques suivantes montrent que, dans un certain nombre de cas, la Commission peut partager les observa- tions de la Cour. Mais il convient de toujours prendre en compte les difficulte´s et les limites inhe´rentes à toute de´marche d’e´valuation meˆme si celles-ci sont progressive- ment surmonte´es ou de´passe´es. En tout e´tat de cause, cependant, il ne doit jamais eˆtre perdu de vue que l’e´valuation est d’abord un outil technique d’aide à la de´cision ou à la gestion et qu’elle n’a pas pour vocation de se substituer aux de´cideurs politiques. Elle vise à e´clairer, toujours partiellement, les conse´quences des choix à prendre ou de´jà de´cide´s. Elle doit, en outre, conserver une ne´cessaire flexibilite´ quant aux me´thodes retenues afin de tenir compte de contextes toujours diffe´rents d’une e´valuation à l’autre. Enfin, la Commission rappelle que depuis le de´but de la re´forme des Fonds, en 1988, les responsabilite´s re´cipro- ques des administrations nationales et de la Commission en matie`re de gestion des Fonds structurels et notamment en matie`re d’e´valuation ne font que se pre´ciser. En effet, les États Membres sont de plus en plus appele´s à assumer une responsabilite´ principale et à re´aliser leur propre e´valuation. (1) Programme pluriannuel d’analyses et de propositions sur les me´thodologies d’e´valuation. 2. 3 La Cour n’a pas couvert, par son audit, des pays comme l’Allemagne et le Royaume-Uni, États membres pre´sentant une attitude par rapport à l’e´valuation particu- lie`rement contraste´e. 3. RÉSUMÉ DES PRINCIPALES OBSERVATIONS 3. 2 La Commission estime que les cas d’e´valuation pour lesquels elle ne disposerait pas d’e´le´ments budge´taires sont marginaux en termes de coût. L’e´valuation interme´- diaire e´tant en plein de´veloppement et e´tant re´alise´e à un niveau de´centralise´, le volume des de´penses qui leur est consacre´ est en pleine e´volution. Les montants consacre´s à l’e´valuation sont ventile´s par pays, objectif et type d’intervention. Des donne´es ont aussi e´te´ publie´es dans le bilan annuel de la Commission sur l’e´valuation. La Commission poursuivra son action pour obtenir une identification syste´matique de la de´pense re´serve´e à l’e´va- luation dans les montants alloue´s à l’assistance technique et ge´re´e au sein du partenariat. 3. 3 Les re`glements et le principe de subsidiarite´ n’accor- dent pas à la Commission des compe´tences pour un encadrement pre´cis en termes de me´thodologie d’e´valua- tion et d’indicateurs. La Commission, dans son souci de faire e´voluer les pratiques nationales et d’ame´liorer la qualite´ de l’e´valua- tion, a: — mis en place le programme MEANS et diffuse´ huit cahiers de questions me´thodologiques; — organise´ trois confe´rences europe´ennes sur les techni- ques et la pratique de l’e´valuation; — diffuse´ des documents comme, par exemple, le cadre de re´fe´rence pour les e´valuations ex ante et un guide pour l’e´valuation des grands projets; — mis en place des Groupes Techniques d’Evaluation avec la participation des États membres et organise´ plusieurs se´minaires. 3. 5 Il existe une difficulte´ objective d’assurer une articu- lation entre l’e´valuation ex post et les diffe´rentes phases de programmation des interventions structurelles. Une re´elle e´valuation ex post doit eˆtre mene´e deux ou trois ans apre`s la fin de la programmation. C 347/42 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 Afin de re´soudre cette difficulte´, la Commission a pousse´ à la re´alisation d’e´valuations interme´diaires et d’e´valua- tions the´matiques. Ainsi, par exemple, des e´valuations the´matiques mene´es en 1992 et 1993 ont permis de disposer d’e´le´ments pour la pre´paration de la program- mation 1994-99. Pour la pre´paration de la programmation apre`s 2000 les e´valuations interme´diaires seront disponibles car elles sont de´jà re´alise´es et des bilans d’e´valuation, qui consti- tuent un approfondissement et une actualisation des e´valuations interme´diaires, se mettent actuellement en place pour chaque objectif. En outre, quatre e´valuations the´matiques ont e´galement de´jà e´te´ lance´es. La Commission a, d’autre part, introduit ce dispositif dans ses propositions de modification des re`glements. 3. 6 Il convient de distinguer objectivite´ des e´valuations et suffisance et qualite´ des donne´es. La question des donne´es est souvent mise en exergue dans le cadre de l’e´valuation. Rares sont les rapports qui n’e´pinglent pas cette difficulte´. On observe, ne´anmoins, une ame´lioration sensible de la situation au niveau des donne´es grâce notamment aux exigences de l’e´valuation. La Commission n’est pas satisfaite de l’e´tat de la situation des donne´es, mais cela ne doit pas eˆtre conside´re´ comme une critique de l’e´valuation, mais des syste`mes de suivi. La Commission souligne le fait que le proble`me de la pertinence des donne´es de monitorage et des indicateurs est d’ailleurs une question relevant principalement de l’audit du suivi. La Commission poursuit son action en vue d’ame´liorer la situation et donnera suite à l’observation de la Cour concernant une e´valuation plus syste´matique de la fiabili- te´ des donne´es. Les activite´s mene´es au titre de l’audit et du contrôle permettront e´galement de renforcer l’ame´lio- ration de la situation constate´e sur le terrain depuis quelques anne´es. 3. 7 Les services concerne´s respectent les proce´dures de passation des contrats pre´vues par les directives en la matie`re et la proce´dure e´tablie par la CCAM. Il n’est cependant pas possible de ne´gocier le mandat avant la signature du contrat. Cela ne´cessite parfois des clarifica- tions qui geˆnent la gestion des calendriers mais ce proble`- me reste marginal. peuvent eˆtre excellents alors que dans d’autres cas, ils sont insuffisants. 3. 8 La Commission partage l’avis de la Cour sur les difficulte´s rencontre´es par les premie`res e´valuations orga- nise´es notamment dans un climat peu enthousiaste dans les États membres. Les e´valuations ex post des Objectifs 1 et 2 ont e´te´ mene´es par des socie´te´s de consultants de renomme´e internationale et des experts de haut niveau et à partir d’une me´thodologie commune. La deuxie`me partie du point 3. 7 justifie tant la de´marche que l’utilite´ de l’exer- cice, malgre´ ces contraintes. Les critiques de la Cour portent sur des e´valuations mene´es en 1993-94, mais depuis, et à l’initiative de la Commission, beaucoup de travaux ont e´te´ mene´s pour le de´veloppement des me´tho- dologies. La critique de la Cour sur l’e´valuation ex post Objectif 2 est e´galement en partie pertinente. Une vision plus pragmatique doit eˆtre cependant conserve´e quant à la possibilite´ de parvenir à une mesure quantitative pre´ci- se de l’impact ou de la valeur ajoute´e communautaire. 3. 9 L’e´valuation interme´diaire a porte´ sur l’analyse des re´alisations des interventions. L’e´valuation des effets sera plutôt conduite dans le cadre des bilans et des e´valuations ex post. Cependant, ces e´valuations ne sont pas toujours lie´es à la mise en place de mode`les e´conome´triques — souvent tre`s coûteux — et pas toujours les plus adapte´s à la mesure des impacts. L’e´valuation est un instrument de support à la gestion et en tant que tel, ne constitue qu’un syste`me d’aide relatif au processus de´cisionnel. 3. 10 La Commission a constate´ que le de´coupage en deux pe´riodes de programmation de l’objectif 2 ne cor- respond pas de manie`re satisfaisante aux besoins des zones concerne´es et complique la mise en œuvre des programmes. Les propositions de la Commission en mars 1998 pour la re´forme des Fonds structurels retiennent une seule phase de programmation pour l’Objectif 2, comme c’est le cas pour les autres objectifs. 3. 11 - 3. 12 Afin d’e´viter une multiplication d’e´valuation de programmes ou de sous-programmes difficilement ge´rable, une approche plus se´lective dans certains domai- nes clefs peut eˆtre parfois une solution mieux adapte´e. Par ailleurs, les services de la Commission ne peuvent eˆtre rendus seuls responsables de cette difficulte´. Tant la compe´tence des consultants que la qualite´ des donne´es disponibles peuvent eˆtre à l’origine des faiblesses de certains rapports d’e´valuation: sur la base des meˆmes termes de re´fe´rence, certains rapports dans un pays La Commission partage l’avis de la Cour sur l’opportuni- te´ de re´duire le nombre des mesures et sous-programmes, voire le nombre des programmes. Elle a d’ailleurs fait des propositions concre`tes en ce sens dans le cadre de la re´forme des Fonds. 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/43 4. PROBLEMES GENERAUX Introduction 4. 1 La Commission, à plusieurs reprises, a regrette´ que certains États membres n’aient pas suffisamment quantifie´ leurs objectifs. L’absence d’une gestion par objectifs de la de´pense publique nationale entrave e´galement le de´velop- pement des syste`mes de gestion à base d’indicateurs. Par conse´quent, il s’agit moins d’une de´faillance du cadre me´thodologique ou analytique que d’un proble`me de conception des programmes et de l’e´tat de de´veloppement des statistiques nationales. 4. 3 La Commission rappelle que: — de`s 1994, elle a transmis aux États membres des «orientations communes pour le suivi et les e´valua- tions interme´diaires»; — en de´cembre 1994, elle a pre´sente´ au Groupe Techni- que d’Evaluation - responsables de l’e´valuation des États membres - un document cadre sur la finalite´, le contenu et la de´marche de la mise en œuvre des e´valuations interme´diaires. Cette premie`re concerta- tion a e´te´ suivie de quatre autres re´unions au sein du meˆme groupe; — en 1995, elle a mis à la disposition des administra- tions un cahier MEANS «organiser l’e´valuation inter- me´diaire dans le cadre du partenariat» dont trois chapitres sur cinq traitent de «l’e´laboration du cahier des charges et des appels d’offre», «la se´lection des e´valuateurs» et «la gestion de la qualite´ de l’e´valua- tion»; — en 1996 et avant re´ception des premie`res e´valuations, elle a mis à la disposition des administrations un cahier MEANS sur «l’appre´ciation de la qualite´ des rapports d’e´valuation» avec une grille de´taille´e. 4. 5 Il est cependant rappele´ que certaines e´valuations ont e´te´ mene´es dans le cadre du partenariat, meˆme au cours de la pe´riode 1989-93. Ainsi les États membres et les comite´s de suivi ont activement participe´ à plusieurs e´valuations initie´es par la Commission - e´valuations the´- matiques ou ex post. 4. 10 La Cour note la faiblesse des montants destine´s à l’e´valuation des Objectifs 1 et 2 au cours de la premie`re pe´riode de programmation. La quasi totalite´ des États membres n’ayant pas mene´ d’e´valuation, seule, en fait la Commission a pris l’initia- tive d’une premie`re e´valuation de l’ensemble des CCA Objectif 1 et de 15 DOCUP de l’Objectif 2 au de´but de la pe´riode. Au-delà des e´valuations the´matiques qui concer- nent aussi la pe´riode 1989-93, la Commission a mene´ en outre une e´valuation ex post pour l’ensemble des CCA et DOCUP Objectifs 1 et 2 de la pe´riode 1989-93. 4. 11 La question de la connaissance du coût a e´te´ e´voque´e au point 3. 2. Seules certaines e´valuations lance´es à la seule initiative d’État membre et finance´es par l’assistance technique pourraient ne pas eˆtre reprises dans le bilan financier des e´valuations e´tabli par la Commis- sion. Il ne s’agit cependant que de montants marginaux par rapport à l’ensemble des autres travaux. Cadre de re´fe´rence 4. 12 - 4. 13 Les documents MEANS ont e´te´ conçus comme des textes pe´dagogiques destine´s à des administra- tions dont le niveau d’expertise est souvent en pleine e´volution sur le domaine technique. La Commission a conside´re´ comme une priorite´ de relever le niveau moyen de l’e´valuation et pas celui des experts de´jà spe´cialise´s. Bases statistiques et informations relatives aux objectifs poursuivis 4. 14 - 4. 15 La Commission partage le constat de la Cour. Indicateurs 4. 16 - 4. 21 La Cour reconnaît les efforts entrepris par la Commission pour faire e´voluer la question des indica- teurs. Ainsi, les dispositions re´glementaires ont e´te´ renfor- ce´es en 1993 et l’exercice de quantification des disparite´s a e´te´ lance´ avec chaque État membre. Lors de l’e´valuation ex ante la question de quantification des objectifs a e´te´ une priorite´ et des progre`s ont e´te´ re´alise´s — les interven- tions 1994-99 sont nettement mieux quantifie´es que les pre´ce´dentes. La premie`re tâche des e´valuations interme´- l’ame´lioration des indicateurs et de leur diaires a e´te´ efficacite´. La Commission souligne que le proble`me n’est pas uni- quement de comple´ter ou de re´duire le nombre d’indica- teurs, mais plutôt la difficulte´ rencontre´e par les syste`mes de suivi pour assurer la quantification re´gulie`re des indicateurs convenus et de´jà existants dans les program- mes. Il ne s’agit pas non plus d’un manque de cohe´rence de programmation, mais c’est le droit des autorite´s re´gio- nales et locales, au titre de la subsidiarite´, de de´cider de leurs propres priorite´s et de l’ampleur de la programma- tion dans leurs pays. C 347/44 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 Toutefois, des progre`s sont en cours sous la pression et les exigences de l’e´valuation. Objectivite´ des e´valuations L’analyse de la Commission e´tant qu’un simple encadre- ment me´thodologique ne suffit pas, celle-ci compte pren- dre des initiatives plus pousse´es dans le cadre de la re´forme des Fonds. Prise en compte de l’e´valuation 4. 23 La double phase de programmation n’a pas, en effet, facilite´ l’articulation e´valuation/programmation et pour ces raisons, entre autres, la Commission a propose´ une seule phase de programmation pour l’avenir. Ne´an- moins, la programmation 1997-99 a profite´ d’une e´valua- tion ex post de la pe´riode 1989-93, et d’une appre´ciation ex ante des DOCUP mene´e sur l’initiative de la Commis- sion, sur des questions relevant de sa compe´tence et des priorite´s de l’Union. S’agissant de l’e´valuation ex post de la pe´riode 1994-96, la Commission estime que les e´valuations mene´es dans le cadre de la reprogrammation et les e´valuations the´mati- ques relatives aux PME et R& D couvrent une partie importante de la question. La Commission discute, actuellement, avec les États membres le lancement d’une e´valuation-bilan au deuxie`me semestre 1998, portant sur la pe´riode à partir de 1994. Cette e´valuation (bilan) serait valorise´e dans le cadre de la future programmation. 4. 24 - 4. 27 La Commission est en train d’e´tablir un rapport, pays par pays, sur la qualite´ de l’e´valuation et son apport à l’adaptation des interventions. Un rapport de synthe`se reprendra l’essentiel de la re´vision à mi- parcours. Les e´le´ments dont la Commission dispose ne corroborent pas les affirmations de la Cour couvrant des situations tre`s diffe´rentes et des centaines de program- mes. La Commission e´tablira un bilan, lors de la pre´sentation du rapport sur la re´vision à mi-parcours. Pour l’instant, la position de la Cour semble pre´mature´e. La Commission rappelle e´galement que les e´valuations sont utiles, non seulement aux gestionnaires, mais aussi pour mieux rendre compte à l’autorite´ budge´taire et notamment au Parlement europe´en ainsi qu’aux citoyens. 4. 28 - 4. 30 Dans ces paragraphes, la Cour semble ne pas prendre suffisamment en compte la complexite´ du partenariat, malgre´ les positions positives exprime´es aux points 6. 5-6. 7. Le de´bat sur l’objectivite´ et l’inde´pendance des e´valua- tions est plus large que les questions lie´es à l’existence d’un cadre de re´fe´rence pre´cis d’application de me´thodo- logies et du contrôle des donne´es sur place. La qualite´ de l’e´valuation est plus concerne´e par le degre´ de profession- nalisme, l’e´thique de la profession, l’interfe´rence des inte´- reˆts des États membres etc. La Cour ne mentionne pas que le cahier MEANS No 5 sur l’appre´ciation de la qualite´ des rapports d’e´valuation pre´voit explicitement — trois crite`res sur huit retenus — l’ade´quation de la me´thodologie, la fiabilite´ des donne´es et la cre´dibilite´ des re´sultats. La Commission est engage´e dans un effort d’ame´lioration constante des normes et du niveau d’exigence, tout en tenant compte des re´alite´s sur le terrain. Dans ce sens-là, la Commission va s’engager plus dans l’appre´ciation du fonctionnement sur place des syste`mes d’e´valuation. Les contrats d’e´valuation passe´s par la Commission 4. 31 - 4. 32 La Commission applique les normes et les proce´dures de passation du marche´ e´tablies dans le cadre de la CCAM. Ainsi, la se´lection des experts se fait sur la base des crite`res de se´lection et des crite`res d’attribution publie´s au Journal officiel des Communaute´s europe´en- nes. Leur application et les re´sultats de cet exercice font partie du rapport soumis au CCAM. En ce qui concerne le degre´ de pre´cision des contrats, il y a lieu de tenir compte du fait que la Commission ache`te une expertise et elle a tout inte´reˆt à ce que les contrats soient re´dige´s de façon à permettre aux experts engage´s de de´ployer pleinement leurs connaissances en la matie`- re. 4. 33 La me´thode suivie pour l’Objectif 1 n’est pas approprie´e pour l’Objectif 2 qui comporte 60 program- mes. Elle conduirait, vu le montant en cause et le nombre d’e´quipes, à un morcellement de l’appel d’offre qui irait à l’encontre de la lettre et de l’esprit de la directive sur les proce´dures de passation des marche´s publics de travaux. La Commission, dans ces cas, a respecte´ les re`gles et elle e´tait soucieuse de ne pas perdre la maîtrise des modalite´s 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/45 de mise en œuvre de l’e´valuation. A cette fin, des «comi- te´s de pilotage» qui accompagnaient l’e´valuation ont e´te´ mis en place et des re´unions pe´riodiques ont e´te´ organi- se´es avec les e´quipes d’e´valuation. Les rapports ont e´te´ par la suite valide´s avec les services gestionnaires. 4. 34 La de´finition du cahier des charges de´pend des besoins et des demandes d’information du commandi- taire. Il convient au commanditaire de les de´finir et les unite´s de l’e´valuation ont veille´ sur leur contenu. Les termes de contrat, sauf le contenu du mandat, sont standardise´s sur initiative de la CCAM. Comme cela a de´jà e´te´ souligne´, il n’y a pas une me´tho- dologie ge´ne´ralement accepte´e pour l’e´valuation des pro- grammes. Dans ce contexte et afin de ne pas perdre la maîtrise de l’approche retenue, la Commission discute la me´thodologie et sa pertinence par rapport aux questions pose´es et l’applicabilite´ des techniques propose´es. Les approches me´thodologiques ge´ne´rales font partie du cahier des charges mais leurs spe´cifications et les outils techniques sont laisse´s à la discussion. 4. 35 Dans ce cas concret, la Commission, avec l’accord des consultants de l’e´valuation, a cherche´ à ame´liorer la qualite´ du rapport en organisant une rencontre/discussion sur le contenu et les enseignements, avec l’ensemble des unite´s et des fonctionnaires concerne´s. Le rapport final a e´te´ remis en mai 1995 (trois mois apre`s la date pre´vue), accepte´ apre`s consultation officielle en juin 1995 et paye´ en juillet 1995. Le rapport sur lequel la Cour appuie sa critique n’est qu’une mise au point par le consultant, sans budget supple´mentaire. Évaluation ex post des CCA Objectif 1 (1989-1993) 5. 4 Certaines remarques de la Cour sur ce point me´ri- tent d’eˆtre nuance´es. a) Si les donne´es sur les disparite´s re´gionales «sont trop anciennes», la critique concerne les offices statistiques mais pas la me´thodologie de l’e´valuation. b) Les e´valuateurs ont adopte´ des techniques d’e´chantil- lonnage ge´ne´ralement pratique´es dans le cadre d’e´va- luation, ainsi que les e´tudes de cas pour des approfon- dissements spe´cifiques. Ces techniques bien utilise´es apportent des enseignements pertinents. e) La Cour constate que l’analyse bottom-up n’a pas toujours permis de tirer des conclusions en termes d’impact au niveau des programmes. L’impact sur les politiques communautaires, l’impact sur l’ame´liora- tion de la gestion, sur la transparence, etc. , ne peu- vent cependant pas se faire top down, ni sur la base des mode`les e´conome´triques. g) La Cour avance des critiques sur des questions qui ne faisaient pas partie du mandat de l’e´valuation. 5. 7 La Commission confirme que, dans le cadre de sa responsabilite´ de rendre compte à l’autorite´ budge´taire, ainsi que dans le cadre des travaux au titre du rapport sur la Cohe´sion Economique et Sociale, les e´valuations en question ont e´te´ pleinement utilise´es. 4. 36 La Commission souligne que les termes de re´fe´ren- ce ont e´te´ structure´s autour de trois questions majeures et bien de´finies: la pertinence de la strate´gie, le bilan et l’efficacite´ au niveau re´alisations et l’efficacite´ des me´ca- nismes de la mise en œuvre (pages 2-4 du document). 5. 8 L’un des trois objectifs du mandat de l’e´valuation e´tait, en effet, d’e´mettre des suggestions quant à l’ame´lio- ration du syste`me de suivi et de gestion. La pertinence de la strate´gie a e´galement e´te´ analyse´e et un bilan de re´alisation a e´te´ dresse´ qui a permis les analyses sur l’efficacite´ des interventions. La Commission a explique´ au point 4. 12 sa position sur la question des me´thodologies. Les diffe´rents services sont consulte´s et le service chef de file prend ses responsabili- te´s en de´cidant s’il accepte le rapport. Évaluations ex post Objectif 2 (1989-1993) 5. ÉVALUATIONS EX-POST DES CCA OBJECTIFS 1 et 2 (1989-1993) Introduction 5. 13 L’application syste´matique des mode`les e´conome´- triques ne se justifie pas dans tous les cas, soit parce que le niveau de l’aide n’est pas e´leve´, soit parce que les se´ries statistiques re´gionalise´es font de´faut. 5. 1 La Commission partage les observations de la Cour sur les difficulte´s rencontre´es par ces e´valuations lie´es à la conception des programmes de la premie`re ge´ne´ration. La plupart des appre´ciations sur la politique figurent dans le rapport sur la Cohe´sion Économique et Sociale. La Commission a sugge´re´ des adaptations dans le cadre de la nouvelle proposition pour la re´forme des Fonds Structurels à partir de l’an 2000. C 347/46 FR Journal officiel des Communaute´s europe´ennes 16. 11. 98 5. 16 La Commission a de´jà inclus dans ses propositions pour les nouveaux re`glements un certain nombre des recommandations de cette e´valuation. 6. ÉVALUATIONS INTERMÉDIAIRES (1994-1999) De´veloppement et inte´gration des principes d’e´valuation interme´diaire 6. 1 - 6. 20 La Commission partage le jugement de la Cour dans cette partie du rapport. Elle porte à l’attention de la Cour quelques clarifications: — Au point 6. 15: La Commission conside`re que l’appre´- ciation critique de la strate´gie de de´veloppement, l’impact au regard des objectifs et la viabilite´ des projets rele`vent plus particulie`rement soit de l’e´valua- tion ex ante, soit de l’e´valuation ex post. — Au point 6. 16: Le mandat des e´valuations interme´- diaires vise à l’adaptation des interventions et l’ame´- lioration de la gestion. L’analyse de la valeur ajoute´e communautaire fera plutôt partie des e´valuations/ bilan et des e´valuations ex post. Ne´anmoins, l’analyse de l’impact des priorite´s communautaires à l’adapta- tion des interventions apporte, dans plusieurs cas, des informations utiles quant à la valeur ajoute´e commu- nautaire. — Au point 6. 18: La Commission a cherche´ à travers l’e´valuation interme´diaire, à saisir - dans la mesure du possible - la synergie entre les actions finance´es au titre des diffe´rents Fonds, notamment dans des pays avec des programmations se´pare´es, comme c’est le cas des DOCUP Objectif 1 allemands. A cette fin, les e´valuateurs nomme´s pour les actions FEDER ont fait la synthe`se des e´valuations mene´es au titre de chacun des Fonds. La Commission reconnaît que l’e´valuation de la re´gion, cite´e par la Cour, est particulie`rement faible, mais qu’en tant que telle, elle n’est pas repre´- sentative de l’ensemble des e´valuations re´alise´es dans ce pays. Il est exact de constater par exemple que l’e´valuation interme´diaire n’a pas analyse´ les change- ments du plan financier indicatif qui re´sultaient d’une demande de changement du P. O. de la part du Land Brandebourg. En ce qui concerne le taux d’absorption des cre´dits e´leve´ des actions cite´es, les adaptations successives des mesures ont e´te´ faites lors des Comite´s de suivi des 12/6/1996 et 5/8/1996. Approches, me´thodes et techniques L’e´valuation de l’efficacite´ et de l’efficience se fait sur la base d’approches bottom-up. Pour les grands CCA, pour lesquels se posait la question de cerner les conse´quences de la reprogrammation sur les impacts globaux, des techniques relevant de la mode´lisation e´conome´trique, ont e´te´ utilise´es en Irlande, Espagne, Gre`ce, Portugal et Italie. 6. 22 La Commission a mobilise´ les meilleures expertises au niveau europe´en et aux États-Unis pour de´gager les meilleures approches possibles sur l’e´valuation des pro- grammes. Les difficulte´s me´thodologiques objectives, et souvent une insuffisance des syste`mes de suivi, limitent la comparabili- te´ des re´sultats au niveau europe´en. 6. 23 En ge´ne´ral les e´valuations interme´diaires n’ont pas pour objectif la mesure de l’impact des programmes. Il s’agit d’un choix de´libe´re´, car ces impacts ne sont pas concre´tise´s de`s la premie`re phase des interventions, l’en- chaînement e´tant d’abord re´alisations, ensuite re´sultats et enfin impacts. La question de l’estimation de l’impact global des grands CCA a e´te´ e´voque´e au point 6. 21. 7. IMPACT DES FONDS STRUCTURELS ET MODÈLES D’ÉVALUATION Impact au niveau des CCA et des programmes 7. 1 - 7. 15 Dans cette partie du rapport, la Cour pre´sente les re´sultats des diffe´rents mode`les e´conome´triques et macro-e´conomiques ce qui, sans en expliquer ni la porte´e ni la nature, risque de cre´er une certaine confusion. Ces donne´es figurent de´jà dans le rapport sur la Cohe´sion Economique et Sociale d’une manie`re structure´e, et avec l’encadrement approprie´. Impact au niveau des sous-programmes, mesures et pro- jets 7. 16 - 7. 19 La Cour semble critiquer l’absence d’e´valua- tion au niveau sous-programmes ou mesures mais l’e´va- luation du programme, en ge´ne´ral bottom-up, s’appuie force´ment sur l’e´valuation des mesures et des sous- programmes. 6. 21 La Cour critique une formulation vague des objec- tifs des e´valuations interme´diaires dans les contrats. La Commission a bien donne´ des orientations mais dans certains cas, elles n’ont pas e´te´ suivies au niveau de´centra- lise´. De meˆme, les e´valuations the´matiques, en cours, lance´es par la Commission, visent plus spe´cifiquement et d’une manie`re horizontale certaines cate´gories de mesures et/ou de sous-programmes, comme c’est le cas des mesures PME, R&D, environnement, etc. 16. 11. 98 FR Journal officiel des Communaute´s europe´ennes C 347/47 8. CONCLUSION 8. 1 - 8. 19 La Commission estime que les conclusions de la Cour repre´sentent une critique constructive sur des questions sur lesquelles la Commission s’efforce de pro- gresser depuis des anne´es et sur lesquelles elle continue à travailler. La Commission admet que la Cour puisse pointer des faiblesses tout en constatant e´galement les progre`s re´ali- se´s. L’action mene´e par la Commission, au titre des Fonds structurels, conforte´e par l’exercice SEM 2000, conduit au de´veloppement d’une culture d’e´valuation sans pre´ce´dent. Rares sont les re´gions qui n’ont pas mene´ des e´valuations et qui ne sont pas engage´es dans ce proces- sus. Tant le principe de subsidiarite´ que les difficulte´s et l’he´te´roge´ne´ite´ des contextes tant ge´ographiques que the´- matiques sont des facteurs qu’il convient aussi de prendre en conside´ration