title: Særberetning nr. 15/98 om evalueringen af strukturfondenes interventioner i programmeringsperioderne 1989-1993 og 1994-1999, med Kommissionens svar (i henhold til artikel 188 C, stk. 4, andet afsnit, I EF-traktaten)

eurovoc_concepts:
Community support framework
Structural Funds
impact study
management
operational programme
project evaluation

text: 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/1 I (Meddelelser) REVISIONSRETTEN SÆRBERETNING Nr. 15/98 om evalueringen af strukturfondenes interventioner i programmeringsperioderne 1989-1993 og 1994-1999, med Kommissionens svar (i henhold til artikel 188 C, stk. 4, andet afsnit, I EF-traktaten) (98/C 347/01) INDHOLDSFORTEGNELSE Afsnits- henvisninger Side 1. INDLEDNING. 1. 1 — 1. 4 2. REVISIONENS OMFANG. 2. 1 — 2. 3 3. SAMMENDRAG AF DE VIGTIGSTE BEMÆRKNINGER. 3. 1 — 3. 12 4. GENERELLE PROBLEMER. 4. 1 — 4. 36 Indledning. 4. 1 — 4. 11 Referenceramme. 4. 12 — 4. 13 Statistisk grundlag og informationer om de opstillede målsætninger. 4. 14 — 4. 15 Indikatorer. 4. 16 — 4. 21 Hensyntagen til evalueringen. 4. 22 — 4. 27 Evalueringernes objektivitet. 4. 28 — 4. 30 Evalueringsaftaler indgået af af Kommissionen. 4. 31 — 4. 36 5. EFTERFØLGENDE EVALUERINGER AF EFSR MÅL Nr. 1 OG 2 (1989- 1993). 5. 1 — 5. 17 Indledning. 5. 1 Efterfølgende evaluering af EFSR mål nr. 1 (1989-1993). 5. 2 — 5. 8 Efterfølgende evalueringer af mål nr. 2 (1989-1993). 5. 9 — 5. 17 3 3 4 5 5 6 7 7 8 8 9 9 9 10 11 C 347/2 DA De Europæiske Fællesskabers Tidende 16. 11. 98 Afsnits- henvisninger Side 6. MIDTVEJSEVALUERINGER (1994-1999). 6. 1 — 6. 27 Udvikling og integrering af principperne for midtvejsevaluering. 6. 1 — 6. 7 Gennemførelsesprocedurer. 6. 8 — 6. 13 Prioritering af evalueringsmålsætningerne. 6. 14 — 6. 20 Fremgangsmåder og metoder. 6. 21 — 6. 26 Gennemførelse af programmerne under mål nr. 2 (1994-1996). 6. 27 7. STRUKTURFONDENES VIRKNINGER OG EVALUERINGSMODELLER 7. 1 — 7. 22 Virkninger på EFSR- og programniveau. 7. 1 — 7. 15 Modellernes resultater med hensyn til strukturfondenes virkninger. 7. 1 — 7. 13 Vækst i BNP. 7. 2 — 7. 3 Den faktiske konvergens målt i BNP pr. indbygger. 7. 4 — 7. 8 Beskæftigelse og ledighed. EFSR-instrumenternes effektivitet. 7. 9 7. 10 Additionalitets- og medfinansieringsforpligtelser. 7. 11 — 7. 12 Bæredygtig udvikling. 7. 13 Evalueringens rolle på det makroøkonomiske niveau i strukturfondenes. beslutningsproces 7. 14 — 7. 15 Virkning for underprogrammer, foranstaltninger og projekter. 7. 16 — 7. 22 8. KONKLUSION. 8. 1 — 8. 19 OVERSIGT 1-11. BILAG I-III. Kommissionens svar. 13 13 14 15 15 16 17 17 17 17 17 18 18 18 18 19 19 20 22 31 40 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/3 1. INDLEDNING 1. 1. Ved reformen af strukturfondene (SF) i 1988 blev det pålagt Kommissionen og medlemsstaterne at evaluere de europæiske strukturpolitikker. I 1993 blev denne forpligtelse udvidet som følge af de ændrede bestemmel- ser, der var resultatet af revisionen af strukturfondsrefor- men (1994–1999), standardbestemmelserne i de nye EF- støtterammer (EFSR) og de samlede programmeringsdo- kumenter (SPD). 1. 2. Evalueringen, der er et uundværligt instrument til at sikre en korrekt forvaltning af SF, defineres i de vigtigste forordninger (1) som en effektivitetsbedømmelse, der fore- går på tre niveauer: a) strukturaktionernes samlede effekt for de mål, der er anført i traktatens artikel 130 A b) de samlede virkninger af de planlagte aktioner under EFSR’ne c) de specifikke virkninger af hver enkelt operationel intervention (programmer og andre interventionsfor- mer). 1. 3. Evalueringen består hovedsageligt af tre faser: a) en forudgående vurdering (2), der gør det muligt at identificere, dels hvilke socioøkonomiske problemer, der skal løses, og hvilke målsætninger, der skal nås, dels hvilken strategi, der skal vælges og de midler, der står til rådighed for at løse problemerne b) en midtvejsevaluering, der gør det muligt under gen- nemførelsen af et program at efterprøve, om målene stadig er de rigtige, og hvilke fremskridt der er gjort i forhold til de ønskede resultater c) en efterfølgende evaluering, der gennemføres ved pro- grammets afslutning og tjener til at vurdere, om de opnåede resultater og virkninger kan betragtes som positive, idet der tages hensyn til, at de langsigtede virkninger af en strukturforanstaltning først kan kon- stateres flere år efter foranstaltningens afslutning. (1) Der henvises navnlig til: a) artikel 6 i Rådets rammeforordning (forordning (EØF) nr. 2052/88 som ændret ved forordning (EØF) nr. 2081/ 93) om strukturfondenes opgaver og effektivitet samt om samordningen af deres interventioner b) artikel 26 i Rådets forordning om samordningen af de forskellige (forordning (EØF) nr. 4253/88 som ændret ved forordning (EØF) nr. 2082/93). strukturfondes interventioner (2) Den »forudgående vurdering« benævnes også undertiden »forudgående evaluering«. I nærværende beretning har Revi- sionsretten valgt at anvende den term, der er anvendt i forordningerne, nemlig »forudgående vurdering«. 1. 4. I forordningen, som ændret i 1993, fremhæves såvel medlemsstaternes som Kommissionens ansvar på evalue- ringsområdet, og det påpeges, at evalueringen skal finde sted inden for rammerne af et partnerskab (3). I denne sammenhæng har Kommissionen taget initiativ til at fastlægge rammerne og den generelle samordning af eva- lueringens gennemførelse, og forelægger en treårlig eva- lueringsrapport (i henhold til artikel 16 i forordning (EØF) nr. 2052/88) om de fremskridt, der er gjort med hensyn til økonomisk og social samhørighed, og om den måde, hvorpå især fondene og den nationale medfinansie- ring har bidraget hertil. 2. REVISIONENS OMFANG 2. 1. Det generelle mål med Rettens revision (4) var at undersøge, hvilke fremskridt der er gjort med hensyn til evalueringen af fællesskabsstrukturinterventionerne, både hvad angår evalueringssystemerne og -procedurerne, og hvad angår metoderne. Revisionen omfatter de måder, hvorpå evalueringen af strukturinterventionerne er gen- nemført, både fra Kommissionens side og inden for rammerne af partnerskabet. Man efterprøvede lovlighe- den og den formelle rigtighed af bevillingerne til evalue- ring på De Europæiske Fællesskabers budget, samt kvali- teten af den økonomiske forvaltning af disse. 2. 2. Revisionen bestod også i at vurdere de metoder, der blev anvendt til evaluering af de socioøkonomiske virk- ninger af strukturforanstaltningerne. Selvom det ikke var hensigten, at der ved revisionen skulle foretages en direkte evaluering af programmerne, som ville give nye videnskabelige resultater, fremhæves nogle af de resulta- ter, eksperterne nåede frem til, for at tydeliggøre sam- menhængen mellem de anvendte politisk-økonomiske instrumenter og de opnåede resultater. 2. 3. Der blev foretaget en række specifikke revisioner af den efterfølgende evaluering af EFSR og de operationelle programmer (OP) under mål nr. 1 og 2 for programme- ringsperioden 1989–1993 og midtvejsevalueringerne af EFSR, SPD og OP for programmeringsperioden 1994–1999. Undersøgelserne omfattede den efterfølgende evaluering af alle EFSR 1989–1993 under mål nr. 1 og (3) Fællesskabsstrukturforanstaltningerne betragtes som et sup- plement til de tilsvarende nationale foranstaltninger og som et bidrag til disse. De gennemføres i et snævert samråd, benævnt »partnerskab«, mellem Kommissionen, medlemssta- ten, de regionale og lokale myndigheder, øvrige kompetente myndigheder, arbejdsmarkedets parter og øvrige kompetente organer. Partnerskabet sker i fuld respekt for parternes respektive institutionelle, juridiske og finansielle beføjelser. (4) I Revisionsrettens årsberetninger, navnlig om regnskabsårene 1990 (kapitel 7), 1993 (kapitel 6, 7, 8 og 9) og 1994 (kapitel 4), har Retten gjort opmærksom på talrige mangler på evalueringsområdet for programmeringsperioden 1989 til 1993. C 347/4 DA De Europæiske Fællesskabers Tidende 16. 11. 98 ca. 20 % af rapporterne om den efterfølgende evaluering af EFSR 1989–1993 under mål nr. 2 og 15 % af rappor- terne om midtvejsevalueringen af EFSR 1994–1999, der blev udvalgt i forhold til den geografiske fordeling af interventionerne og arten af disse (EFSR, SPD, OP). Endvidere blev femten — ud af 25 — evalueringsrappor- ter, der primært omhandler makroøkonomiske aspekter, analyseret. Revisionen blev udført i Kommissionen og i otte medlemsstater (Belgien, Grækenland, Spanien, Fran- krig, Irland, Italien, Nederlandene og Portugal), hvor revisorerne rådførte sig med vurderingsmænd og natio- nale myndigheder. 3. SAMMENDRAG AF DE VIGTIGSTE BEMÆRKNINGER utilstrækkelige. Medlemsstaterne burde forbedre kvalite- ten af disse data (jf. punkt 4. 14–4. 21). 3. 5. Mange evalueringer afsluttes for sent, hvilket også kan forsinke justeringerne i programmerne. Ved beslut- ningstagningen i forbindelse med omprogrammeringer kunne der endvidere i højere grad tages hensyn til evalue- ringsresultaterne i form af interventionsformernes perfor- mans og effektivitet (jf. punkt 4. 22–4. 27). 3. 6. Kommissionen foretager ingen kontrol på stedet af indikatorernes kohærens og pålideligheden af de syste- mer, der producerer dem, for at sikre sig, at evalueringen bliver objektiv (jf. punkt 4. 29–4. 30). 3. 1. Evalueringen blev navnlig udviklet og udbredt på Kommissionens foranledning i løbet af programmerings- perioden 1994–1999, især inden for rammerne af EFRU, for sluttelig også at blive et anerkendt redskab inden for forvaltning og programmering. Fra programmeringsperio- den 1994–1999 anvendes evalueringen systematisk i de to første faser (forudgående vurdering, midtvejsevaluering), og vil også blive det mod periodens slutning (efterføl- gende evaluering)(jf. punkt 4. 2–4. 8). 3. 7. Procedurerne vedrørende indgåelse af aftaler med konsulenter på evalueringsområdet frembyder stadig store svagheder i Kommissionen. Udvælgelsen af konsulenter er ikke altid klart begrundet. Udbudsbetingelserne er formu- leret meget generelt med hensyn til den metode, der er forbundet med metoden, indikatorerne og forpligtelsen til at opnå resultater. Dette giver anledning til forsinkelser og uregelmæssigheder ved udarbejdelsen af evaluerings- rapporterne og medfører en svingende analysekvalitet, ligesom det undertiden fører til uklare henstillinger (jf. punkt 4. 31–4. 36). 3. 2. Selvom Kommissionen har kendskab til de direkte udgifter i forbindelse med evalueringen, råder den ikke altid over alle oplysninger om udgifterne til evaluering inden (jf. punkt rammerne af partnerskabet 4. 9–4. 11). for 3. 3. Kommissionen har været stærkt medvirkende til at evalueringskulturen er blevet udbredt. Den har dog und- ladt at opstille tilstrækkelige rammer for indikatorerne og evalueringsmetoderne i MEANS-programmet (program for udvikling og fremme af evalueringsmetoder og red- skaber for EF-interventioner) (jf. punkt 4. 11–4. 12). På grund af de metodologiske aspekters komplicerede natur, findes der ikke en metode, der kan anvendes i alle situationer. Det er ikke desto mindre vigtigt, at Kommis- sionen er i stand til at opstille metodologiske rammer, der giver hensigtsmæssige retningslinjer for at foretage en evaluering, der er tilpasset den specifikke situation (jf. punkt 4. 12–4. 13). 3. 4. Pålideligheden af de data, der er resultatet af over- vågningen af interventionerne og de eksisterende databa- ser, er tæt forbundet med indikatorernes kvalitet. Databa- serne er medlemsstaternes ansvar og viser sig ofte at være 3. 8. Anvendelsen af metoderne i forbindelse med den efterfølgende evaluering af mål nr. 1 og 2 1989–1993 blev vanskeliggjort af store statistiske lakuner, manglende mål og foreløbige kvantitative indikatorer, samt en inef- fektiv overvågning af virkningerne, og metoderne blev desuden ikke altid fulgt nøjagtigt nok. Evalueringen viste ikke desto mindre, at SF’ene skaber en værditilvækst på fællesskabsplan både med hensyn til gennemførelse, resul- tater og virkninger af EFSR, OP og foranstaltningerne og med hensyn til programmering, organisering, overvåg- ning, samordning, partnerskab og additionalitet (jf. punkt 4. 15–4. 19, 5. 1, 5. 4, 5. 10–5. 16). 3. 9. I midtvejsevalueringerne af SF-interventionerne 1994–1999, der gennemførtes i partnerskab under over- vågningsudvalgenes ledelse, indtager undersøgelsen af de fysiske og finansielle resultater altid en central plads, selvom prioriteringen af de forskellige evalueringsmålsæt- ninger for midtvejsevalueringen kan variere. Evalueringen af virkningerne vanskeliggøres af problemer, der er med hensyn til indikatorerne og modelleringen af virknin- gerne. Evalueringerne er stadig ofte kun af begrænset nytte i beslutningsprocessen, projektstyringen, ompro- grammeringen og forberedelsen af fremtidige interventio- ner (jf. punkt 4. 16–4. 21, 6. 5, 6. 7, 6. 14–6. 26). 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/5 3. 10. Evalueringen har, hvad angår mål nr. 2 (M2), afdækket følgende svagheder: a) uoverensstemmelse mellem programgennemførelsen og fællesskabsfinansieringen, idet der stadig foretages betragtelige bevillingsfremførsler fra et program til et andet (gennemsnitligt 12 % ved overgangen fra perio- den 1994–1996 til perioden 1997–1999) (jf. punkt 6. 27) b) fortløbende, korte programmeringsperioder forhin- drer, at evalueringsresultaterne anvendes optimalt (jf. punkt 4. 23) c) målingerne af de indirekte virkninger er stadig for utilstrækkelige til, at de kan anvendes til at påvise strukturinterventionernes virkninger, især for beskæf- tigelsen (jf. punkt 5. 12–5. 15). 3. 11. Trods store mangler i programmerings-, gennem- førelses- og overvågningssystemerne har de makroøkono- miske evalueringer påvist en række positive resultater, især hvad angår strukturforanstaltningernes virkninger (vækst i BNP, indvirkning på udbud og efterspørgsel, højere beskæftigelse og forbedret konvergens, EFSR- instrumenternes effektivitet)(jf. punkt 7. 1–7. 14). 3. 12. Evalueringerne af underprogrammer og foranstalt- ninger er stadig utilstrækkelige. Det skyldes forøvrigt tekniske problemer i forbindelse med den spredning og manglende sammenhæng, der kendetegner et stort antal foranstaltninger og underprogrammer (jf. punkt 7. 17). 4. GENERELLE PROBLEMER Indledning 4. 2. Med reformen i 1988 blev evalueringen en udtryk- kelig del af partnerskabet (artikel 26 i forordning (EØF) nr. 4253/88 — med nærmere præciseringer i den ændrede forordning af 20. juli 1993). I første programmeringspe- riode og frem til 1995 blev evalueringerne især gennem- ført på initiativ af Kommissionen (5). Navnlig efterføl- gende evalueringer blev hæmmet af meget lidt præcise udviklingsstrategier og en utilfredsstillende overvågning. Generelt har overvågningsudvalgene endvidere ikke taget et virkeligt hensyn til evalueringerne eller drøftet dem indgående. 4. 3. Kommissionen har i første omgang koncentreret sig om at udvikle sit eget evalueringssystem til alle EFSR, der dækker reformens 5 prioriterede mål (6). Blandt Kommis- sionens initiativer til udvikling af evalueringerne og andre tilknyttede metoder, skal især nævnes den tekniske gruppe »Evaluering af regionalpolitikkerne«, der blev oprettet i 1992, samt på det metodologiske plan iværk- sættelsen af MEANS-programmet (program for udvikling og fremme af evalueringsmetoder og redskaber for EF- interventioner) i 1994. 4. 4. I programmeringsperioden 1994–1999 har Kom- missionen taget initiativ til en ny evalueringspolitik, der betyder, at der fra nu af finder en systematisk evaluering sted i programmernes to første faser (en forudgående vurdering og en midtvejsevaluering), samt senere i den efterfølgende fase. 4. 5. Selvom midtvejsevalueringerne ikke udtrykkeligt nævnes i forordningerne for SF, er de siden 1995–1996 blevet udarbejdet for alle EFSR, SPD og OP for program- meringsperioden 1994–1999. Evalueringen indgår kon- kret i partnerskabet og bevirker, at overvågningsudval- gene får et integreret forvaltningsredskab, hvorved den 4. 1. Formålet med evalueringen er at fastslå de socio- økonomiske virkninger af de iværksatte aktioner, dvs. undersøge de opnåede resultater og sammenholde dem med de investerede midler og analysere omkostningerne. Alle disse punkter burde endvidere analyseres i forhold til overslagene. Før en evaluering imidlertid kan udføres korrekt, er det nødvendigt, at der findes et godt statistisk grundlag, at der opstilles kvantitative mål baseret på et system af indikatorer, og at de metodologiske og analyti- ske rammer udvikles. Evalueringen skal samtidig bygge på en analyse af forholdet mellem anvendte midler, endelige resultater og midtvejsresultater. Revisionsretten konstaterede mangler på alle disse niveauer, som indtil videre har begrænset nyttevirkningen af evalueringerne foretaget inden for rammerne af strukturfondene; selvom der er konstateret faktiske fremskridt, der bidrager til at konsolidere evalueringens dynamik. (5) Der er tale om følgende evalueringer: a) programmeringsperioden 1989–1993: — forudgående vurdering af EFSR M1 og M5b (1990–1991) — efterfølgende evaluering af EFSR M1 (1994–1995) — efterfølgende evaluering af EFSR M2 (1996–1997) — tematisk evaluering (SMV, telekommunikation) b) programmeringsperioden 1994–1999: — forudgående vurdering af regionale udviklingsplaner M1 — forudgående vurdering af programmerne M5b — forudgående vurdering af SPD M2 1994–1996 — forudgående vurdering af SPD M2 1997–1999 — kritiske analyser af SPD og EFSR M1 (1995). Kommissionen har anmodet de enkelte medlemsstater om at gennemføre evalueringer af virkningen af de europæiske strukturpolitikker på den økonomiske og sociale samhørig- hed i Unionen. (6) GD XXIIs notat af 14. marts 1991. C 347/6 DA De Europæiske Fællesskabers Tidende 16. 11. 98 bidrager til en meget bred formidling af evalueringskultu- ren. Kommissionen har for midstvejsevalueringens ved- kommende etableret en ordning i flere faser til hjælp for medlemsstaterne, når de skal foretage denne form for evaluering (7). 4. 6. Ordningen indeholder imidlertid ingen nærmere bestemmelser for, hvorledes evalueringen skal gennemfø- res i praksis (f. eks. definition af udbudsbetingelser, krite- rier for udvælgelse af vurderingsmænd, opbygning af evalueringsrapporten, indsamling af data, kvalitetsnor- mer, tidsplan osv. ). 4. 7. Kommissionen har desuden afholdt arrangementer, der er blevet suppleret med udgivelsen af en lang række publikationer (8). Deltagerne i arrangementerne var de ansvarlige for evalueringen og strukturfondenes forval- tende organer, hvilket bidrog til, at evalueringskulturen blev udbygget, og at de forvaltende organer blev bevidst- gjort på området. Evalueringen blev primært præsenteret som en læreproces, der bygger på erfaringer. I maj 1998 fremlagde Kommissionen, inden for 4. 8. rammerne af det foreløbige forslag til De Europæiske Fællesskabers almindelige budget for regnskabsåret 1999, arbejdsdokumentet »Bilan d’e´valuation 1996/1997« (eva- lueringsoversigt 1996–1997), hvori den beskriver, hvilke evalueringsaktiviteter, der blev gennemført i 1996–1997, og opstiller en liste over gennemførte og igangværende (7) a) De første »Betingelser for gennemførelse for den løbende evaluering af EFSR og af interventionsformerne vedrø- rende mål nr. 1« blev udarbejdet i 1994. Referenceram- men bekræfter midtvejsevalueringens rolle som hjælpe- redskab i deres beslut- ningsproces og for evalueringens gennemførelse inden for rammerne af partnerskabet. Referencerammen indeholder endvidere nærmere regler for gennemførelsen, især med hensyn til evalueringsteamets sammensætning og opga- ver for overvågningsudvalgene b) udsendelsen i 1995 af de »fælles retningslinjer for over- vågning og midtvejsevalueringer« for EF-strukturfondene, der nærmere beskriver analyseredskaberne (overordnede og specifikke målsætninger, indikatorer) og forbindelsen mellem overvågning og midtvejsevaluering c) breve sendt til medlemsstaterne (1995) med en påmin- delse om deres forpligtelse til at gennemføre midtvejseva- lueringer og med en beskrivelse af de nærmere regler for gennemførelsen af evalueringen. (8) F. eks. : a) Konferencen om evaluering af den europæiske regional- politik (Bruxelles, 16. november 1995) fokuserede på resultaterne af den efterfølgende evaluering af M1 1989–1993 og de forudgående vurderinger 1994–1999 b) Den europæiske konference om metoderne til evaluering af SF-interventionerne (Berlin, 2. – 3. december 1996) behandlede især problemerne med at evaluere virknin- gerne på det mikroøkonomiske, makroøkonomiske og tematiske plan c) Sevilla-konferencen i marts 1998 havde til formål at fremme udvekslingen af erfaringer på evalueringsområdet inden for rammerne af partnerskabet. evalueringer og giver en oversigt over resultaterne af de evalueringer, der gennemførtes i 1996–1997. 4. 9. Evalueringsudgifterne kan enten finansieres direkte af Kommissionen eller medfinansieres med medlemssta- terne inden for rammerne af partnerskabet. Tabel 1 og 2 indeholder en oversigt over de udgifter, der er afholdt direkte af GD XVI på evalueringsområdet for de to programmeringsperioder 1989–1993 og 1994–1999. 4. 10. I perioden 1989–1993 udgjorde udgifterne til eva- luering ca. 10 mio. ECU, således som det fremgår af tabel 1. Ca. to tredjedele af disse udgifter blev afholdt på to områder, som direkte henhører under Kommissionens ansvar og initiativret. Det drejer sig dels om fællesskabs- initiativerne i henhold til artikel 11 i forordning (EØF) nr. 4253/88 med et beløb på 3,1 mio. ECU, og dels den tværfaglige og tematiske evaluering, f. eks. SMV, tele- kommunikation, miljø og menneskelige ressourcer med et beløb på 3,2 mio. ECU. Beløbene afsat til evaluering af SF M1 og M2 er imidlertid stadig forholdsvis beskedne, idet partnerskabet på daværende tidspunkt endnu ikke var særlig udviklet på evalueringsområdet. I april 1998 udgjorde udgifterne til evaluering 25,2 mio. ECU for perioden 1994–1999, således som det fremgår af tabel 2. Stigningen i forhold til den foregående periode skyldes udviklingen af midtvejsevalueringen, og de dertil knyttede metoder, inden for rammerne af partnerskabet. 4. 11. De udgifter, som afholdes af Kommissionen og medlemsstaternes inden for disse rammer, er i øvrigt steget betydeligt siden 1996, og Kommissionen er ikke altid i besiddelse af alle relevante oplysninger, især når det drejer sig om evalueringer, der er en del af de operationelle programmers foranstaltninger vedrørende »faglig bistand«, der også kan omfatte andre udgifter. Allerede i den indledende fase af programmeringen kunne der afsættes et særligt beløb til evalueringen, hvilket ville gøre udgiften mere gennemskuelig. Referenceramme 4. 12. MEANS-programmet (1995–1998) med et beløb på i alt 2,8 mio. ECU indtager en særplads, hvad angår udviklingsindsatsen på evalueringsområdet (9). Der sigtes med den anvendte fremgangsmåde mod at skabe en ensartet og sammenhængende udvikling af metodologien ved at opstille en liste over de metoder, der anvendes af (9) Programmet forvaltes i fællesskab af Kommissionen og en ekstern konsulent, hvis deltagelse finansieres over post B2- 1820 med det årligt beløb på 932 000 ECU. 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/7 medlemsstaterne, og fremhæve gode eksempler. Metoden, der primært er tilskyndende og empirisk, betyder, at Kommissionen ikke kan at tage stilling til de nærmere enkeltheder ved gennemførelsen af en given evaluerings- metode eller ved valget af indikatorer, det gælder navnlig de indikatorer, der tjener til at måle de socioøkonomiske virkninger på det regionale udviklingsområde. På grund af de metodologiske askpekters komplicerede natur, fin- des der ikke en metode, der kan anvendes i alle situatio- ner. Det er ikke desto mindre vigtigt, at Kommissionen er i stand til at opstille metodologiske rammer, der giver hensigtsmæssige retningslinjer for en evaluering, og som er tilpasset den specifikke situation. 4. 13. MEANS-programmets resultater har indtil videre bidraget til, at de første skridt har kunnet tages henimod en ny fremgangsmåde på evalueringsområdet, især ved at indføre et fælles sprog, og har gjort det muligt at forberede midtvejsevalueringen inden for rammerne af partnerskabet. Tabel 3 og 4 giver en oversigt over den almindeligt accepterede enevalueringsprocedure. De svar, som MEANS-programmet har givet på spørgsmålene om evalueringens praktiske og operationelle aspekter er imid- lertid ikke gode nok endnu. To grundlæggende spørgsmål er således stadig ubesvarede: hvilket indikatorsystem er bedst egnet til at foretage en samlet bedømmelse af et fællesskabsstrukturprogram, og hvilken evalueringsme- tode er bedst egnet til at måle de socioøkonomiske virkninger af et strukturprogram inden for rammerne af den regionale udvikling? Kommissionen er endnu ikke i stand til at give præcise instrukser om, hvilke konkrete metoder, der skal anvendes i den specifikke evalueringssi- tuation. Denne mangel er særlig tydelig, når midtvejseva- lueringer af interventionsformerne i programmeringspe- rioden 1994–1999 gennemføres. Statistisk grundlag og informationer om de opstillede målsætninger 4. 14. Målene for evalueringen, det være sig en forudgå- ende, midtvejs- eller efterfølgende evaluering, er ofte formuleret alt for generelt, selv på foranstaltningsplan. Indikatorer 4. 16. Pålidelige og hensigtsmæssige indikatorsystemer er uundværlige i programmeringsprocessen. Af hensyn til evalueringen bør strukturprogrammerne indeholde oplys- ninger om den finansielle og fysiske gennemførelse og om aktionernes resultater. Indikatorerne skal tjene til at oplyse lederne af de iværksatte aktioner om disses umid- delbare og langsigtede virkninger, og gøre det muligt at måle programmernes fremskridt i forhold til de overord- nede mål, som f. eks. den regionale vækst eller nedbrin- gelse af arbejdsløsheden. fysiske fællesskabsgodtgørelse. De 4. 17. De finansielle indikatorers pålidelighed er tæt for- bundet med pålideligheden af de udgiftsattester, der frem- sendes til Kommissionen til udbetaling af en dertilhø- rende indikatorer betegnes ofte som supplerende oplysninger, og pålidelig- heden af disse indikatorer er relativ. I visse tilfælde, gør de eksisterende databaser det ikke muligt at registrere den fysiske udvikling i gennemførelsen, og de endelige støtte- modtagere orienterer ikke regelmæssigt de forvaltende organer om fremskridt i den fysiske gennemførelse. Midtvejsevalueringen af OP Lisboa e Vale do Tejo i Portugal baserer sig på fysiske indikatorer, der er strengt proportionale med udgifterne, uden at nævne e´n eneste undtagelse, der er forbundet med forsinkelser i gennemfø- relsen eller andre årsager. Medlemsstaterne burde for- bedre deres opfølgningsmekanismer og de databaser, der understøtter indikatorerne. 4. 18. Måling af resultater og virkninger af underpro- grammer og foranstaltninger på den ene side og virknin- gerne på programniveau på den anden side vanskeliggøres af den usikkerhed, der hersker omkring identifikationen af årsagssammenhænge mellem de forskellige niveauer af mål og mål og foranstaltninger og projekter og med hensyn til de horisontale komplementaritets- og synergi- forbindelser mellem foranstaltninger og mål. Det er der- for vanskeligt at måle en foranstaltnings konkrete virk- ninger for den regionale udvikling eller investeringernes virkninger for efterspørgslen eller for den sags skyld for udbudet. I denne forbindelse skal nævnes, at de indikato- rer, der kunne være et egnet redskab til evaluering af resultater og virkninger endnu ikke er færdige, for så vidt angår EFSR 1994–1999 (se punkt 6. 23). ikke 4. 15. Det eksisterende statistiske grundlag er tilstrækkeligt udviklet og bremser overvågningen og eva- lueringen af programmer og foranstaltninger, der er med- finansieret af strukturfondene. Manglerne består navnlig i en utilstrækkelig statistisk dækning, der begrænser sig til de berørte områder, manglende statistikker vedrørende visse aspekter og en indsamlingsperiodicitet, der ikke stemmer overens med overvågningens og evalueringens behov. 4. 19. Den forudgående vurdering af EFSR er en forud- sætning for senere evalueringer, idet den sikrer, at alle indikatorer, der vedrører resultater og virkninger bliver opstillet og kvantificeret, således at det bliver muligt at bedømme programmets forventede virkninger og at sam- menholde denne med de faktiske virkninger. Det skal i denne forbindelse nævnes, at metoden bag den målbase- rede forvaltning ikke altid er anvendt på en ensartet og C 347/8 DA De Europæiske Fællesskabers Tidende 16. 11. 98 tilfredsstillende måde, hvilket har haft betydning for udvælgelsen af de indikatorer, der er nødvendige for evalueringen. Den italienske EFSR 1994–1999 indeholder således kun få indikatorer, hvilket kunne vanskeliggøre senere evalueringer. Den portugisiske EFSR 1994–1999 derimod, der er godkendt af Kommissionen uden større ændringer, indeholder alt for mange indikatorer, nemlig ca. 300, hvilket også er med til at komplicere evaluerin- gen. Den store forskel, der er fra e´n EFSR til en anden, med hensyn til opstillingen af indikatorer, understreger den manglende kohærens i programmeringen. Forekom- sten af en lang række generelle og lidet kvantificerbare mål medfører undertiden, at det ved midtvejsevalueringen er nødvendigt at revidere det indikatorsystem, Kommis- sionen har godkendt i forbindelse med den forudgående vurdering, idet det bliver klart, at systemet hverken er tilstrækkeligt defineret eller operationelt. 4. 20. Strukturinterventionerne og de socioøkonomiske tilstande, som de indvirker på, afføder et bredt spektrum af indikatorer, der ofte opstilles decentralt. Kommissio- nen har ikke udarbejdet fortegnelser over indikatorer, som den anser for uundværlige og repræsentative i for- bindelse med den regionale udvikling eller inden for rammerne af de forskellige aktionstyper. Der er dog fremsendt ufuldstændige lister med indikatorer til et antal nationale og regionale instanser, som allerede har været genstand for drøftelse. 4. 21. Der burde tilstræbes en øget kvantificering af resultat- og virkningsindikatorerne inden for rammerne af overvågningen, uden at troværdigheden af denne kvantifi- cering dog bør glemmes. Det forekommer nemlig, at den ikke er troværdig, idet nye arbejdspladser i visse tilfælde er blevet medregnet to gange, eller at den ikke har gjort det muligt at sondre mellem brutto- og nettovirkningen på beskæftigelsen. Dette blev konstateret, da rapporten vedrørende midtvejsevalueringen af OP Brandenburg blev sammenlignet med antallet af registrerede i de sociale registre. Hensyntagen til evalueringen 4. 22. Evalueringens bidrag til en effektiv anvendelse af fællesskabsmidlerne afhænger i høj grad af indholdets kvalitet, datoen for modtagelse af resultaterne og for beslutningen om at ændre strategien. Nogle af midtvejs- evalueringerne af EFSR, SPD og OP for programmerings- perioden 1994–1999 blev imidlertid afsluttet forholdsvis sent, hvorved eventuelle justeringer blev forsinkede. 4. 23. Fortløbende programmeringsperioder, der er kor- tere end M1-programmeringsperioden, gør det for pro- grammeringen af M2’s vedkommende særlig vanskeligt at sikre sammenfald mellem den dato, hvor resultaterne af evalueringen foreligger, og som er udgangspunkt for justeringer af de efterfølgende interventioner, og den dato, hvor programmeringsbeslutningerne skal træffes. Under M2 forekommer der således en vis tidsforskydning mellem programmerings- og evalueringscyklusen. Den endelige udgave af den sammenfattende rapport om den efterfølgende evaluering af M2 for perioden 1989–1993 blev således fremsendt til Kommissionen i sommeren 1997, hvor den forudgående vurdering af programmerin- gen for perioden 1997–1999 var under udarbejdelse, og der endnu ikke var indledt en efterfølgende evaluering af perioden 1994–1996. 4. 24. Uanset hvilke af strukturprogrammernes resultater, der fremhæves i evalueringsrapporterne, forbliver budget- bevillingerne til disse og efterfølgende programmer ofte uforandrede. Evalueringerne blev i den første programme- ringsperiode kun meget sjældent taget til efterretning af beslutningssystemet, idet omprogrammeringerne sædvan- ligvis primært var afhængig af den finansielle udnyttelses- grad. Det samme var tilfældet med de nyttige henstillin- ger, som den ledende konsulent fremsatte i den efterføl- gende evaluering af EFSR M1 1989–1993 (jf. punkt 5. 7). 4. 25. De mere kvalitative sider af programmernes resul- tater og effektivitet, som behandles ved midtvejsevaluerin- gerne eller i gennemførelsesrapporterne, har hverken haft tilstrækkelig indvirkning på den operationelle styring af SF eller for ansvarliggørelsen af de partnere, der er berørt af programudviklingen. 4. 26. Det fremgår af resultaterne af midtvejsevalueringen af SPD, EFSR og OP under mål nr. 2 (1994–1996) og af overvågningen, at der er uoverensstemmelse mellem den programmerede finansiering og programmernes gennem- førelse. Denne situation bevirker, at spørgsmålet om udnyttelsen af bevillingerne bliver fremherskende og kan føre til en undervurdering af den rolle, som evalueringen spiller i analysen af det pågældende område, navnlig sammenhængen mellem mål, tildelte midler og virkningen af strukturinterventionerne. 4. 27. Evalueringernes konklusioner og henstillinger er ofte indlysende for interventionsformernes forvaltningsor- ganer, men kan være til nytte for andre partnere. Det gælder såvel for den efterfølgende evaluering (jf. punkt 5. 8) som for midtvejsevalueringerne inden for rammerne af partnerskabet. Evalueringernes objektivitet 4. 28. Den manglende præcise referenceramme hindrer brugen af egnede metoder, der kan anvendes objektivt i specifikke evalueringssituationer og gøre det nemt at kontrollere resultaterne og sikre vurderingsmandens uaf- hængighed. Det hænder imidlertid, at den anbefalede metode ikke er objektivt begrundet, at vurderingsmanden 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/9 for let afpasser sin metode efter de problemer, han støder på, eller vælger indikatorer ud fra de tilgængelige oplys- ninger. 4. 29. Uafhængigheden i forhold til forvaltningsorga- nerne synes ikke altid sikret. Det gælder især på informa- tionsområdet (jf. punkt 6. 11). Evalueringsrapporterne indeholder ikke altid oplysninger om de kilder, de baserer sig på. Disse mangler kan så tvivl om pålideligheden og gyldigheden af de informationer, der er indeholdt i eva- lueringsrapporterne. 4. 30. Selvom objektiviteten burde være sikret af et kon- trolsystem, der sigter mod kvaliteten på indikatorerne (for gennemførelse, resultater og indvirkning), pålidelig- heden af de grundlæggende informationer og metodernes gennemførelsesgrad, analyserer Kommissionens tjeneste- grene de oplysninger og de resultater, der fremlægges inden for rammerne af evalueringen, uden at foretage en kontrol på stedet eller en revision af, om evalueringssyste- merne i de enkelte medlemsstater fungerer, som de skal. Evalueringsaftaler indgået af Kommissionen 4. 31. Der er konstateret en række svagheder ved gen- nemgangen af procedurerne for indgåelse af aftaler i forbindelse med de evalueringer, som Kommissionen har ladet udføre. Udvælgelsesprocedurerne var utilfredsstil- lende, udbudsbetingelserne alt for uklare, og rapporterne udarbejdedes med forsinkelser og var af for ringe kvali- tet. 4. 32. De vurderings- og analysekriterier, der ligger til grund for Kommissionens valg af konsulenter, fremgår ikke altid klart af mødereferater i forbindelse med udbudsproceduren. Revisionsrettens revision kunne ikke skaffe sig sikkerhed for, at de bedste eksperter fra de mest hensigtsmæssige kompetenceområder blev udvalgt. 4. 33. I forbindelse med den efterfølgende evaluering af alle EFSR 1989–1993 M1 og M2 valgtes der henholdsvis en ledende konsulent bistået af flere nationale konsulen- ter og et antal koordinerende konsulenter, som efterføl- gende gav undersøgelserne videre til andre konsulenter. I denne kæde af konsulenter kan Kommissionen miste kontrollen med den måde, hvorpå evalueringen gennem- føres, og som skulle have sikret kohærente og homogene resultater af god kvalitet. 4. 35. Rapporterne afleveres ofte med forsinkelse. I for- bindelse med evalueringen af alle EFSR M1 1989–1993 skulle rapporten således ifølge kontrakten afleveres den 28. februar 1995. Rapporten blev imidlertid først færdig i november 1995. Kommissionen havde ikke fastsat nogen sanktion i forbindelse med ikke-overholdelsen af den kontraktlige forpligtelse til at overholde tidsfristen, men effektuerede derimod den endelige betaling på 40 % den 11. juli 1995 i medfør af kontraktens artikel 4. 4. 36. De manglende præcise og klare referencerammer i kontrakterne med hensyn til de metoder, der skal benyt- tes, og de forventede resultater, betyder, at Kommissio- nens tjenestegrene ofte reagerer forskelligt på rappor- terne. Rapporter der begrænser sig til simple beskrivelser eller vage analyser af gennemførelsens brugbarhed, eller som bygger på almengyldige udtalelser fra adspurgte, eller som udmunder i alt for generelle henstillinger, bliver således godkendt. Hvad angår den efterfølgende evalue- ring af EFSR 1989–1993 Irland, gik en tjenestegren ind for at ophæve konsulentens kontrakt på grund af rappor- tens dårlige kvalitet, mens en anden godkendte den. De berørte tjenestegrene var med hensyn til den efterfølgende evaluering af EFSR 1989–1993 Portugal enige om, at rapporten ikke indeholdt nogen evaluering, men nøjedes med at gentage oplysninger om bestanddelene i den fysiske gennemførelse, som medlemsstaten allerede havde givet. I forbindelse med den efterfølgende evaluering af EFSR 1989–1993 Spanien, understreges det ligeledes, at rapporten er alt for beskrivende, og at den kun indehol- der få analyser. Den efterfølgende evaluering af EFSR 1989–1993 Nordirland vurderes at være ufuldstændig. Den udarbejdede rapport om den efterfølgende evaluering af EFSR 1989–1993 Italien betragtes som dårligt struktu- reret og opbygget og i evalueringsrapporten om EFSR 1989–1993 Grækenland mangler den overordnede kon- klusion, selvom de enkelte kapitler indeholder en konklu- sion. 5. EFTERFØLGENDE EVALUERINGER AF EFSR MÅL Nr. 1 OG 2 (1989–1993) Indledning 5. 1. Vurderingsmændene møder ofte følgende proble- mer: a) en oprindelig programmering, der er foretaget i hast og uden en forudgående vurdering af programmerne, navnlig af det inhærente økonomiske grundlag, og især hvad angår regionerne under M1 4. 34. Udbudsbetingelserne er sommetider upræcise med hensyn til arbejds- og resultatbeskrivelsen. Formulerin- gerne i kontrakten er meget generelle. De nærmere betin- gelser for gennemførelsen af evalueringen får ofte lov til at stå åbne i afventning af en efterfølgende aftale med Kommissionen om de metoder, der skal anvendes. b) manglende kvantitative mål og resultatindikatorer c) statistiske mangler, hvad angår den socioøkonomiske situation lige før SF-interventionen inden for ram- merne af M2 og efter interventionen, især hvad angår erhvervsstruktur, investeringer og bruttoregionalpro- C 347/10 DA De Europæiske Fællesskabers Tidende 16. 11. 98 dukt. De statistiske redskaber svarer ikke altid til det geografiske område, der er genstand for analysen (kommune, distrikt, opland i beskæftelsesmæssig hen- seende) d) visse aktioner mangler at blive fuldført e) eksogene faktorer, der bidrager til at forklare udvik- lingen i den socioøkonomiske situation f) projekternes og målsætningernes forskelligartede ka- rakter, når tildelingen af støtte ikke i tilstrækkelig grad knyttes til de regionale eller lokale behov g) foranstaltningernes og programmets egne virkninger, som er vanskelige at identificere, idet den pågældende region eller det pågældende område også er genstand for mange andre aktioner h) vanskeligheden ved at måle programmets indirekte virkninger (især hvad beskæftigelsen angår), idet der ikke blev sat en observation af virkningerne i gang ved programmets start, og der ikke er blevet gennem- ført en grundig undersøgelse på området efter dets afslutning. Efterfølgende (1989–1993) evaluering af EFSR mål nr. 1 5. 2. Den efterfølgende evaluering af EFSR M1 blev koordineret af en ledende konsulent og består af den efterfølgende evaluering af de pågældende EFSR gennem- ført af nationale konsulenter mellem januar 1994 og juni 1995. Den koordinerende konsulent udarbejdede den metodologiske fremgangsmåde, som skulle anvendes, og som indeholdt metoder til analyse af både den makro- økonomiske situation og af foranstaltninger og projekter. Fremgangsmåden sigter dels mod en analyse af strategien og af den logik, der er indbygget i EFSR, OP og foran- staltningerne, dels en første status over den fysiske gen- nemførelse og virkning, og endelig en undersøgelse af gennemførelsesmekanismerne. En oversigt over meto- derne er indeholdt i bilag I. 5. 3. Selvom den foreslåede metodologi i det store og hele er sammenhængende, har den svagheder. Den inde- bærer nemlig, at analysen af den strategi og den logik, der er indbygget i EFSR, OP og foranstaltningerne, byg- ger på en struktur af harmoniserede målsætninger knyttet til en standardklassificering af aktiviteter. Metoden kunne gøre det muligt at sammenligne medlemsstater, men den indebærer ikke nødvendigvis en prioritering af målene, der baserer sig både på medlemsstaternes prioriteringer og på prioriterings-, komplementaritets-, substitutions- og synergikriterier. Den gør det da heller ikke muligt at identificere alle de problemer, der er med hensyn til sammenhængen i hver enkelt EFSR og OP’s egen strategi. Desuden gør de fysiske indikatorer og virkningsindikato- rerne, der er indeholdt i beskrivelsen af metodologierne, det ikke altid muligt at besvare relevante spørgsmål vedrørende forudsete og uforudsete virkninger, som metodologien forventes at kunne besvare. 5. 4. Revisionsrettens har i øvrigt konstateret følgende mangler: a) udviklingen af EFSR’s og OP’s socioøkonomiske miljø, som fællesskabsinterventionen skulle bidrage til at ændre (1988–1989), har endnu ikke været gen- stand for en sammenligning med situationen efter gennemførelsen af interventionen (1993–1994). Da- taene er undertiden for gamle, navnlig de data, der vedrører de regionale forskelle b) målenes rangfølge i metodologien er ofte ikke blevet tilstrækkeligt analyseret, enten fordi den ikke var opstillet eller kun delvis opstillet og begrænsede sig til de OP og foranstaltninger, der var blevet udvalgt med henblik på en særlig undersøgelse, eller ikke systema- tisk anvendte struktureringskriterier. Det er således forekommet, at rangfølge for målene og instrumen- terne ikke har ført til et bedre identificering af de problemer, der vedrører sammenhængen i og relevan- sen af prioriteringerne og den forholdsmæssige vægt- ning af disse c) justeringerne af EFSR og OP er ofte foretaget uden en dybtgående analyse af bevæggrundene d) mens den finansielle gennemførelse, iværksættelsesme- kanismerne og den fysiske gennemførelse almindelig- vis behandles grundigt i evalueringsrapporterne, har programmernes eller foranstaltningernes virkninger i visse tilfælde ikke været genstand for en nærmere analyse — med undtagelse af antallet af skabte arbejdspladser — eller også opgives de uden angivelse af kvantitet. De eneste kvantitative virkninger, er dem, der fremkommer ved anvendelsen af makroøko- nomiske modeller og vedrører væksten i BNP, jobska- belsen og konkurrenceevnen, hvilket har gjort det klart, at de data, der leveres af de forvaltende organer inden for rammerne af overvågningssystemerne, er utilstrækkelige e) de analyser, der er foretaget af bottom-up-typen, har generelt ikke gjort det muligt at drage konklusioner med hensyn til programmernes virkning f) værditilvæksten på fællesskabsplan udtrykkes underti- den kun kvalitativt (f. eks. det hensyn, der tages til programmets logik, gennemførelsen af en integreret strategi, indvirkningen på organiseringsprocessen) og behandles i øvrigt ikke altid systematisk 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/11 g) de forventede ikke behandlet eller kun gjort til genstand for en kvalitativ beskrivelse. langsigtede virkninger blev 5. 5. EFSR M1 Spanien har været genstand for to efter- følgende evalueringer, hvoraf den ene blev bestilt af Kommissionen og den anden af de nationale myndighe- der, som blev støttet med en EF-medfinansiering. Selvom de to evalueringer blev gennemført inden for den samme periode og forfulgte de samme mål, blev de iværksat helt uafhængigt af hinanden. 5. 6. Den efterfølgende evaluering belyser, hvad angår resultater og virkninger, den fysiske gennemførelse, der kan tilskrives EFSR M1, den makroøkonomiske virkning af EFSR, som fremgår af visse nationale evalueringer, og fremskridtene på planlægningsområdet, selvom den pro- grambaserede metode er stødt på visse hindringer på dette område (10). Evalueringen ligeledes EFSR’s bidrag med hensyn til innoverende organisa- tionsstrukturer, økonomisk forvaltning, overvågning, informationssystemer, koordinering og partnerskab, skønt der stadig mangler at blive gjort væsentlige fremskridt på alle disse niveauer. fremhæver 5. 7. Den sammenfattende rapport udarbejdet af den ledende konsulent i 1995 indeholdt en række nyttige henstillinger, som Kommissionen ikke fuldt ud har kun- net efterkomme. Af disse kan f. eks. nævnes, at der ved udarbejdelsen af programmeringen er behov for en kla- rere sondring mellem de fællesskabsstrukturinterventio- ner, der fremmer endogene vækstfaktorer og de fælles- skabsstrukturinterventioner, der tager sigte på at geneta- blere den regionale ligevægt eller skabe større velfærd; at prioriteringen af infrastrukturinvesteringerne skal tilpas- ses regionernes særegenhed, som det var meningen skulle udvikles; at der skal skabes en ligevægt mellem arbejds- løshedsbekæmpelsen og nødvendigheden af at øge pro- duktiviteten og konkurrenceevnen; og endelig, at der i højere grad skal tages hensyn til beskæftigelsen i de regionale politikker. efterfølgende 5. 8. Den evaluering af alle EFSR 1989–1993 M1 udført af nationale vurderingsmænd handlede først og fremmest om, hvordan medlemsstater- nes overvågnings- og forvaltningssystemer kunne forbed- res, end om en egentlig evaluering af strukturfondenes virkninger. Efterfølgende evalueringer vedrørende mål nr. 2 (1989–1993) 5. 9. Den efterfølgende evaluering af programmer under M2 for perioden 1989–1993 blev koordineret af en ekstern vurderingsmand i de 60 støtteberettigede regio- ner. Der udarbejdedes en generel analyse for hver enkelt region, mens der blev udarbejdes mere dybtgående under- søgelser af 22 regioner. Evalueringen havde primært til formål at analysere virkningen af strukturinterventio- nerne på den industrielle omstillingsproces i disse regio- ner og at drage konklusioner, der kunne bruges i forbin- delse med den efterfølgende programmering. Bilag II sammenfattende beskrivelse af den indeholder en anvendte metode ved evalueringen. 5. 10. De valgte metoder er meget forskelligartede på trods af de opstillede fælles rammer; især med hensyn til prioriteringerne og analysens udviklingsniveau, analysens beskrivende eller kritiske karakter og de anvendte meto- der. 5. 11. En strategisk analyse og en analyse af hensigts- mæssigheden af EFSR og OP og de ændringer, de har undergået i forhold til det socioøkonomiske miljø, har sjældent ført til, at målenes, underprogrammernes og foranstaltningernes struktur er blevet omformuleret i overenstemmelse med logikken i den regionale udvikling eller omstilling og på grundlag af hierarkiske, komple- mentaritets- og substitutionskriterier. En sådan grundig omformulering ville gøre det muligt at lave en mere systematisk identifikation af manglerne ved den anvendte strategi, hvad angår kohærens, prioriteringernes passende relative vægt, synergier, komplementaritet og effektivitet i forhold til den socioøkonomiske situation. Mange strate- giske analyser med udgangspunkt i EFSR’s og OP’s struktur derimod er ufuldstændige og lidet kritiske over for denne strategi. (10) Den programbaserede metode blev besværliggjort af: i) korte planlægningsfrister, der navnlig betød, at der ikke var tid til en forudgående vurdering ii) manglende konkrete målsætninger, kvantitative gennem- førelses-, resultat- og virkningsindikatorer iii) administrative forhindringer i de tilfælde, hvor under- programmer til et og samme program er underlagt forskellige forvaltninger, eller hvor sektorspecifikke og regionale metoder overlapper hinanden iv) huller i fællesskabsreglerne, der fører til, at projekter, der er blevet forkastet af OP M1, godkendes inden for rammerne af fællesskabsinitiativerne v) Samhørighedsfondens projektbaserede metode, der ikke just bidrager til en ensartet anvendelse af den program- baserede metode. 5. 12. Det skal bemærkes i forbindelse med målingen af SF-interventionernes virkning, at vurderingsmændene ikke er i stand til, på basis af et udvalg af projekter og en analyse af disse projekters resultater, deres opnåede vær- ditilvækst og deres additionalitet, at samle iagttagelserne om de enkelte foranstaltninger og programmets socioøko- nomiske virkninger. 5. 13. Der er kun i få tilfælde blevet foretaget en evalue- ring, hvor målingen af virkningerne blev baseret på en kombination af top down- og bottom up-metoderne. Kombinationen af disse metoder blev navnlig anvendt ved C 347/12 DA De Europæiske Fællesskabers Tidende 16. 11. 98 evalueringen af interventionerne under M2 til fordel for Toscana. Her gjorde top down-metoden det muligt, på basis af en biregional økonometrisk model (Toscana/ resten af Italien), at foretage et skøn over den samlede virkning af efterspørgselsstigningen for produktionen efter sektor, for forbruget og for værditilvæksten, såvel for Toscana som for det øvrige Italien. Modellen gør det også muligt at vurdere multiplikatorvirkningen per inter- ventionstype (infrastruktur, tjenesteydelser over for virk- somheder, støtte til private investeringer) og virkningen for beskæftigelsen (11). Den direkte virkning for beskæfti- gelsen skønnes ved hjælp af en metode, der benytter sig af standardkoefficienter for de forskellige interventionsty- per. Top down-metoden måler de direkte kortsigtede virkninger knyttet til efterspørgslen. Bottom up-metoden tager udgangspunkt i et udsnit af projekter og foranstalt- ninger og er i højere grad i stand til at måle de mere strukturrettede og indirekte langsigtede virkninger, som navnlig har en virkning for udbudet og de positive eksterne omkostninger, der gør det muligt at nedbringe produktionsomkostningerne. Selvom det er vanskeligere at indkredse og kvantificere disse virkninger, og metoden ikke tillader en aggregering af virkningerne på foranstalt- nings- og programniveau, hvilket ellers var formålet med den dybdegående evaluering, udgør de kvalitative betragt- ninger om foranstaltningernes effektivitet og fællesskabs- interventionernes additionalitetsgrad et nyttigt supple- ment til top down-metoden. Kombinationen af de to metoder kan være med til at skabe en faktisk værditil- vækst på analyseområdet, specielt hvis der suppleres med modelopstillings- og formaliseringsmetoder. 5. 14. Det er ligeledes sjældent, at der ved evalueringen sker systematiske undersøgelser af virkningerne, som f. eks. flere undersøgelser af foranstaltningernes additio- nalitet eller anvendelse af en specifik metode til vurdering af, hvor mange arbejdspladser, der er skabt i forbindelse med foranstaltningerne ved at sammenligne en forsøgs- gruppe og en kontrolgruppe. Sådanne undersøgelser giver ellers en faktisk værditilvækst, når virkningen skal eva- lueres. Evalueringen af foranstaltninger og programmer ville have været mere effektiv, hvis vurderingsmændene havde foretaget statistiske undersøgelser vedrørende visse resultatindikatorer — undersøgelser de i øvrigt underti- den gerne ville have foretaget. I visse tilfælde eksisterer der således ikke oplysninger om, hvor mange af de virksomheder, der er etableret i de nye industriområder, er anlagt med SF-støtte, eller nærmere oplysninger om teknologioverførsler fra forskningsinstitutionerne til virk- somhederne. De samtaler med foranstaltningernes og pro- jekternes forvaltende organer, der normalt indgår som et led i evalueringsprocessen, fører kun sjældent til præcise informationer om operationernes gennemførelse, resulta- ter og virkninger. 5. 15. Resultaterne på jobskabelsesområdet er ikke påli- delige, hvad angår arbejdspladsernes varighed og spørgs- målet om i hvilket omfang oprettelsen af de pågældende arbejdspladser specifikt kan tilskrives strukturforanstalt- ningerne. Evalueringsrapporterne indeholder desuden til tider modstridende oplysninger. 5. 16. De efterfølgende evalueringer af programmerne under M2 gør det muligt at fastslå følgende virkninger: a) selvom OP M2 kun sjældent har bidraget til at forbedre den socioøkonomiske situation, har de i det mindste, især på beskæftigelsesområdet, bidraget til at undgå en ny forværring af situationen (12) og til at skabe grundlaget for omstillingen. Hovedparten af regionerne forsøger nemlig at opnå en diversifikation af deres økonomi og erhvervsstruktur og eventuelt at gøre sig fri af det indtryk af industriområde, som de har været forbundet med b) trods den integrerede metode, der er baseret på pro- gramkonceptet, består OP undertiden af ændringsfor- slag til nationale og regionale politikker, som allerede er opstillet og ikke altid udgør et programmerings- værktøj c) det har givet anledning til nogen forvirring og overlap- ning mellem de forskellige former for støtte, at OP M2’s og fællesskabsinitiativerne eksisterer side om side d) SF-interventionerne har haft en positiv virkning for programmering, gennemførelse, partnerskab, synergi, koordinering og evaluering. Manglen på synergi og kommunikation mellem EFRU- og ESF-aktionernes forvaltningsorganer fremhæves dog ofte e) additionalitetsprincippet gør det muligt for SF at udnytte nye nicher, gennemføre projekter, der ikke ville være blevet til noget uden EF-støtte, fremskynde iværksættelsen eller gennemføre mere ambitiøse pro- jekter eller give det oprindelige projekt en strukture- rende karakter. Foranstaltningstypernes additionalitet kan antage en noget anden karakter (infrastruktur- støtte, tjenesteydelser til virksomheder, støtte til pri- vate investeringer) (11) Dette betyder dog ikke, at der er tale om jobskabelse, idet den økonometriske model tager udgangspunkt i en situation med fuld beskæftigelse, og virksomhederne har en produk- tionsmæssig overkapacitet i lavkonjunkturperioder. (12) Europa-Kommissionens ottende årsberetning om strukturfon- dene noterer en kraftig løftestangseffekt med hensyn til bruttoresultater som f. eks. oprettelse af arbejdspladser eller etablering af virksomheder. 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/13 f) SF er kun sjældent en løftestang for deltagelsen af private fonde, eller også undlader evalueringerne at behandle dette aspekt g) det fremhæves i evalueringerne, at fristerne i forbin- delse med de forberedende undersøgelser og forhand- linger, de administrative procedurer i forbindelse med vedtagelsen og gennemførelsen af visse projekter samt integreringen af nye nationale politikker, ofte under- vurderes. 5. 17. Evalueringerne fremhæver navnlig i forbindelse med programstyringen, at visse praksiser ved overvågnin- gen af programmerne har vist sig utilstrækkelige, og at de interne justeringer i programmeringsperioden primært har haft til hensigt at maksimalisere bevillingsudnyttelsen og ikke at foretage en revision af de højst prioriterede felter inden for den regionale udvikling. 6. MIDTVEJSEVALUERINGER (1994–1999) resultaterne, hvad angår beskæftigelsen og SMV, er kor- rekt gennemført. 6. 3. Kommissionen foreslog endvidere, at evalueringen blev global, og at der gennemførtes tematiske evaluerin- ger af en sektor eller et særligt geografisk område i en senere fase. (Spanien (13), Frankrig (14), 6. 4. Visse medlemsstater Irland (15) og Nederlandene (16) har også opstillet rammer for midtvejsevalueringen. De er alle af den opfattelse, at midtvejsevalueringen skal omfatte følgende elementer: a) udviklingen af den socioøkonomiske sammenhæng b) en strategisk analyse og en analyse af den interne og eksterne kohærens c) gennemførelsesbetingelser; herunder programmering og udvælgelseskriterier, den administrative organise- ring, overvågningsmekanismen og projekternes finan- sieringskredsløb Udvikling og integrering af principperne for midtvejs- evaluering d) iværksættelse og gennemførelse sat i forhold til de forventede resultater 6. 1. Midtvejsevalueringen er foreskrevet i kapitlet om gennemførelsesbestemmelser, som er indeholdt i alle EFSR, SPD og enhver anden interventionsform, der sigter mod at styrke overvågningen. Det understreges, at midt- vejsevalueringerne skal indeholde en kritisk analyse af de data, der er indsamlet i forbindelse med overvågningen, og at de skal gøre rede for eventuelle afvigelser i forhold til de opstillede mål og vurdere resultaterne af interven- tionen. De skal ligeledes indeholde en udtalelse om gyl- digheden af den igangværende intervention og om rele- vansen af de opstillede mål. 6. 2. Kommissionen understregede i notater sendt til medlemsstaterne i løbet af regnskabsåret 1995, at midt- vejsevalueringerne burde give overvågningsudvalgene et tilstrækkeligt fingerpeg om, hvorvidt programmerne fun- gerede efter hensigten, foreslå eventuelle omprogramme- ringsaktioner og give et uafhængigt, objektivt billede af de fremskridt, der er sket. Det blev også foreslået i notaterne, at der i første omgang skulle fokuseres på de betingelser, hvorunder interventionsformerne fungerer, og især skulle opmærksomheden rettes mod indikatorerne, de ansvarliges lederevner og procedurerne for valg af projekter. I anden omgang skulle der i rapporten om midtvejsevalueringen — med henblik på at give ide´er til de nødvendige ændringer i og tilpasninger af programme- ringen — tages stilling til strategiens relevans, om målene for de iværksatte interventioner var velbegrundede, pro- grammets effektivitet i forhold til gennemførelsen og de første resultater i forhold til målene, programmets nytte- virkning, den korrekte anvendelse af fællesskabspolitik- kerne (miljø, offentlige udbud osv. ), og om målingerne af e) de første virkninger og en vurdering af de forventede efterfølgende virkninger f) omkostningerne med henblik på at måle nyttevær- dien, dvs. forholdet mellem midler og resultater og i givet fald munde ud i forslag til ændringer af prioriteringer eller planlagte aktioner. 6. 5. Partnerskabsprincippet blev indført i 1988 som et af de midler, der skal garantere SF’s effektivitet. Det fik dog først sin fulde betydning i det decentrale forvalt- ningssystem fra og med 1995 i forbindelse med midtvejs- evalueringen af alle EFSR for perioden 1994–1999. Ved den lejlighed blev det understreget, at det tilkommer overvågningsudvalgene »at opstille målsætningerne for evalueringen, de forventede kvalitetsnormer, der skal sikre sammenhængen i den samlede indsats, at tilpasse udbudsbetingelserne til de pågældende regioners særlige karakteristika under hensyntagen til evalueringens ende- lige mål, at udvælge vurderingsmændene på basis af lister (13) »Evaluación intermedia de programas operativos regionales del objetivo no 2 (fase 1994–1996). Orientaciones sobre contenidos comunes a recoger en los pliegos de condiciones te´cnicas« (23. maj 1996). (14) DATAR, reglementarisk og administrativ tidsplan. (15) »General criteria to underpin Terms of Reference for Mid- Term Evaluation of Operational Programmes/Community Initiatives«. (16) »Evaluatiekader voor de programma’s van de Europese Structuurfondsen, Terp Advies-CBEA Pieter van Run« (de- cember 1997). C 347/14 DA De Europæiske Fællesskabers Tidende 16. 11. 98 opstillet af de ansvarlige for evalueringen (medlemmer af overvågningsudvalget og fællesskabsreferenter) efter et offentligt udbud«. Midtvejsevalueringen har bidraget til en reel styrkelse af partnerskabet, idet den har inddraget det i årsagsanalysen af strukturinterventionerne. Tabel 5 og 6 indeholder en oversigt over den operationelle gen- nemførelse af midtvejsevalueringen og den store indsats, som medlemsstaternes i forbindelse med partnerskabet har gjort for at identificere SF’s virkninger. upartiske konklusioner i forbindelse med en ensartet strategi, sammenhæng mellem de socioøkonomiske analy- ser og den objektive kvantificering af de forventede virkninger. Evalueringsbehovet på SF-området har i løbet af nogle få år skabt et net af eksterne vurderingsmænd, der er kendt af Kommissionen og medlemsstaterne, hvil- ket har den fordel, at der skabes større ekspertise på området, men afgrænser et specifikt marked. 6. 6. Anvendelsen af midtvejsevalueringer inden for ram- merne af partnerskabet har også haft stor indflydelse på de institutionelle strukturer og de nationale og regionale traditioner i de ansvarlige forvaltninger. Fremgangsmåden har medført en mere udbredt anvendelse af den flerårige programmering. Evalueringen er i denne forbindelse et uundværligt element, der gør det muligt at foretage en kritisk gennemgang af strukturinterventionerne og at for- berede de nødvendige justeringer. Partnerskabet på eva- lueringsområdet er særlig stærkt udbygget inden for ram- merne af M1. 6. 7. Indsatsen på midtvejsevalueringsområdet sigter i øjeblikket mod at bibringe alle partnerne — både dem, der udarbejder programmet, forvaltningsorganerne og de politisk ansvarlige — nogle samlede løsninger. Indsatsen kommer konkret til udtryk i omfattende rapporter med informationer, der stammer fra selve programmet, den forudgående vurdering, de årlige rapporter om gennemfø- relsen og midtvejs- og efterfølgende evalueringer. Ifølge de samtalepartnere, der blev adspurgt i forbindelse med kontrolbesøgene, er der imidlertid kun en del af resulta- terne og henstillingerne, der har haft en reel værdi som hjælp til beslutningstagningen, projektstyringen, ompro- grammeringen eller forberedelsen af den næste generation af interventioner. Gennemførelsesprocedurer 6. 8. 320 af de 389 midtvejsevalueringer vedrører mål nr. 1, 2, 5b og 6 (17). Gennemførelsen af evalueringerne var præget af store forsinkelser i flere medlemsstater. 6. 9. Det var oprindeligt meningen, at midtvejsevaluerin- gen skulle foregå i to adskilte etaper. I den første skulle det undersøges, om en evaluering var mulig, hvilket samtidig ville gøre det muligt at identificere de problemer, der var forbundet med evalueringen. Den anden var den egentlige evaluering, der skulle afsluttes med udarbejdel- sen af en rapport. I praksis følges dette skema dog kun sjældent. 6. 10. Kommissionen har insisteret på, at midtvejsevalue- ringerne foretages af eksperter udefra for dels at garan- tere for denne specielle knowhow’s troværdighed, dels (17) Heraf er de 36 blevet kontrolleret på stedet og/eller i Kommissionen. 6. 11. Revisionsrettens kontrol på stedet har afsløret, at den eksterne konsulents uafhængighed i praksis er begrænset. I betragtning af den begrænsede tid, som vurderingsmændene råder over, og deres reelle afhængig- hed vis-a-vis programmernes forvaltende organer, når de nødvendige informationer skal indhentes, er opdelingen af de forskellige funktioner ikke særlig klar. De resulta- ter, der opnås med hensyn til performans, begrænser sig alt for ofte til en gengivelse og en ajourføring af de oplysninger, der findes i overvågningssystemet, og som fremstilles som et eksternt bidrag. 6. 12. I viste tilfælde følges den normale procedure med offentligt udbud offentliggjort i De Europæiske Fælles- skabers Tidende ikke, når en konsulent på evaluerings- området skal udvælges. I Nederlandene blev et begrænset antal konsulenter, der stod på en liste over potentielle vurderingsmænd, således opfordret til at afgive et bud. Udvælgelsen skete derefter på grundlag af disse bud. 6. 13. Selvom Kommissionen regelmæssigt deltager i overvågningsudvalgenes møder, og derved har mulighed for at sætte sine udvælgelseskriterier for konsulenter igennem, intervenerer den ikke altid ens i processen. Kommissionens tjenestegrene er således aktive i Belgien, Grækenland og Portugal i forbindelse med udvælgel- sesproceduren inden for rammerne af de tekniske grupper eller den tekniske ad hoc-støttegruppe, som forbereder valget af konsulenten og følger gennemførelsen af evalue- ringen. I Frankrig derimod underrettes Kommissionens tjenestegrene officielt først efter udvælgelsen af de to bud, der anses for de bedste, og som ledsages af det endelige forslag, til hvilket præfekten i regionen, der optræder som ordregivende myndighed i det pågældende tilfælde, anmoder Kommissionen om at knytte eventuelle bemærk- ninger. I Nederlandene reagerede Kommissionen, der del- tager i arbejdet i den nationale styrelsesgruppe, der står for udarbejdelsen af den forudgående vurdering, midtvej- sevalueringerne og den efterfølgende evaluering i de områder, der er omfattet af mål nr. 1 og 2, og i arbejdet i overvågningsudvalgene, først sent på indholdet af udkas- tet til midtvejsevalueringsrapporten vedrørende SPD M1 Flevoland. 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/15 Prioritering af målsætningerne for evalueringen systematisk, især hvad angår synergien mellem EFRU’s og ESF’s aktiviteter. 6. 14. Ved gennemførelsen af midtvejsevalueringerne va- rierer den prioritering, der sker af målsætningerne for evalueringen, når undtages undersøgelsen af den fysiske og finansielle gennemførelse på interventionsniveau, som har en fremtrædende plads i enhver midtvejsevaluering. Den udvikling, der er blevet prioriteret, afspejler ofte et faktisk regionalt behov, som det også er tilfældet med Korsika, hvor man først og fremmest forsøger at løse problemer med forvaltning og overvågning, samt proble- mer med forbindelsen mellem evaluering og overvågning. Forfølgelsen af visse evalueringsmål hæmmes endvidere af tekniske problemer, såsom målingen af indikatorerne for evalueringen af virkningerne. 6. 15. Ofte lægges der i forbindelse med midtvejsevalue- ringerne ikke tilstrækkelig vægt på den kritiske vurdering af den valgte regionale udviklingsstrategi, af levedygtighe- den af de projekter, der finansieres af SF, af kriterierne for udvælgelse af projekterne og af virkningerne i forhold til de specifikke og generelle programmål. 6. 16. Værditilvæksten på fællesskabsplan behandles kun undtagelsesvis i midtvejsevalueringerne, selvom en analyse af værditilvæksten var e´n af målsætningerne for den efterfølgende evaluering af EFSR M1 og M2 for pro- grammeringsperioden 1989–1993. 6. 17. Den socioøkonomiske udvikling, som fællesskabs- interventionen indvirker på, og som normalt overvåges og ajourføres i henhold til bestemmelserne i evalueringskon- trakterne, behandles systematisk i visse tilfælde (f. eks. ved hjælp af meget detaljerede oversigter i den vallonske region) og meget utilfredsstillende i andre tilfælde, hvilket har en direkte virkning for kvaliteten og den ajourføring, der sker i forbindelse med analysen af interventionens styrker og svagheder, der normalt er en del af midtvejse- valueringen. 6. 18. Den tidsmæssige overholdelse og fastholdelse af den interne og eksterne kohærens i hvert program i alle dettes komponenter (programmålsætninger, underpro- grammer og foranstaltninger, komplementaritets- og synergirelationer mellem mål og foranstaltninger) under- søges kun sjældent systematisk. For OP Brandenburg, udgør de finansielle forpligtelser til fordel for de priorite- rede felter 1. 1 (produktive investeringer) og 1. 2 (in- frastrukturer) således for perioden 1994–1996 henholds- vis 138 % og 242 % i forhold til det oprindelige over- slag, uden at der gives nogen begrundelse for den regio- nale udviklingsstrategi fra vurderingsmandens side. Syner- gierne er undertiden genstand for analyser, der i øvrigt ofte er mangelfulde. Dette aspekt burde behandles mere 6. 19. Skønt omlægningen af de prioriterede områder i programmerne og ressourceallokeringen er et eksplicit mål med evalueringen, bliver der ikke altid givet en samlet og sammenhængende beskrivelse af eller en begrundelse for de foreslåede ændringer. Følgerne af de udvidelser eller indskrænkninger, der foreslås på foran- staltningsniveau, præciseres heller ikke altid. 6. 20. Mange af de undersøgte evalueringer viser, at vurderingsmanden ikke har været i stand til at gennem- føre alle de målsætninger, der var opstillet i kontrakten, navnlig med hensyn til evalueringen af virkningen. Tids- fristerne og de forhåndenværende midler var heller ikke altid afstemt efter målsætningerne. Fremgangsmåder og metoder 6. 21. Eftersom målsætningerne for evalueringen og de fremgangsmåder, der skal anvendes, ofte kun formuleres i generelle vendinger i kontrakterne, overlades valget af fremgangsmåder og metoder ofte til vurderingsmændene, der undertiden tilpasser dem til de vanskeligheher, de møder under udarbejdelsen. Det hænder således, at vur- deringsmændene omdanner den eneste forhåndenværende information til indikatorer. 6. 22. Metoderne er ikke altid blevet udviklede, således at de svarer til målsætningerne for evalueringen. Man er i øvrigt stadig ikke enige om, hvilke operationelle metoder der er egnede til evaluering af den regionale udvikling, og Kommissionen nøjes med at udsende eksempler på »god praksis« udtrykt i generelle vendinger, uden at foretage en konkret koordination eller harmonisering af gennem- førelsen. Denne manglende præcision skyldes forskelle i medlemsstaternes programmering, gennemførelse og eva- luering, og resulterer i evalueringsrapporter af svingende kvalitet, der gør det meget vanskeligt at sammenligne resultaterne på europæisk plan. 6. 23. De metoder, der anvendes til målingen af virknin- gerne er meget mangelfulde. Dette skyldes især den særlige beskaffenhed og kompleksiteten af de virkninger, der skal evalueres: a) det er ikke altid blevet grundigt undersøgt, om der findes mere relevante indikatorer, og de planlagte indikatorer tjener undertiden kun til at måle den fysiske og finansielle gennemførelse b) de oplysninger, som virkningsindikatorerne kunne give, er ikke altid blevet indhentet c) evalueringen af den socioøkonomiske virkning eller af virkningen for den regionale udvikling synes hæmmet af de mange aktioner, underprogrammer og foran- staltninger (mål nr. 1), mens en lang række program- C 347/16 DA De Europæiske Fællesskabers Tidende 16. 11. 98 mer, der tager sigte på at fremme omstillingen og/eller redynamiseringen af erhvervsstrukturen (OP, fælles- skabsinitiativer, nationale programmer), kan iværk- sættes samtidig. Fællesskabsforanstaltningerne og de nationale foranstaltninger dækker undertiden forskel- lige områder, og datoen for lanceringen af foranstalt- ningerne er ikke den samme. Endelig er målene i mange tilfælde ikke kvantitative og alt for generelt formulerede (18). I denne forbindelse er sammenhæn- gene mellem på den ene side diagnosen af de socio- økonomiske problemer, der skal løses, og målene for alle iværksatte foranstaltninger, underprogrammer og projekter og på den anden side målene inden for denne helhed ikke altid indlysende, også fordi de fysiske indikatorer og virkningsindikatorerne, der anvendes på et programs forskellige niveauer, ikke helt afspejler programmets behov. Det er ligeledes vanskeligt at identificere de enkelte programmers resultater og at adskille dem fra resultaterne af andre private, regionale eller nationale aktioner 6. 24. I henhold til bestemmelserne i visse evaluerings- kontrakter skal der ved anvendelse af bottom-up-meto- den foretages undersøgelser af partnerne i den lokale økonomiske udvikling og de endelige støttemodtagere, herunder virksomheder, der modtager EF-støtte, med henblik på at udarbejde en kvantitativ og kvalitativ vurdering af fællesskabsprogrammets bidrag. Undersøgel- sesresultaterne lider dog ofte under en utilfredsstillende repræsentativitet, der skyldes antallet af virksomheder og partnere, der svarer på henvendelsen, og resultaternes manglende pålidelighed, idet de ikke altid kontrolleres. 6. 25. Det kan, med hensyn til resultats- og virkningsin- dikatorerne, konstateres: a) at det ofte tager lang tid at komme i besiddelse af data og statistiske oplysninger b) at de eksisterende data omfatter geografiske områder, tilsigtede områder eller til de der ikke svarer arbejdskraftopland d) der opstilles kun i ringe omfang modeller, der gør det muligt at lave et skøn over de virkninger, der forven- tes på grundlag af midtvejsgennemførelsen og den gennemførelse, der forventes at ske senere. Midtvejs- evalueringen af visse nationale EFSR har baseret sig på en input-output-model (Portugal) og en makro- økonometrisk model (Spanien, Irland), mens regionale modelopstillinger stadig er meget sjældne. Udviklings- modellen for Hainaut (Belgien), der anvendes til midt- vejsevalueringen, fortjener i denne forbindelse at blive nævnt. Opstilling af virkningsmodeller for foranstalt- ningerne er heller ikke særlig udbredt, når undtages transportinfrastrukturer. Her skal nævnes anvendel- sen af input-output-modellen på Expo 1998-projektet (Portugal) til både den forudgående vurdering og midtvejsevalueringen, selvom overslagene bør betrag- tes som usikre e) foranstaltningernes skønnede virkning for beskæftigel- sen er ligeledes usikker. Anvendelsen af modeller og andre analyse- og undersøgelsesmetoder giver ikke tilstrækkeligt præcise oplysninger om dels jobskabel- sens nettoomfang, navnlig især hvis man medregner de nye arbejdspladser, der kunne have været skabt uden den pågældende foranstaltning, og til substitu- tionsvirkninger, dels til arbejdspladsernes varighed. Generelt har anvendelsen heller ikke givet noget fin- gerpeg med hensyn til de arbejdspladser, der ikke kan tilskrives gennemførelsen af programmet. (18) F. eks. : nyt liv til landområderne, styrkelse af erhvervsstruk- turen i regionen, strukturændringer i forbindelse med den regionale udvikling. c) at virksomhedsdataene ikke indsamles på afdelingsni- veau, hvilket forvansker de statistiske oplysninger om lokale forhold, hvis f. eks. en virksomhed kun har e´n afdeling i det pågældende geografiske område, men også har afdelinger andre steder i landet d) mange statistiske organer kan ikke segmentere hel- hedsdata tilstrækkeligt nuanceret til en målretning mod et område, et arbejdskraftopland eller en given problematik. I det tilfælde, hvor vurderingsmanden fremlægger 6. 26. mere egnede indikatorer i den hensigt at måle virknin- gerne, det være sig for at afhjælpe en mangel eller erstatte dem med de planlagte indikatorer, undlader han at infor- mere om dem, og lader derved herske tvivl om disse indikatorers operationelle karakter. Endvidere nævner han ikke altid de undersøgelser, der endnu mangler for at konkretisere disse indikatorer, og vurderer ikke omkost- ningerne hertil. Det understreges også, at kvantificeringen af programmålenes indikatorer kun vanskeligt kan gen- nemføres uden oplysninger om tidsserier. Gennemførelse af programmerne under mål nr. 2 (1994–1996) 6. 27. Resultaterne af midtvejsevalueringen af SPD, EFSR og OP i perioden 1994–1996 og af overvågningen viser en uoverensstemmelse mellem den planlagte finansiering og programgennemførelsen. På trods af utallige tilpasnin- ger af programmerne i den sidste fase af programmerings- perioden 1994–1996 blev der foretaget bevillingsoverfør- sler på gennemsnitligt 12 % til programmeringsperioden 1997–1999. Denne situation medfører en risiko for, at til det afgørende bevillingsudnyttelsen bliver gjort 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/17 spørgsmål, og at der sker en undervurdering af evaluerin- gens rolle, især hvad angår sammenhængen mellem målene, tildelingen af midler og virkningen af strukturin- terventionerne. 7. STRUKTURFONDENES VIRKNING OG EVALUE- RINGSMODELLER Virkning på EFSR- og programniveau Modellernes resultater med hensyn til strukturfondenes virkning 7. 1. De modeller, der anvendes til den makroøkonomi- ske evaluering på SF-området (jf. bilag III), resulterer, i overensstemmelse med deres egne karakteristika, i en differentieret vurdering af virkningen af SF, hvad angår: a) gennemførelsen af SF’s mål angående væksten i BNP, den faktiske konvergens i BNP pr. indbygger, beskæf- tigelse og ledighed b) overholdelsen af de betingelser, der er knyttet til gennemførelsen af SF, såsom additionalitet og en bæredygtig udvikling med særlig vægt på en korrekt styring af den offentlige gæld og af betalingsbalancen, indkomstfordelingen og miljøbeskyttelsen c) virkningerne for udbud og efterspørgsel d) SF-instrumenternes effektivitet, som f. eks. de offent- lige investeringer, investeringerne i menneskelige res- sourcer og støtten til private virksomheder. Vækst i BNP 7. 2. Som det ses i tabel 7, fremgår det af resultaterne af de vigtigste modeller anvendt til at evaluere strukturfon- denes virkning (HERMIN, OGM og DIO), at der for samhørighedslandene er sket en positiv udvikling i BNP og følgelig en forbedring af konvergensen. Således udgør den kumulative vækst i BNP i faste priser, som følge af strukturforanstaltningerne inden for EFSR i perioden 1994 til 1999, i disse landes økonomi 5,5 % for Portu- gal, 5,9 % for Grækenland, 2,6 % for Spanien og 3,3 % for Irland. Disse resultater forudsætter, at additionali- tetsprincippet fuldt ud er respekteret, og kan følgelig ændres, hvis dette ikke er tilfældet (jf. punkt 8. 11 til 8. 13). De forskellige makroøkonomiske modeller har desuden produceret resultater, der er tilstrækkeligt sam- menhængende til, at EFSR’enes virkning for væksten i BNP i faste priser i periden 1994 til 1999 kan anses som sandsynliggjort. På kort sigt er virkningerne for efter- spørgslen imidlertid så godt som de eneste, idet virknin- gerne for udbudet først viser sig langt senere. Den regio- nale HELM-model anvendt for Hainaut vurderer ligele- des, at virkningen af SPD omregnet i årlig vækst for den samlede værditilvækst udgør mellem 1,7 og 2,5 % for perioden 1994–2002. For Mezzogiorno i Italien derimod, synes SF at have en stærkt begrænset eller næsten ingen virkning for væksten. Kommissionens QUEST-model, der også inddrager forudsætninger om virksomhedernes og forbrugernes forventninger, skønner at virkningerne for vækstpotentialet og beskæftigelsen bliver mindre, end det var tilfældet ved tidligere anvendte modeller. 7. 3. Tabel 8 viser med udgangspunkt i den gennemsnit- lige acceleration i den årlige vækst, der skyldes struktur- foranstaltningerne under EFSR, at multiplikatorvirknin- gerne af en vækst på 1 % i BNP, der skyldes EFSR, i perioden 1994 til 1999 fører til en ekstra årlig vækst på 0,2 til 0,3 %, hvad angår virkningen for efterspørgslen, og højst 0,2 %, hvad angår virkningen for udbudet. Som det fremhæves af HERMIN-modellen,bidrager den domi- nans, som virkningerne for efterspørgslen, og som ville forsvinde i det øjeblik EF-støtten ophører, på det økono- miske plan, kun til at virkeliggøre de i traktatens artikel 130 A omhandlede mål, såfremt virkningerne for udbudet udvikler sig i en bæredygtig retning og styrker produk- tionskapaciteten i de pågældende regioner. Hvis virknin- gen for udbudet udvikler sig meget senere end virkningen for efterspørgslen, er det muligt, at de tilsvarende multi- plikatorvirkninger undervurderes. Den faktiske konvergens målt i BNP pr. indbygger 7. 4. De modeller, der anvendes inden for SF’s rammer, viser, at konvergensprocessen ikke altid er garanteret, og at visse programmeringer under EFSR, i stedet for at at udvikle konvergensen, i bedste fald kan reducere diver- gensen. Irlands vedkommende, 7. 5. For forudsiger Bradley (HERMIN 1994) og Honohan (HERMIN 1997), hvilke virkninger støtten fra EFSR for perioderne 1989 til 1993 og 1994 til 1999 kunne få for BNP pr. indbygger. Den første mener, at EFSR-bidraget for 1994–1999 kun har haft en beskeden betydning for indhentningen af dette efterslæb, mens den anden vurderer, at EFSR spiller en vigtig rolle i konvergensprocessen. Beutel (1997) forudsi- ger, at Irland vil indhente efterslæbet i forhold til resten af EU også uden EFSR 1994–1999, som ville øge den årlige vækstrate med 0,6 %. I Spanien, Portugal og Grækenland vil man ligeledes kunne opleve en årlig vækst, der stiger med henholdsvis 0,4 %, 1,1 % og 1 % i C 347/18 DA De Europæiske Fællesskabers Tidende 16. 11. 98 perioden 1994–1999 på grund af SF, hvilket under alle omstændigheder har haft en positiv virkning for den faktiske konvergens målt i BNP pr. indbygger. 7. 6. Fremskrivninger, som er foretaget på grundlag af OGM-modellen, og som omfatter konvergensen i BNP i faste priser pr. indbygger i forhold til EU-gennemsnittet, viser også skøn, som understreger, at EFSR’s nettobidrag til konvergensen forbliver beskedent for samhørighedslan- dene, selvom de fremskrevne tendenser i 1995 er for pessimistiske for Irland (jf. tabel 9). 7. 7. For Hainaut medregner HELM-modellen de fakti- ske konvergensaspekter i midtvejsevalueringen og skøn- ner, at den årlige anslåede vækstrate vil ligge ca. 1,4 til 1,6 % over det europæiske gennemsnit takket være SF, hvilket ville betyde en faktisk indhentning af efterslæbet. 7. 8. Disse skøn viser, at støtten fra strukturfondene har varierende virkninger på baggrund af forskellene i med- lemsstaternes regionale eller sektorspecifikke produktive strukturer i medfør af M1. De bekræfter også, at kvalite- ten af SF’s programmering burde forbedres, således at SF-interventionerne, med konvergensen for øje, kan for- bedre produktionskapaciteten i økonomien. Beskæftigelse og ledighed 7. 9. Tabel 10 indeholder en oversigt over resultaterne af evalueringerne af SF’s virkning for beskæftigelsen og ledigheden. Alle undersøgelser viser, at EFSR skaber nettoarbejdspladser. De nye arbejdspladser skabes ofte inden for den ikke-kommercielle servicesektor, mens EFSR’s virkning for produktiviteten primært er koncen- treret inden for industrisektoren. Endelig viser visse undersøgelser et fald i beskæftigelsen i industrien, der skyldes en stigning i produktiviteten. infrastrukturinvesteringerne (»hård infrastruktur«), der er indeholdt i EFSR, bidrager mere til væksten i BNP end investeringerne i menneskelige ressourcer. Anvendelse af OGM-modellen (Pereira 1991) til at vurdere virkningerne af en omstilling fra støtte til private investeringer og investeringer i menneskelige ressourcer til supplerende støtte til infrastrukturinvesteringer viser en forøget vækst i BNP og i den konvergensproces, der er sat i gang af SF. Additionalitets- og medfinanseringsforpligtelser 7. 11. Modellerne har ligeledes gjort det muligt at vur- dere betydningen af additionaliteten og den offentlige medfinansiering. Efter Honahans vurderinger (HERMIN, 1997) ville vækstraten i den irlandske økonomi, uden forpligtelsen til offentlig medfinansiering, have været 1 % mindre og væksten i beskæftigelsen mindre udtalt. Deri- mod forudser Honahan et mere mærkbart fald i forholdet mellem statsgæld/BNP og overskud på betalingsbalancen i mangel af en forpligtelse til offentlig medfinansiering. For Portugals vedkommende bevirker kravet om medfinansie- ring ifølge HERMIN-evalueringen en yderligere kumule- ret fordel på 1,3 % i BNP, men giver også anledning til en mindre positiv udvikling i den offentlige gæld. 7. 12. HELM-evalueringen for Hainaut tillægger additio- naliteten en stor betydning. Den gennemsnitlige stigning i værditilvæksten i perioden 1994 til 1999 udgør ifølge HELM-evalueringen i de tre følgende scenarier: regional- politikken iberegnet SPD, gennemførelse af regionalpoli- tikken uden EF-støtte, regionalpolitikken med fradrag af SPD — henholdsvis 2,5 %, 1,7 % og 0,1 %, mens væk- sten i beskæftigelsen ville falde fra 0,8 % til 0,2 %. Industriens situation ville også blive væsentligt forringet. Ved at anvende varierende støttesatser, når HELM- evalueringen ligeledes til det resultat, at støttesatsen til investeringerne ikke stimulerer disse i lige høj grad, og at en lang række investeringer ville være blevet gennemført med lavere støttesatser. EFSR-instrumenternes effektivitet Bæredygtig udvikling 7. 10. HERMIN-evalueringerne for Spanien, Irland og Portugal viser, at støtten til offentlige investeringer, navn- lig infrastrukturinvesteringer, har større virkning for væk- sten end støtten til investeringer i menneskelige ressourcer (med undtagelse af Spanien) og støtten til private investe- ringer. Dette illustreres i tabel 11, der, for hvert instru- ment, viser væksten i det nationale BNP som følge af den stigning på 1 % i det kumulerede BNP for perioden 1994 til 1999, der skyldes EFSR. HERMIN-undersøgelsen for til den konklusion, at Grækenland når ligeledes 7. 13. Tabel 10 viser, at SF’s virkninger for handelsba- lancens saldo, betalingsbalancens løbende poster eller underskudet på de offentlige finanser ikke altid vurderes. Hertil kommer, at de forskellige undersøgelser fører til indbyrdes divergerende konklusioner. Således fører den økonomiske udvidelse som følge af EFSR i visse tilfælde til en forbedring af de offentlige finanser gennem beskat- ningssystemet, mens EFSR ifølge andre modeller skaber budgetunderskud. 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/19 Evalueringens rolle på det makroøkonomiske niveau i strukturfondenes beslutningsproces I betragtning af SF’s virkninger for efterspørgslen 7. 14. på kort sigt har midtvejsevalueringen tendens til at over- vurdere de politiske myndigheders problemer med at udnytte fællesskabsmidlerne og undervurdere de langsig- tede virkninger for udbudet. Omlægninger eller ompro- grammeringer af OP eller EFSR kan således blive behæf- tet med fejl. Foranstaltninger eller projekter, der ikke udnytter fællesskabsbevillingerne hurtigt nok, risikerer nemlig at blive standset, navnlig inden for områder, hvor gennemførelsen er vanskelig, som f. eks. innovation eller nye teknologier. Dette sker til fordel for allerede eksiste- rende strukturer med en langt lavere produktivitet, uden at der tages hensyn til de makroøkonomiske aspekter ved en bæredygtig udvikling. 7. 15. Supplerende makroøkonomiske evalueringer, der tager højde for aspekter vedrørende bæredygtighed, vækst og konvergens, er i denne forbindelse absolut nødvendige, før der tages beslutninger om den oprinde- lige programmering og ændringer af denne. I mange tilfælde, som f. eks. i Spanien, Grækenland eller de nye tyske delstater, er der imidlertid allerede gennemført omprogrammeringer inden for rammerne af midtvejseva- lueringen, uden at der er foretaget en grundig, samlet makroøkonomisk analyse. For så vidt angår M1-regio- nerne i Tyskland, er der ikke gennemført nogen makro- økonomisk analyse af foranstaltningernes virkning i for- bindelse med midtvejsevalueringen. Virkning for underprogrammer, foranstaltninger og pro- jekter 7. 16. Selvom underprogrammer og foranstaltninger er den drivende kraft bag programmeringen af SF, eksisterer der meget få evalueringer på underprograms- og foran- staltningsniveau. Spredningen og den manglende defini- tion og sammenhæng i mange underprogrammer og foranstaltninger samt en utilfredsstillende kvantificering af disses specifikke mål er en del af forklaringen på, hvorfor det er så vanskeligt at måle virkningen. 7. 17. Disse forhold vanskeliggør alle bestræbelser på at identificere og måle synergien og komplementariteten mellem foranstaltningerne indbyrdes eller mellem forskel- lige programmer. Forbindelserne mellem programmets overordnede mål og de mål, der er specifikke for under- programmerne eller foranstaltningerne, er ofte uklare. Midtvejsevalueringsrapporterne nævner således talrige eksempler på kohærensproblemer i programmerne under EFSR 1994–1999 M1. gør det kun muligt at evaluere effektiviteten af EFSR’s vigtigste instrumenter: offentlige investeringer, private investeringer og investeringer i menneskelige ressourcer, for så vidt angår disse instrumenters respektive bidrag til væksten i BNP. Det lader til, at infrastrukturudgifterne, der er komplementære til den private kapital, øger kapi- talafkastet og i højere grad end andre investeringsformer kunne være med til at øge hastigheden af konvergensen (jf. Tabel 11). 7. 19. Valget af foranstaltninger eller underprogrammer, der udgør programmet, og finansieringen af disse, er imidlertid ikke neutral, hvad angår virkningen af den regionale udvikling udtrykt i bæredygtig intern vækst. De evalueringsinitiativer, som Kommissionen eller medlems- staterne har iværksat inden for rammerne af partnerska- bet på underprograms- eller foranstaltningsniveau, er stadig ikke tilstrækkelige til, at konsekvensen af en speci- fik foranstaltning for andre områder eller sektorer kan undersøges eller sammenlignes med andre foranstaltnin- ger med lignende mål. Analysen af foranstaltningernes og underprogrammernes virkning skulle også tage hensyn til den oprindelige vægtning af vækst og mellemregional lighed, som har forudbestemt valget af den, for at skabe balance mellem de forventede og de gennemførte effekti- vitetsforbedringer. 7. 20. På projektniveau foretages der i princippet en analyse af de socioøkonomiske omkostninger og fordele, der er forbundet med projekterne, før finansieringen af projektet godkendes. I henhold til artikel 5 i Rådets forordning EØF nr. 2083/93 (EFRU) er denne analyse obligatorisk for store projekter, hvis de samlede omkost- ninger i forbindelse med infrastrukturinvesteringer over- stiger 25 mio. ECU og i forbindelse med erhvervsinveste- ringer 15 mio. ECU. De forudgående vurderinger af store projekter indgår i behandlingen af ansøgningerne om EF-støtte og danner grundlag for beslutningen om finan- sieringsrammens størrelse. Den efterfølgende evaluering af projekterne er derimod ikke forudset i forordningerne for SF og kan ikke kræves foretaget af Kommissionen med henblik på at efterprøve, om de forventede socioøkono- miske fordele i forhold til de dertil frigjorte fællesskabs- midler faktisk er blevet opnået. Dette manglende led i evalueringsprocessen af store projekter bevirker, at selve evalueringskonceptet ikke fungerer på dette niveau, idet en forudgående vurdering kun har sin berettigelse, hvis der rent faktisk finder en efterfølgende evaluering sted. Endvidere kunne disse mikroøkonomiske og sektorspeci- fikke undersøgelser også tjene til at vurdere SF’s poten- tielle virkning for produktiviteten og således blive et effektivt instrument, når virkningen skal analyseres på kort og mellemlang sigt. 7. 18. Der eksisterer kun meget få egnede metoder til at måle virkningen af et underprogram eller en specifik foranstaltning. De førnævnte makroøkonomiske modeller 7. 21. Der burde ved evalueringen af projekterne også tages hensyn til synergier og komplementariteter. Dette er hidtil ikke sket i tilstrækkelig grad eller kun overfladisk. C 347/20 DA De Europæiske Fællesskabers Tidende 16. 11. 98 Overensstemmelse mellem projekternes komplementarite- ter og synergier er af afgørende betydning, hvis den forventede virkning ikke skal svækkes. 8. 4. Det samme gælder det statistiske grundlag, hvis ringe standard skaber tvivl om indikatorernes gyldighed og i høj grad indvirker på overvågnings- og evalue- ringsprocessen. 7. 22. Midtvejsevalueringen tager ofte fat på problemer i forbindelse med forvaltningen af programmerne, mens der sjældent tages hensyn til de kriterier, der lå til grund for udvælgelsen af projekterne, som f. eks. projekternes bæredygtighed eller bidrag til den regionale udvikling. Projektforvaltningssystemet burde imidlertid kunne sikre, at projektudvælgelseskriterierne anvendes således, at pro- gramresultaterne optimeres. Navnlig projekter med meget ringe værditilvækst på udviklingsområdet burde undgås, selvom de har den fordel, at de udnytter bevillingerne meget hurtigt. Projektudvælgelsessystemet burde være mere gennemskueligt, således at der er mulighed for at kontrollere og garantere, at projektet er evalueringseg- net. 8. KONKLUSION af evaluering 8. 1. Fremgangsmåden fælles- ved skabsstrukturinterventionerne er et resultat af vedtægts- mæssige forpligtelser i Rådets beslutninger og anvendes i dag i vid udstrækning inden for rammerne af partnerska- bet. Evalueringen er blevet en hjælpeforanstaltning til udformningen og forvaltningen af interventionerne, som bidrager til, at der kan opnås en større viden om inter- ventionernes virkninger og nytte. I 1997 blev der på overvågningsudvalgsniveau foretaget over 250 midtvejse- valueringer for perioden 1994 til 1999 (19). 8. 2. Med revisionen af SF-reformen indtræder evaluerin- gen i en modenhedsfase, som allerede nu burde konsoli- deres gennem opstillingen af nogle bedre metodologiske rammer. Der burde stadig gøres en stor indsats for at identificere de evalueringsmetoder, der er bedst egnede til at måle programmernes socioøkonomiske virkning inden for rammerne af den regionale udvikling, idet MEANS- programmet ikke har kunnet løse denne opgave tilfreds- stillende. 8. 3. Alle indikatorer burde undersøges nøje med hensyn til relevans, undersøgelsesmetoder og dertilhørende om- kostninger. Der burde også gøres en indsats for at formalisere de kvalitative aspekter. Evalueringsprocessen risikerer at stagnere, hvis der ikke gøres nye fremskridt på disse områder. (19) Overvågningsudvalgene er sammensat af repræsentanter for de pågældende nationale instanser og Kommissionen. 8. 5. Det store antal mere eller mindre relevante indika- torer, der findes i øjeblikket, forringer kvaliteten af evalueringen og forhindrer, at den bliver operationel. Et mindre antal virkningsindikatorer, der er nødvendige for at kunne tilpasse og ændre kurs på strukturpolitikken, burde omhyggeligt udvælges under hensyntagen til de begrænsninger, der ligger i regionaliseringen af dataene og de materielle muligheder for indsamling af informatio- ner. Disse indikatorers troværdighed burde efterprøves. Der burde skaffes bedre mulighed for at sammenligne indikatorer og opnås enighed om deres anvendelse på EU-plan. 8. 6. Skal der kunne tages hensyn til evalueringerne i beslutningsprocessen og den operationelle forvaltning af SF, er det vigtigt, at de er gennemskuelige og objektive, at der er overensstemmelse mellem mål og behov, samt at der er fastsat en passende afslutningsdato. 8. 7. Det er vigtigt at opretholde vurderingsmændenes uafhængighed i forhold til forvaltningsorganerne og de involverede offentlige myndigheder for at sikre objektivi- teten af evalueringsresultaterne. 8. 8. Anvendelsen af en fælles referenceramme ville gøre evalueringsrapporterne lettere af læse og sammenligne og ville fremme udvekslingen af erfaringer. 8. 9. Der burde defineres mere operationelle målsætnin- ger for hver evaluering. De kontrakt- og udbudsbetingel- ser, som normalt godkendes af Kommissionen, burde indeholde klare oplysninger om den mest hensigtsmæssige metode, alt efter om den gælder regionale, sektorspeci- fikke eller nationale aspekter eller omhandler kortsigtede/ langsigtede virkninger. Alle andre metoder burde under- kastes en analyse, der vejer deres positive og negative sider op mod Kommissionens metode. For at opnå den nødvendige sammenhæng i analysen, burde referenceram- men for den enkelte evaluering omfatte mindst den liste over indikatorer, der foreslås af Kommissionen til måling af resultaterne i forhold til programmålene. Andre indika- torer kan naturligvis anvendes i forbindelse med den socioøkonomiske og strukturelle situation med henblik på at supplere og forbedre analysen. 8. 10. For at Kommissionen kan vurdere, om den fore- slåede metode er fyldestgørende, burde den, på grund af de mange forskellige metoder der kan anvendes i forbin- delse med evalueringen, i udbudsfasen kræve, at vurde- 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/21 ringsmændene giver en grundigere redegørelse for den metode, de agter at anvende, navnlig med hensyn til den type virkninger, de har til hensigt at måle og over hvor lang en periode. Evalueringen burde endvidere omfatte en detaljeret analyse af forbindelserne mellem programmå- lene og de prioriterede felter og de foranstaltningerne, der gennemføres for at nå målene, og den nødvendige kaska- deopstilling af mål/resultater/gennemførelse for program- merne, de prioriterede felter og foranstaltningerne. 8. 15. I de makroøkonomiske modeller foretages en grundlæggende sondring mellem de meget kortsigtede virkninger for efterspørgslen og de strukturelle tilpasnin- ger af udbudet. Ved programmeringen af SF-interventio- nerne burde det i højere grad tilstræbes, at økonomiens produktionskapacitet forbedres, således at der kan garan- teres en varig virkning, og man undgår en alt for dyb afhængighed af efterspørgslen, som ville føre til, at EF- støtten på lang sigt ikke ville kunne undværes. 8. 11. Det skal i denne forbindelse nævnes, at en bedre segmentering af evalueringen i forhold til modtagerne er nødvendig for at øge evalueringens effektivitet og imøde- komme specifikke forventninger, især i forbindelse med midtvejsevalueringerne. Der burde endvidere tilstræbes en bedre styring af omkostningerne, da Kommissionen ikke altid har kendskab til størrelsen af de beløb, der sættes af til evaluering inden for rammerne af partnerskabet. 8. 16. Da virkningerne på udbudet først viser sig efter en længere periode, vil midtvejsevalueringens opmærksom- hed normalt være rettet mere mod virkningerne på efter- spørgslen. Kommissionen burde gøre en indsats for at udvikle de nødvendige instrumenter til at overvåge og evaluere af de strukturrettede virkninger på økonomien. 8. 12. Kommissionen burde desuden anføre, hvilke aspekter af regionalpolitikken, der især skal evalueres: additionalitet, konvergens, partnerskab, koncentration, beskæftigelse, endogen økonomisk udvikling eller social velfærd. BNP pr. indbygger burde ikke være det eneste referencegrundlag ved målingen af strukturinterventioner- nes effektivitet. 8. 17. Det fremgår ligeledes af de makroøkonomiske modeller, at en økonomisk politik baseret på vækst ikke altid er forenelig med en bæredygtig udvikling. Forbindel- serne mellem virkningen for væksten og virkningerne for den bæredygtige udvikling burde grundigt analyseres, og der burde systematisk tages hensyn til denne dualitet ved programmeringen af SF-interventionerne. 8. 13. Vurderingen af virkningerne og værditilvæksten på fællesskabsplan skulle kunne støtte sig til nationale og regionale udviklingsmodeller på programniveau samt til virkningsmodeller, hvad angår foranstaltningerne. 8. 18. Virkningen af forpligtelsen til additionalitet og medfinansiering er ikke altid klare. Der burde iværksæt- tes en mere systematisk og dybtgående analyse af dette aspekt. 8. 14. De makroøkonomiske resultater af strukturinter- ventionerne burde forbedres under hensyntagen til mang- lerne ved de modeller, der ligger til grund for dem, de bivirkninger, som de samme aktioner har haft, og alle deres virkninger for den sociale velfærd. 8. 19. Det er ikke meningen, at evalueringen i sig selv skal erstatte den politiske beslutningsproces; der må tage videre hensyn, men den bør være et uundværligt redskab til at opnå en forsvarlig og effektiv forvaltning af fælles- skabsstrukturinterventionerne, som tager højde for socio- økonomiske resultater. Vedtaget af Revisionsretten på mødet den 23. september 1998. På Revisionsrettens vegne Bernhard FRIEDMANN Formand Evalueringsomkostninger afholdt af Kommissionen (GD XVI) i forbindelse med den første EFSR Tabel 1 Lande Mål nr. 1 1989-1993 Mål nr. 2 Fællesskabsinitiativer Tematisk Andre I alt Forudgående Efterfølgende Forudgående Efterfølgende Forudgående Efterfølgende (ECU) Belgien Danmark Tyskland Grækenland Spanien Frankrig Irland Italien Luxembourg Nederlandene Portugal Det Forenede Kongerige Europa-Kommissionen 35 000 31 000 42 000 35 000 35 000 35 000 53 000 150 172 207 372 97 662 109 572 150 552 193 022 72 572 17 500 35 000 17 500 70 000 35 000 35 000 17 500 35 000 122 500 69 040 25 520 138 570 117 090 253 185 96 580 15 880 47 925 131 500 14 815 65 963 10 514 143 480 526 347 739 274 197 228 201 915 395 955 15 128 46 816 452 706 223 428 98 400 35 395 25 000 593 350 260 977 104 371 464 064 390 156 25 000 625 169 626 694 77 500 151 845 30 000 151 845 151 845 35 000 550 256 187 898 96 034 299 550 1 456 714 1 455 713 881 291 810 551 1 255 088 48 508 154 741 1 340 897 1 229 694 740 971 I alt 266 000 980 924 385 000 910 105 3 117 154 3 227 676 1 070 791 9 957 650 Kilde: Europa-Kommissionen. C 3 4 7 2 2 / D A D e E u r o p æ i s k e F æ l l e s s k a b e r s T i d e n d e 1 6. 1 1. 9 8 Evalueringsomkostninger afholdt af Kommissionen (GD XVI) i forbindelse med den anden EFSR indtil 1. april 1998 Tabel 2 Land 1994-1999 Mål nr. 1 1994-1996 1997-1999 1994-1999 Mål nr. 2 Mål nr. 2 FI Tematisk Kohæsionsunder- søgelser Udvikling af metoder osv. I alt Forudgående Midtvejs- Forudgående Midtvejs- Forudgående Forudgående (ECU) Belgien Danmark Tyskland Grækenland Spanien Frankrig Irland Italien Luxembourg Nederlandene Østrig Portugal Finland Sverige Det Forenede Kongerige Europa-Kommissionen 24 000 352 527 38 940 108 303 68 995 86 841 56 000 83 809 19 000 17 671 60 000 71 774 49 150 1 030 037 4 171 941 1 382 117 481 092 1 067 557 1 514 311 37 499 11 827 1 631 604 339 214 281 295 70 885 26 530 23 312 94 784 85 102 186 122 105 287 9 143 46 431 33 000 16 750 27 000 154 591 127 300 611 348 9 278 128 450 209 078 807 462 722 690 61 741 104 924 171 201 326 614 247 636 10 600 9 600 29 200 19 000 45 600 31 169 10 600 10 600 30 000 1 559 39 702 23 286 29 725 36 091 4 326 33 185 460 4 406 245 35 247 35 845 4 314 127 986 2 576 126 19 417 33 357 62 217 55 167 48 367 56 967 52 317 49 417 14 597 46 817 38 417 52 122 90 000 4 030 438 1 045 981 75 547 1 551 316 4 358 697 1 842 384 1 700 175 1 180 200 2 539 868 96 541 269 677 233 944 1 765 268 682 578 555 931 415 217 6 877 328 I alt 684 483 12 371 906 935 352 3 400 422 196 369 248 391 2 704 112 619 179 4 030 438 25 190 652 Kilde: Europa-Kommissionen. 1 6 1 1 9 8. D A D e E u r o p æ i s k e F æ l l e s s k a b e r s T i d e n d e C 3 4 7 / 2 3 C 347/24 DA De Europæiske Fællesskabers Tidende 16. 11. 98 Tabel 3 Sammenkædning af kontrol, overvågning og evaluering Midler RR Gennemførelse RR Virkninger Input Output Outcome Referenter Overensstemmelse med lovgivningen Normer for god forvaltning Medborgernes tilfredshed rr Kontrol RR rr Overvågning (af forvaltningen) RR rr Evaluering (af virkningerne) RR Kilde: MEANS. Tabel 4 Bedømmelse af et programs værdi Virkninger qq QQ QQ Resultater qq QQ QQ Samfund Behov Ønsker QQ QQ QQ Det offentliges indsats Specifikke globale mål RR Midler Ressourcer RR Interventioner Gennem- førelse Relevans Evaluering Kilde: MEANS. Virkning Effektivitet Nytte 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/25 Tabel 5 Antal midtvejsevalueringer pr. land og pr. mål Land Mål nr. 1 Mål nr. 2 Mål nr. 3 Mål nr. 4 Mål nr. 5a Mål nr. 5b Mål nr. 6 I alt Belgien Danmark Tyskland Grækenland Spanien Frankrig Irland Italien Luxembourg Nederlandene Østrig Portugal Finland Sverige Det Forenede Kongerige 1 8 28 27 6 11 24 1 1 25 12 I alt 144 4 2 9 9 27 11 1 5 4 1 5 13 91 5 1 1 2 1 1 1 1 1 4 1 5 1 13 12 1 1 1 1 1 4 1 1 42 19 1 1 1 1 1 1 1 1 8 3 1 8 7 20 13 1 5 7 2 5 11 83 19 6 40 28 58 55 11 50 4 13 15 25 13 14 38 389 1 1 2 Der blev foretaget 5 midtvejsevalueringer på EFSR-niveau (Spanien, Grækenland, Irland, Italien og Portugal), og der blev udarbejdet et sammendrag af evalueringsindsatsen i forbindelse med mål nr. 1 Tyskland. Kilde: Europa-Kommissionen. Tabel 6 Oversigt over midtvejsevalueringerne mål nr. 1, 2 og 6 Medlemsstat Overvågningsudvalg Udbud Udvalgt organ Antal afleverede eller planlagte rapporter Mål nr. 1 Samhørig-hedslande Spanien 1 EFSR-udvalg 12 regionale underudvalg 7 sektorspecifikke EFRU- underudvalg 1 regionalt/centralt (Cantabrien) afsluttet 12 afsluttet 7 afsluttet 1 ekstern 12 eksterne 7 eksterne 1 rapport planlagt 07/97 12 rapporter planlagt 05/97; 1 rapport indleveret 7 rapporter planlagt 05-06/97; 1 rapport indleveret 1 afsluttet 1 ekstern rapport planlagt 05/97 Grækenland 1 EFSR-udvalg 13 regionale underudvalg 17 sektorspecifikke un- derudvalg udvælgelsesprocedure i gang 13 afsluttet 7 afsluttet 3 offentliggjort 6 bud modtaget — 13 eksterne udnævnelsesproce- dure i gang 13 rapporter indleveret 06/97 — Irland Portugal 1 EFSR-udvalg 9 sektorspecifikke udvalg iværksat i 1996 1 ekstern 9 eksterne 1 midtvejsrapport indleveret 03/97 9 midtvejsrapporter indleveret 03/97 1 EFSR-udvalg 7 regionale underudvalg 3 flerregionale underud- valg 7 sektorspecifikke under- udvalg afsluttet afsluttet afsluttet afsluttet 1 ekstern 7 eksterne 3 eksterne 14 eksterne rapport planlagt ultimo 97 7 rapporter indleveret 1. kvartal 97 3 rapporter indleveret 1. kvartal 97 12 rapporter indleveret 1. kvartal 97 — 1 rapport planlagt 07/97 — 1 rapport planlagt 09/97 Mål nr. 1 Andre lande Tyskland 1 EFSR-udvalg 6 regionale underudvalg 3 EFS-EUGFL-FIUF- underudvalg 1997 (begrænset) 1996 — 1 ekstern 6 eksterne — 1 endelig rapport planlagt 08/97 6 rapporter indleveret 05/97 — Belgien 1 SPD-udvalg 03/09/94 1 ekstern endelig rapport indleveret 05/97 C 3 4 7 2 6 / D A D e E u r o p æ i s k e F æ l l e s s k a b e r s T i d e n d e 1 6. 1 1. 9 8 Medlemsstat Overvågningsudvalg Udbud Udvalgt organ Antal afleverede eller planlagte rapporter Frankrig 6 SPD-udvalg 6 afsluttet 6 eksterne Korsika: midtvejsrapport indleveret 12/96 Hainaut: rapport planlagt 07/97 Martinique/Guadeloupe: rapporter planlagt 06/97 Re´union/Guyana: rapporter planlagt ultimo 97 Italien 1 EFSR-udvalg 8 regionale underudvalg 12 flerregionale underud- valg liste tilgængelig, ud- vælgelse planlagt 11/97 iværksat offentliggørelse i gang, udvælgelse planlagt (sommer 97) 0 intern evaluering: rapport planlagt 07/97 ekstern evaluering: rapport planlagt 06/98 2 ud af 8 eksterne 0 rapporter planlagt primo 98 — Nederlandene 1 SPD-udvalg 03/96 1 ekstern rapport planlagt ultimo 1997 Det Forenede Kongerige Nordirland 2 SPD-udvalg 1:02/96 (Merseyside) 1 ekstern 1 rapport indleveret primo 97 2:1996 (H&I) 1 ekstern 1 rapport planlagt sommer 97 1 EFSR-udvalg 9 sektorspecifikke under- udvalg 1:06/96 maj 96 1 ekstern 9 eksterne rapport indleveret maj 97 9 rapporter indleveret 1. halvår 97 Østrig 1 udvalg afsluttet 1 ekstern rapport planlagt efterår 1997 Mål nr. 6 Finland 1 SPD-udvalg afsluttet 1 ekstern rapport planlagt 10/1997 Sverige 1 SPD-udvalg afsluttet 1 ekstern rapport indleveret 06/97 Kilde: Europa-Kommissionen. 1 6 1 1 9 8. D A D e E u r o p æ i s k e F æ l l e s s k a b e r s T i d e n d e C 3 4 7 / 2 7 C 347/28 DA De Europæiske Fællesskabers Tidende 16. 11. 98 Virkningen af det andet EFSR-program (herunder national medfinansiering) for væksten i BNP Tabel 7 ESFR 1994-1999 som % af BNP HERMIN (1) (Gennemsnitlige procentvise vækstrater 1994-1999) Efterspørgsel Udbud Grækenland Spanien(4) Portugal Irland 5,9 2,6 5,5 3,3 0,9 0,6 1,6 0,5 0,9 0,3 0,2 0,2 I alt 1,8 0,8 1,8 0,7 OGM (2) (Gennemsnitlige pro- centvise vækstrater 1994-1999) DIO (3) (Gennemsnitlige pro- centvise vækstrater 1994-1999) 0,6 0,2 0,4 0,1 1 0,5 1 0,6 (1) HERMIN: Økonometrisk model, der er baseret på den originale HERMES-model (Harmonised Econometric Research for Modelling Economic Systems), men som har det særlige karakteristikum, at den er af minimumstørrelse (Min); deraf navnet (HER)MIN. Se kapitel 7, punkt 7. 2, 7. 5, 7. 10, 7. 11 samt punkt 5 i bilag III. (2) Optimal Growth Model (OGM), Pereira (1991 og 1995). (3) Dynamic Input-output model (DIO), Beutel (1995, 1996, 1997). Se punkt 6. 23 d) og bilag III, punkt 9. (4) Ikke all regioner i Spanien falder under mål nr. 1. Kilde: Evalueringer foretaget på basis af gældende makroøkonomiske modeller medfinansieret af Kommissionen. EFSR-programmets multiplikatorer for årlig vækst i 1994-1999 Tabel 8 HERMIN Efterspørgsel Udbud Grækenland Spanien Portugal Irland 0,2 0,2 0,3 0,2 0,2 0,1 0 0,1 I alt 0,4 0,3 0,3 0,3 OGM DIO 0,1 0,1 0,1 0 0,2 0,2 0,2 0,2 Kilde: Evalueringer foretaget på basis af gældende makroøkonomiske modeller medfinansieret af Kommissionen. Den faktiske konvergens målt i BNP pr. indbygger i henhold til OGM-metoden Tabel 9 9 0 90 8 0 80 7 0 70 60 6 0 50 5 0 40 4 0 t i n s m e n n e g - U E f a % Grækenland G r e e c e I r e l a n d Irland P o r t u g a l Portugal S p a i n Spanien 30 3 0 1993 1 9 9 3 1995 1 9 9 5 1997 1 9 9 7 1999 1 9 9 9 2003 2 0 0 3 2007 2 0 0 7 Note: Da disse fremskrivninger er udarbejdet på grundlag af data, der ikke er særligt nye, bør interessen samle sig om tenden- sen og ikke de absolutte værdier, der specielt for Irlands vedkommende har vist sig at være for pessimistiske. Kilde: Évaluations sur base du modèle OGM (Pereira, 1995). 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/29 EFSR-programmernes virkning for beskæftigelse og bæredygtig udvikling i perioden 1989-1999 Tabel 10 Forfattere Beskæftigelse og ledighed Bradley m. fl. [HERMIN] — Den samlede beskæftigelse øges Bæredygtig udvikling Offentlige finanser Betalingsbalance Betalingsbalancen forværres — Det offentliges lånebe- hov øges i begyndelsen af programmet og fal- der senere, når virknin- gen på udbudet gør sig gældende — Beskæftigelsen inden for fremstillingsvirksom- hed falder delvis som følge af en forbedret produktivitet — Virkningen for væksten med uændret offentligt lånebehov er mindre — Beskæftigelsen inden for ikke-handelssektoren øges — Den samlede beskæftigelse øges — Se foregående undersø- — Den samlede beskæftigelse øges — Ledigheden falder gelse — Gælden falder kraftigt i forhold til BNP — Se undersøgelsen foreta- get af Bradley m. fl. — Gælden falder i forhold til BNP Betalingsbalancen forbedres, så længe fællesskabsfinansie- ringen fortsætter Handelsbalancen forværres som følge af virkningen på efterspørgslen — Den samlede beskæftigelse øges — Det primære underskud Ikke analyseret øges — Ledigheden i byerne falder — Den samlede beskæftigelse stiger Ikke analyseret Ikke analyseret — Beskæftigelsen inden for fremstillingsvirksom- hed falder — Beskæftigelsen inden for kommercielle tjenester stiger Fuld beskæftigelsesmodel Det primære offentlige un- derskud som % af BNP øges Underskudet på de løbende poster på betalingsbalancen øges undtagen hvad angår Spanien i 1997-1999 Underskudet på statsbud- gettet øges fra 1989-1993 og falder i 1994-1995 Situationen for de løbende poster på betalingsbalancen forværres Lolos og Zonallas [BBM] Beskæftigelsen stiger og ledigheden falder Beutel [DIO] — Beskæftigelsen stiger i Portugal, Grækenland Ikke analyseret og Spanien Stigning i eksport/import- transaktionerne i Portugal og Grækenland, men fald i Irland — I Irland får den første EFSR beskæftigelsen til at falde, medens den anden EFSR skaber nye job FIDIMS Beskæftigelsen stiger i Nord- og Syditalien Ikke analyseret Ikke analyseret Honohan (red. ) [HERMIN] Herce og Sosvilla- Rivero [HERMIN] Christodoulakis og Kalyvitis [HERMIN] Sema Group [HELM] Pereira (1995) [OGM] C 347/30 DA De Europæiske Fællesskabers Tidende 16. 11. 98 Den procentvise vækst i BNP (BNI) som følge af den stigning på 1 % i det kumulerede BNP for perioden 1994 til 1999, der skyldes EFSR Tabel 11 Fysisk kapital Menneskelig kapital Privat kapital Spanien Irland Portugal 2 1,4 1,9 3,3 1,2 1,3 1,5 1,1 Foreligger ikke Kilde: HERMIN-evalueringerne. 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/31 BILAG I SAMMENFATNING AF DEN METODE, DER SKULLE ANVENDES VED DEN EFTERFØLGENDE EVALUERING AF EFSR MÅL NR. 1 1989–1993 1. Den efterfølgende evaluering af EFSR M1 1989–1993 havde især til formål at: a) evaluere den strategi og de målsætninger, der er opstillet i fællesskabsstøtterammerne, og at drage konklusioner, som kan anvendes i forbindelse med fremtidige aktioner. Analysere følgerne af omlægningen og tilpasningen af interventionerne i gennemførelsesperioden i forhold til de oprinde- ligt opstillede målsætninger b) gøre foreløbig status over den fysiske gennemførelse af de vigtigste aktioner på EFSR- og OP-niveau og foretage en foreløbig evaluering af deres virkning c) analysere effektiviteten af gennemførelsesmekanismerne og drage konklusioner med henblik på eventuelle fremtidige tilpasninger. 2. Metoderne blev udarbejdet af den ledende konsulent, der havde til opgave at koordinere evaluerin- gerne, der blev foretaget af andre konsulenter for de pågældende medlemsstater: a) Under den første målsætning var det nødvendigt, for at kunne evaluere den indbyggede logik i EFSR og OP og i de justeringer, der var blevet foretaget i forhold til EFSR og OP siden 1989, navnlig med henblik på at kunne analysere årsagerne til disse justeringer, værditilvæksten på fællesskabsplan, den interne sammenhæng, strategiens relevans i forhold til problemerne og finansieringernes tilstrækkelighed, at udføre følgende opgaver, som falder ind under top-down- metoden: — indsamle informationer og nøgledata: finansielle data, målsætninger i den forudgående vurde- ring, forventet output/forventede virkninger, målgrupper og -områder, vigtigste anvendte instru- menter, antal godkendte projekter/foranstaltninger, antal gennemførte projekter — beskrive programmets miljø og dets udvikling (den oprindelige tilstand i forhold til den aktuelle); identificere eksterne faktorer, der har haft en virkning for programmets udvikling og dets succes/fiasko; analysere de grundlæggende problemer og årsager; konkretisere nøgleindika- torerne for den regionale udvikling, herunder indikatorerne for ændringer i ulighederne — identificere de politiske instrumenter (lån, finansielle tilskud, faglig bistand) — foretage en prioritering af målsætningerne, en identifikation af de hierarkiske niveauer og af forbindelserne mellem målsætninger og instrumenter b) Under den anden målsætning faldt analyserne inden for rammerne af både top-down- og bottom-up-metoden: — analyse af output og virkninger på OP-niveau og af foranstaltninger og projekter under hensyntagen til »rene tab«, substitutionsvirkninger og multiplikatorvirkninger — analyse af den relative effektivitet af foranstaltninger og af kombinationer af foranstaltnin- ger; analyse af årsagerne til succes eller fiasko — sammenligning af input og output en konkretisering af nøgleindikatorer og valgfrie indikatorer var ligeledes nødvendig c) Under den tredje målsætning sigtede man mod at analysere iværksættelsesmekanismernes effektivitet på EFSR- og OP-niveau og i forhold til et mindre antal foranstaltninger, samt at identificere allerede gennemførte og fremtidige forbedringer i programmerings-, gennemførelses-, overvågnings- og evalueringsprocessen, og man ville undersøge mekanismerne for beslutnings- tagning, planlægning, finansiel kontrol, iværksættelse, overvågning, kontrol, finansielle kredsløb, partnerskab, additionalitet, koordinering af finansielle midler, forenklings- og harmonise- ringsprocessen, større fleksibilitet og gennemskuelighed for hver enkelt medlemsstat. En grundig analyse skulle foretages af gennemførelsen og overvågningen af et mindre udvalg af foranstalt- ninger/store projekter d) et til lejligheden sammensat udvalg af programmer, foranstaltninger og projekter blev valgt dels for at belyse et begrænset antal fysiske indikatorer og virkningsindikatorer, dels for at gennemføre grundige analyser. C 347/32 DA De Europæiske Fællesskabers Tidende 16. 11. 98 BILAG II SAMMENFATNING AF DEN ANVENDTE METODE VED DEN EFTERFØLGENDE EVALUERING AF MÅL NR. 2 1989–1993 Den efterfølgende evaluering af fællesskabsinterventionerne under mål nr. 2 i programmeringsperioden 1989–1993, der almindeligvis indeholder EFRU- og ESF-elementer, omfattede: a) generelle analyser af alle regioner og områder under mål nr. 2. Formålet med analyserne var at sammenligne den socioøkonomiske situation før SF-interventionerne under mål nr. 2 med den socioøko- nomiske situation efter disse interventioner. De skulle endvidere omfatte en analyse af den anvendte strategi, målenes rangfølge, prioriteringer og foranstaltninger, indikatorer, planlagte og uventede virkninger, synergierne mellem programelementer og integreringen af de forskellige fonde. Analyserne skulle tage udgangspunkt i EFSR’s og OP’s indhold, de årlige rapporter om gennemførelsen og rapporterne til undersøgelsesudvalgene, samt i de forudgående og efterfølgende evalueringer, hvis de fandtes b) nærmere undersøgelser af 22 regioner med det formål at: — foretage en grundig analyse af EFSR, OP og de tilpassede foranstaltningstyper — analysere de institutionelle strukturer og de nærmere bestemmelser for forvaltningen af program- merne — evaluere virkningerne af den eventuelle »værditilvækst« for EFSR og OP — evaluere omkostningerne og effektiviteten af virkningen — undersøge hvilke bidrag til den regionale udviklingsproces, der skyldes intervention fra M2- programmet. Den detaljerede evaluering blev foretaget i henhold til bottom-up-metoden, idet det var formålet — på grundlag af en undersøgelse af processen bag valget af foranstaltninger, deres art, forvaltningsprocessen, som de er en del af, deres virkning med hensyn til værditilvækst, synergier og additionalitet — at bevæge sig nedefra og opefter og at lave et aggregat på foranstaltningsniveau og endelig på programniveau. BILAG III KARAKTERISTISKE TRÆK VED DE MAKROØKONOMISKE MODELLER, DER ANVENDES I FORBINDELSE MED SF-EVALUERINGEN 1. De vigtigste modeller anvendt ved den makroøkonomiske evaluering på strukurfondsområdet er: a) økonometriske modeller, f. eks. HERMIN (1), HELM (2) og QUEST II (3) b) almindelige beregnelige ligevægtsmodeller, f. eks. OGM (4) og BBM (5) c) input-output-modeller, f. eks. DIO (6) og FIDIMI (7) d) en struktur-/residualanalyse. (1) HERMIN: Økonometrisk model, der bygger på den originale HERMES-model (Harmonised Econometric Research for Modelling Economic Systems), men som har det særlige karakteristikum, at den er af minimumsstørrelse (Min); deraf navnet (HER)MIN. (2) HELM: Hainaut Economic Lead-in Model. (3) QUEST II: A Multi-Country Business Cycle and Growth Model — Economic Papers No. 123 — oktober 1997. GD II — Økonomiske og finansielle Anliggender. (4) Optimal Growth Model (OGM), Pereira (1991 og 1995). (5) Bourguignon, Branson og de Melo-modellen (BBM) ved Lolos og Zonzilas (1992). (6) Dynamic Input-output-model (DIO) de Beutel (1995, 1996 og 1997). (7) FIDIMI Consulting Company, evaluering af den makroøkonomiske virkning af EFSR mål nr. 1 — Italien og af gennemførelsesmekanismerne. 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/33 Karakteristiske træk ved anvendelsen af disse modeller i de undersøgte tilfælde fremstilles skematisk i Tabel III. 1 og III. 2. Tabel III. 3 indeholder en modellering af de karakteristiske træk ved EFSR’ene. 2. Det er endvidere muligt, på grundlag af en simulering af den økonomiske udvikling i de lande, der er omfattet af mål nr. 1, over en periode på mere end ti år og med udgangspunkt i flere sektorer, at ane den strukturelle udvikling, som strukturfondene har frembragt, og vurdere styrken af processen til indhentning af efterslæbet, som EF-støtten skulle fremme og styrke. 3. Revisionsretten har i forbindelse med sin revision fået analyseret (8), i hvor høj grad disse makroøko- nomiske metoder er egnede til at måle virkningen af strukturinterventionerne og yde et effektivt bidrag til beslutningsprocessen og den strategiske proces i forbindelse med programmeringen. 4. Det fremgår af analysen, at belysningen af de endogene og eksogene faktorer, der er afgørende for strukturprogrammernes succes, varierer, alt efter hvilke metoder og begrebsmæssige indfaldsvinkler, der anvendes. De makroøkonomiske modeller tager sigte på at gengive mekanismerne i et lands eller en regions økonomiske system og at opfange eller fremskrive virkningerne af et udefra kommende pres, som f. eks. det pres, der udøves af strukturprogrammerne. Der findes imidlertid ikke en gengivelse af den økonomiske virkelighed, der er den eneste rigtige og helt fuldstændige. 5. Den økonometriske model HERMIN, der tager hensyn til hver enkelt medlemsstats særlige karakteris- tika og aggregerer virkningerne på nationalt plan, bygger på den antagelse, at økonomierne ikke fuldt ud udnytter deres produktionskapacitet, og at den multiplikator- og acceleratoreffekt, der er knyttet til væksten i investeringerne, derfor skaber en øget produktion og beskæftigelse og lader til at give tilfredsstillende resultater, hvad angår virkningen på efterspørgslen. Med hensyn til virkningen på udbudet, bevirker faldet i ledigheden ifølge modellen en stigning i lønningerne, hvis Phillips-forholdet tages med i betragtning, samtidig med at det begrænser virkningen for inflationen. Virkningen for produktiviteten medregnes endvidere eksplicit, ved at der foretages modelberegninger af virkningerne af de positive eksterne omkostninger, som væksten i og forbedringen af den menneskelige kapital og den offentlige og private fysiske kapital har for produktiviteten. Det er imidlertid forskelligt fra land til land, hvordan denne hensyntagen sker. Modellen giver kun ufuldstændige oplysninger om en bæredygtig udvikling, idet den ikke medregner aspekterne vedrørende de ændringer i vekselkursen, der foretages for at sikre ligevægt på betalingsbalancen, eller forskellene i fiskale overførsler. 6. Den makroøkonometriske model HELM, der blev taget i anvendelse i forbindelse med midtvejsevalue- ringen af SPD 1994–1999 M1 Hainaut (Belgien), er en af de eneste, der specifikt inddrager den regionale udviklingsmetode ved at indregne virkningerne af den endogene vækst, der på lang sigt er knyttet til produktiviteten, selvom den produktivitetsstigning, der skyldes strukturfondinterventionen, i høj grad er begrænset til industrisektoren og alene vedrører arbejdsproduktiviteten. Den makroøkono- miske HELM-model tager udgangspunkt i den samme type præmisser som HERMIN-modellen med hensyn til anvendelsen af produktionskapaciteten og investeringernes multiplikator- og acceleratorvirk- ninger for efterspørgslen og giver oplysninger om SPD’s samlede og aggregerede virkninger for økonomien i Hainaut-provinsen, som f. eks. de genererede kumulerede investeringer, værditilvæksten eller beskæftigelsen inden for fabriksindustrisektoren og sektoren for markedsmæssige tjenester fra 1994 til 2002 eller 2005. Det er værd at bemærke, at HELM-modellen godt nok medregner den regionale eksport, men ikke importen fra andre regioner, hvorved man risikerer, at virkningerne af efterspørgslen overvurderes. Den kendsgerning, at der hverken medregnes lønjusteringer i forbindelse med faldet i ledigheden eller højere omkostninger og manglende produktionskapacitet, gør blot efterspørgslen endnu større. HELM-modellen giver ikke noget helt klart fingerpeg om, hvordan arbejdsløsheden eller antallet af ledige arbejdspladser vil udvikle sig. Endelig bygger HELM-modellen på historiske statistiske informationer, men disse informationer er ikke blevet gjort til genstand for en verificeringstest med andre typer af serier af relevante informationer. 7. Almindelige beregnelige ligevægtsmodeller finder specielt anvendelse på det nationale plan. De belyser den langsigtede virkning på udbudet, som stammer fra EF-strukturinterventionerne. OGM-modellen, der anvender en intertemporal endogen vækstramme, lægger til grund, at markederne for produktions- faktorer er i ligevægt, og at økonomien befinder sig i en situation, hvor produktionskapaciteten er (8) Revisionsretten blev bistået af en ekstern vurderingsmand, der er højt specialiseret inden for makroøkonomiske modeller og europæisk økonomi. C 347/34 DA De Europæiske Fællesskabers Tidende 16. 11. 98 udnyttet fuldt ud. Ændringer i efterspørgslen har ingen virkning for produktionen og beskæftigelsen, og strukturfondprogrammerne kan kun virke stimulerende på væksten ved at øge produktiviteten; disse virkninger på produktiviteten er klart specificeret i produktionsfunktionen. Modellen sigter efter at fastsætte en optimal værdi for det pågældende land ved at maksimalisere en intertemporal funktion for social velfærd. Det forudsættes, at de økonomiske enheder, der i en situation, hvor der ikke eksisterer nogen usikkerhed med hensyn til fremtiden, er i stand til at lave en præcis beregning af de finansielle midler, de vil få tildelt i støtteperioden, og at de baseret på disse oplysninger træffer optimale beslutninger med hensyn til forbrug og investeringer. Endelig forudsætter OGM-modellen ligevægt på betalingsbalancen og på statsbudgettet på lang sigt. 8. BBM-modellen forventer for visse sektorer, at arbejdsmarkedet er i balance, og at efterspørgselsvirknin- gerne ikke får nogen indflydelse på produktion og beskæftigelse, hvorimod der for andre sektorers vedkommende forventes en ekspansion i efterspørgslen. Modellen inddrager også virkninger på produktiviteten i forbindelse med de teknologiske ændringer, der medfører en begrænsning af input. 9. Den dynamiske input-output-model (DIO) søger at gengive forbindelserne mellem alle de midler, som en national økonomi råder over, og det endelige forbrug. Modellen måler herved den indbyrdes afhængighed mellem landets forskellige sektorer, som indbyrdes er forbundet på grund af anvendelsen af råvarer og tjenesteydelser. Input-output-modellen maksimaliserer virkningerne af strukturinterventio- nerne for efterspørgslen og tager ikke højde for virkningerne på udbudet (virkninger på produktivite- ten, lønningerne, korrigering for inflation). Den bæredygtige udvikling behandles ikke. FIDIMI- modellen er en kombination af en almindelig ligevægtsmodel og en input-output-model, og gør det muligt at analysere, hvilke virkninger fællesskabsinterventionerne i Syditalien har i Norditalien. 10. Blandt de øvrige metoder til evaluering af virkningerne af de regionale politikker skal især nævnes den struktur-/residualanalyse, som Eurostat anvender til evaluering af strukturfondenes virkninger i visse støtteberettigede områder under mål nr. 1 eller 2. Analysen sigter mod at identificere residualet, der udgør forskellen mellem den faktiske situation og den anslåede situation, der fremkom ved anvendelsen af skønnede nationale tendenser. I en virkning, der afgrænses på denne måde, er der imidlertid både iblandet resultaterne af det program, der er under evaluering, resultater af andre nationale og europæiske politiske aktioner og resultater af regionalpolitikkens tidligere forløb. Endvidere omfatter de undersøgelser, Eurostat gennemførte i 1997, data vedrørende indikatorer, hvoraf de seneste er fra 1993, hvilket i høj grad relativiserer værdien af undersøgelsernes konklusioner. 11. QUEST II-modellen forsøger at analysere medlemsstaternes økonomi og deres samspil med resten af verden; især De Forenede Stater og Japan. Modellen undersøger nærmere bestemt udbredelsen af den økonomiske politiks virkninger på nationalt og internationalt plan. Modellen var oprindeligt tænkt som et fremskrivningsredskab og ikke til brug ved udarbejdelsen af overslag. QUEST II-modellen inddrager i højere grad end sin forgænger virkningerne for udbudet og tager mere hensyn til samspillet opgjort i beholdninger. Følgevirkningerne opgjort som en ændret adfærd fra de økonomiske enheders side medregnes imidlertid kun i ringe eller utilstrækkelig grad i QUEST II. Tabel III. 1 De makroøkonometriske modellers grundlæggende karakteristika Forfattere Model Land eller region Virkninger for efterspørgslen Bæredygtighed Lønninger Produktivitet Virkninger for udbudet Bradley m. fl. (1994) HERMIN Irland og Portugal — Traditionel Keynes mo- Honohan (red. ) (1997) HERMIN Irland del: investeringsefter- spørgslen stimulerer den samlede efterspørgsel — Arbejdsmarkederne er ikke automatisk i lige- vægt — Kapaciteten i økonomien udnyttes ikke fuldt ud — Den monetære sektor og valutakurserne er ikke taget med i modellen — Ledigheden øget, Phillips- kurven sammenkæder be- skæftigelse, lønninger og inflation — Den inflationistiske virk- ning af en øget efterspørg- sel er begrænset — Stigende lønninger bevirker tilstrømning af arbejdskraft til Irland — Investering i menneskelig kapital har ingen virkning for lønniveauet — EFSR-relaterede investerin- ger øger den samlede sek- torspecifikke faktorproduk- tivitet i Irland — Ingen virkning for produk- tiviteten af private investe- ringer og visse infrastrukturudgifter i Por- tugal — Der kan sættes spørgsmåls- tegn ved opstillingen af modeller for produktivitets- effekten, især hvad angår menneskelig kapital — Virkningerne for produkti- vitets kan medføre en ned- gang i beskæftigelsen Herce og Sosvilla- Rivero (1994) HERMIN Spanien Se modellen for Irland, men ingen migration af arbejdskraft Se modellen for Irland Se modellen for Irland, dog så- ledes at: — Investering i menneskelig kapital øger arbejdsproduk- tiviteten i stedet for den samlede produktivitetsfak- tor — Støtte til private investerin- ger reducerer brugernes ka- pitalomkostninger Betalingsbalance: — Virkningerne for efter- spørgslen øger importen — Virkningerne for produkti- viteten forbedrer eksporten og tiltrækker udenlandske, direkte investeringer i Ir- land — En eksogen valutakurs mu- liggør ikke en komplet vurdering af betalingsba- lancen Offentlige finanser — En begrænset modelopstil- ling af den offentlige sek- tor — Den offentlige låntagning øges som følge af EFSR — Simulering med en uænd- ret offentlig låntagning overvejes Se modellen for Irland, dog således at der ikke er nogen sammenhæng mellem virknin- gerne for produktiviteten og de udenlandske direkte inve- steringer. 1 6 1 1 9 8. D A D e E u r o p æ i s k e F æ l l e s s k a b e r s T i d e n d e C 3 4 7 / 3 5 Forfattere Model Land eller region Virkninger for efterspørgslen Bæredygtighed Lønninger Produktivitet Virkninger for udbudet Christodoulakis Kalyvitis (1995) HERMIN Grækenland — Se modellen for Spanien — Der opstilles model for vekselkursen Se modellerne for Irland Sema Group (1997) HELM Hainaut Ingen virkning for løn- og prisniveau — Keynes-/Kaldor-model — Investeringsefterspørgslen stimulerer den samlede efterspørgsel — Der opstilles en model for efterspørgslen efter arbejdskraft — Der opstilles ingen model for forsyningen af ar- bejdskraft og ledighed — Der opstilles ingen model for import fra andre re- gioner Se modellen for Spanien, dog således at: — Den nominelle valutakurs tilpasser sig, således at der opretholdes en konstant faktisk vekselkurs — Den finanspolitiske styring antages at stabilisere den offentlige gæld Ingen vurdering af følgerne for den offentlige gæld eller for betalingsbalancen Se modellen for Spanien og Ir- land, dog således at: — Investeringer i menneskelig kapital formindsker en- hedsprisen på arbejdskraft — Støtte til private investerin- ger har ikke nogen virknin- ger for produktiviteten — Investeringer i »blød in- frastruktur« øger beskæfti- gelsen inden for den offent- lige sektor — EFSR-relaterede program- mer øger primært arbejdskraftfaktorproduk- tiviteten inden for fremstil- lingssektoren — I forbindelse med rapporte- ringen af resultaterne sond- res der ikke mellem ud- buds- og virkninger for ef- terspørgslen C 3 4 7 3 6 / D A D e E u r o p æ i s k e F æ l l e s s k a b e r s T i d e n d e 1 6. 1 1. 9 8 De grundlæggende karakteristika for modeller til beregning af den generelle ligevægt og input-output-modellen Tabel III. 2 Virkning for udbudet Løn Produktivitet Bæredygtighed — Lønningerne tilpas- ses med henblik på at skabe ligevægt på arbejdsmarkedet Produktivitetseffekt, fordi den offentlige, menneskelige og private kapital arbejder — Intertemporal velfærds- maksimering sikrer en dynamisk optimal løs- ning Forfattere Model Land eller region Virkning for efterspørgslen Pereira (1991) Optimal vækstmo- del (OGM) Portugal Pereira (1995) Portugal, Grækenland, Irland og Spanien — Ingen Keynes-efterspørgselseffekt — Alle faktormarkeder befinder sig i ligevægt — Økonomien udnytter hele kapa- citeten Lolos og Zonzilas (1992) Bourguignon, Branson og de Melo-model (BBM) Grækenland — Keynes-efterspørgselseffekt — Ligevægt mellem udbud og efter- spørgsel på arbejdsmarkedet i nogle sektorer og ikke i andre — Faste og fleksible valutakurser overvejes — Lønningerne tilpas- ses med henblik på at skabe ligevægt på arbejdsmarkedet in- den for bestemte sektorer — Ledigheden øgede Phillipskurven i de øvrige sektorer — Sektorspecifik model for offentlige og pri- vate anlægsinveste- ringer øger den samlede faktorpro- duktivitet på en tvivlsom måde — Investering i menne- skelig kapital øger tilgangen af faglært arbejdskraft og be- skæftigelsen inden for den offentlige sektor Beutel (1995, 1996, 1997) Dynamisk input- output (DIO) Grækenland, Portugal og Spanien Keynes-efterspørgselseffekt Ingen indvirkning på lønniveauet Ingen virkninger for produktiviteten. 1 6 1 1 9 8. D A D e E u r o p æ i s k e F æ l l e s s k a b e r s T i d e n d e C 3 4 7 / 3 7 — Hensynet til betalings- balance og begrænsnin- ger, hvad angår de of- fentlige finanser, er sik- ret — Ingen begrænsninger, hvad angår offentlig låntagning — Foranstaltninger i for- bindelse med indkomst- uligheder overvejes Ingen modelopstilling af betalingsbalancen og af be- grænsningerne med hensyn til de offentlige finanser Tabel III. 3 Modelopstilling af EFSR-programmernes karakteristika Forfattere EFSR-program Sektorrettet fokusering Instrumenter Medfinansiering og additionalitet Start- og slutnode Bradley m. fl. (1994) 1994-1999 Honohan (red. ) (1997) Herce og Sosvilla-Rivero (1994) [HERMIN] — 4 sektorer: handelssekto- ren, ikke-handelssektoren, den offentlige sektor og landbrugssektoren — Handelssektoren er en nøglesektor for virknin- gerne for udbudet — Ikke-handelssektoren og den offentlige sektor er nøglesektorer for virknin- gerne for efterspørgslen — Fysiske (offentlige) infrastrukturin- vesteringer — Investeringer i menneskelig kapital — Investeringer i og produktionsstøtte til den private sektor — Nogle undersøgelser sammenligner fuld national medfinansiering med ingen eller delvis national medfi- nansiering — Prognoser for 1991-2020 undtagen Honohan (1993-2010) — Scenarier for hard and soft landings overvejes Christodoulakis og Kalyvitis [HERMIN] 1994-1999 Samme som tidligere undersø- gelser — Hård infrastruktur — Blød infrastruktur — Simuleringer antager, at planlagte medfinansieringssatser er realiseret — Prognoser for 1991-2010 — Scenario for hard landing — Støtte til erhvervsinvesteringer — Uddannelse Sema Group [HELM] 1994-1999 — 6 sektorer: landbrug, in- dustri, energi, byggeri, forretningsservice, ikke- forretningsservice — Offentlige og private anlægsinveste- ringer — Investeringer i menneskelig kapital — Investeringer i kapital til F&U Lolos og Zonzilos [BBM] 1989-1993 9 sektorer: landbrug, energi og mineindustri, fødevarein- dustri, let industri, halvfabri- kata, byggeri, handel, trans- port- og telekommunikations- tjenester, andre tjenester (her- under offentlige tjenester) — Offentlige investeringer i udvalgte sektorer — Investeringer i menneskelig kapital øger den offentlige beskæftigelse, antallet af faglærte og genererer overførsler til husholdningerne — Støtte til private virksomheder — Prognoser for 1994-2005 — Scenario, hvor EU-støtten og regio- nalstøtten for perioden 1989-1993 opretholdes efter periodens udløb — Scenario, hvor supplerende EU- støtte + national medfinansiering for perioden 1994-1999 tilføjes — Scenario, hvor der ikke ydes nogen EU-støtte i perioden 1989-1999 Ingen drøftelser omkring additionali- tet, som formentlig automatisk inkor- poreres i modellen — Prognoser for 1988-1995 — Hard landing C 3 4 7 3 8 / D A D e E u r o p æ i s k e F æ l l e s s k a b e r s T i d e n d e 1 6. 1 1. 9 8 Forfattere EFSR-program Sektorrettet fokusering Instrumenter Medfinansiering og additionalitet Start- og slutnode Beutel [DIO] 1989-1999 25 sektorer baseret på input/ output-tabeller FIDIMI (1991) 1989-1993 16 sektorer baseret på input/ output-tabeller — Sektorrettet modelopstilling af of- fentlige og private anlægsinveste- ringer og investeringer i menneske- lig kapital — Investeringer i uddannelse påvirker lønningerne Additionalitet inkorporeres automatisk i modellen — Prognoser for 1989-1994 — Sektorrettet modelopstilling af — Additionalitet er en central del af — Kun samlede virkninger EFSR-programmer undersøgelsen — Scenarierne er indbyrdes forskel- lige, hvad angår størrelsen af de finansielle midler, der ville blive investeret i Syditalien med og uden EFSR-programmer rapporteres uden en årlig opsplitning — Ingen drøftelse af hard and soft landing scenarier Pereira (1991) [OGM] 1989-1993 2 sektorer: handels- og ikke- handelssektorer — Investeringer i offentlige infrastruk- — Obligatoriske krav om medfinan- — Prognoser for 1990-2006 turer siering — Investeringer i menneskelig kapital — Støtte til private investeringer — Modellerne giver mulighed for en vurdering af, om additionaliteten vil blive imødekommet — Soft and hard landing sce- narier overvejes Pereira (1995) [OGM] 1994-1999 og sammenligning med 1989-1993 Se foregående model Se foregående model — Obligatoriske krav om medfinan- — Prognoser for 1993-2007 — Scenario for hard landing siering — Simuleringer sammenligner tilfælde af: i. ikke-additionalitet ii. officiel definition og iii. intertemporal definition af additionalitet. 1 6 1 1 9 8. D A D e E u r o p æ i s k e F æ l l e s s k a b e r s T i d e n d e C 3 4 7 / 3 9 C 347/40 DA De Europæiske Fællesskabers Tidende 16. 11. 98 KOMMISSIONENS SVAR I GENERELLE BEMÆRKNINGER Kommissionens erkender, at evalueringsprocessen, som for mange parter er noget nyt, stadig er ufuldstændig med hensyn til indhold og anvendelse, men den skal dog understrege, at der i løbet af kun få år er gjort bemærkel- sesværdige fremskridt. Kommissionen er bevidst om de vanskeligheder, der sta- dig skal overvindes, og den har for at nå frem til en så tilfredsstillende situation som muligt mangedoblet sin indsats på det organisatoriske plan og med hensyn til metode, og den fører en konstant dialog med alle de parter i EU, som gennemfører undersøgelser og forskning på området. Evalueringen af strukturfondenes anvendelse har udviklet sig gennem tre store etaper, som er knyttet til de tre programmeringsperioder: Perioden 1989–1993: Forordningerne om den 1. reform af strukturfondene blev først vedtaget af Rådet i december 1988. De nationale planer, som blev forelagt i begyndelsen af 1989, afspej- lede kun delvis behovene med hensyn til strategier, valg af målsætning og overblik over den forventede virkning. Siden har man ved den efterfølgende evaluering søgt at afbøde disse mangler ved at sammenligne de opnåede resultater med de genopstillede målsætninger. Dette bety- delige arbejde har sine naturlige grænser, som fremgår af rapporterne om foranstaltningerne i mål 1 og 2-områ- derne. Arbejdet er imidlertid det første forsøg på en sammenhængende analyse af virkningen af reformen af den økonomiske og sociale samhørighed. Perioden 1994–1999: Efter anmodning fra en række medlemsstater og Kommis- sionen blev der efter disse første erfaringer foretaget en styrkelse af bestemmelserne om kontrol og evaluering, med fastsættelse af de tre faser: en forudgående, mellem- liggende og efterfølgende evaluering. Der er ingen tvivl om, at midtvejsevalueringen har været en succes. Man er endog gået ud over, hvad der kræves i kraft af forordnin- gerne, og midtvejsevalueringerne er for første gang blevet organiseret af hver enkelt overvågningsudvalg, således at vurderingsmænd og de evaluerede er blevet bragt sam- men. De udarbejdede rapporter er blevet forelagt og drøftet i de enkelte udvalg, hvilket har haft et både pædagogisk og operationelt formål — en opgave, som ikke kunne være løftet af Kommissionen alene. Der kan være uoverensstemmelser med hensyn til de anvendte metoder, valg af vurderingsmænd, omkostnin- gerne ved arbejdet, omfanget af detaljer i resultaterne, selv om koordineringen var foretaget af Kommissionens enhed for koordinering og evaluering af tjenestegrenene og deres nationale modparter i den tekniske evaluerings- gruppe. Men på trods af en række forskelle med hensyn til, hvilken manøvremargen de enkelte medlemsstater har i relation til nærhedsprincippet, mener Kommissionen, at denne fremgangsmåde har spillet en væsentlig rolle for etableringen af en egentlig evalueringskultur. Det er såle- des blevet påvist over for modtagerne, at de rådede over et operationelt værktøj til bedre at forvalte de foranstalt- ninger, der blev finansieret af både nationale midler og EU-midler. De fremtidige evalueringer har alt at vinde ved at fastholde denne strategi, eftersom kvaliteten af deres konklusioner afhænger af både kvaliteten af de informationer, der opnås og formidles af projektforval- terne, og af de uafhængige vurderingsmænds ekspertise. Perioden 2000–2006: De nye forordningsforslag tager bl. a. sigte på yderligere at nedbringe antallet af faktorer, som begrænser række- vidden af evalueringen, idet hovedformålet er at øge effektiviteten i forbindelse med anvendelsen af struktur- fondene. Derfor foreslås bl. a. : — medtagelse af forudgående evaluering i de planer, som medlemsstaterne skal indgive, med en præcis angivelse af, hvilke målsætninger der søges nået — medtagelse af resultaterne af de evalueringer — både tematiske og specifikke — der allerede er gennemført for de enkelte programmer for den foregående periode — etablering af en snæver forbindelse mellem ompro- grammering midtvejs og konklusionerne af de mellem- liggende evalueringer. For at sikre større effektivitet i forbindelse med anvendel- sen af midlerne fra strukturfondene har Kommissionen foreslået, at 10 % af midlerne skal tildeles midtvejs afhængigt af de opnåede resultater, idet kriterierne for gennemførelse er tæt knyttet til kvaliteten af programme- 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/41 ringen, af overvågningen, af den forudgående evaluering og af midtvejsevalueringen. II SPECIFIKKE BEMÆRKNINGER Når det gælder det specifikt metodiske, har Kommissio- nen til hensigt til efteråret at offentliggøre det samlede arbejde, der er udført inden for rammerne af MEANS (1), hvilket vil gøre det muligt at sikre en større harmonise- ring af evalueringsindsatsen inden for EU. Dette skulle omfatte: — en præcis beskrivelse af specifikationer og metoder for en forudgående, mellemliggende og efterfølgende evaluering — en redegørelse for de forskellige beskrevne metoder til evaluering og af betingelserne for deres anvendelse — analyse af indikatorsystemer efter aktionsområde. Harmonisering af koncepter og vejledende liste over indikatorer — metoder til tematiske evalueringer og planlægningen af disse — flersproget glossar over de vigtigste evalueringsbegre- ber — en redegørelse for de mest nyskabende forsøg på nationalt plan eller EU-plan. De følgende bemærkninger viser, at Kommissionen i en række tilfælde deler Rettens opfattelse. Men det er nød- vendigt altid at tage hensyn til de vanskeligheder og begrænsninger, der vil være forbundet med enhver eva- luering, også selv om disse gradvis overvindes. Under alle omstændigheder må det ikke glemmes, at evaluering først og fremmest er et teknisk redskab til beslutningstagning eller forvaltning, og at det ikke er hensigten, at den skal erstatte de politiske beslutningsta- gere. Den har til formål at belyse — og dette vil altid være delvist — følgerne af de valg, der skal træffes, eller som er truffet. Den bør desuden indebære en vis fleksibi- litet med hensyn til de anvendte metoder, for at kunne tage højde for, at omstændighederne altid er forskellige fra den ene evaluering til den anden. Endelig skal Kommissionen minde om, at siden reformen af strukturfondene i 1988 er de nationale forvaltningers og Kommissionens gensidige ansvar med hensyn til for- valtningen af fondene, og især med hensyn til evaluering, i stigende grad blevet præciseret. Således pålægges med- lemsstaterne i stadig højere grad at påtage sig hovedan- svaret og at gennemføres deres egen evaluering. (1) Flerårigt program for analyser og forslag til evalueringsmeto- der. 2. REVISIONENS OMFANG 2. 3. Retten har ikke i sin revision medtaget lande som Tyskland og Det Forenede Kongerige, idet disse medlems- stater har haft en meget forskelligartet holdning til eva- lueringen. 3. SAMMENDRAG AF DE VIGTIGSTE BEMÆRKNINGER 3. 2. Kommissionen mener, at de tilfælde af evaluering, hvor den ikke råder over de budgetmæssige oplysninger, er marginale med hensyn til omkostningernes omfang. Da midtvejsevalueringen er godt i gang og gennemføres decentraliseret, er de udgifter, der anvendes hertil, i stærk udvikling. Omkostningerne til evalueringen opdeles efter land, mål og aktionstype. Der offentliggøres også oplys- ninger i Kommissionens årlige status over evalueringen. Kommissionen vil fortsætte sin indsats for at opnå en systematisk angivelse af, hvilke beløb der anvendes til evaluering af de beløb, der tildeles til teknisk bistand, og som forvaltes af partnerskabet. 3. 3 Forordningerne og nærhedsprincippet giver ikke Kommissionen kompetence til præcist at afgrænse evalue- ringsmetoder og indikatorer. Med henblik på at opnå en udvikling i fremgangsmåderne på nationalt plan og at forbedre evalueringens kvalitet har Kommissionen: — oprettet programmet MEANS og udsendt otte bro- churer, som omhandler metodespørgsmål — organiseret tre europæiske konferencer om evalue- ringsteknik og -praksis — udsendt dokumenter som f. eks. referencerammerne for forudgående evaluering og en guide i evaluering af store projekter — etableret tekniske evalueringsgrupper med deltagelse af medlemsstaterne samt arrangeret en række semina- rer. 3. 5. Der er en objektiv vanskelighed med at sikre en forbindelse mellem den efterfølgende evaluering og de forskellige programmeringsfaser for strukturforanstaltnin- gerne. Der bør foretages en egentlig efterfølgende evalue- ring 2–3 år efter afslutningen af programmeringen. C 347/42 DA De Europæiske Fællesskabers Tidende 16. 11. 98 For at løse dette problem har Kommissionen tilskyndet til, at der gennemføres midtvejsevalueringer og tematiske evalueringer. Således har en række tematiske evalueringer, som blev gennemført i 1992 og 1993, gjort det muligt at opnå oplysninger, der kunne anvendes som grundlag for programmeringen for 1994–1999. Midtvejsevalueringerne vil være til rådighed ved forbere- delsen af programmeringen efter år 2000, for de er allerede gennemført, og der udarbejdes i øjeblikket eva- lueringsoversigter for hvert enkelt mål, hvilket betyder en uddybning og en ajourføring af midtvejsevalueringerne. Kommissionen har desuden indført denne mekanisme i forslagene til ændring af forordningerne. 3. 6. Det er nødvendigt at sondre mellem evalueringernes objektivitet og oplysningernes tilstrækkelighed og kvali- tet. Spørgsmålet om oplysningerne fremhæves ofte i for- bindelse med evalueringen. Det er få rapporter, der ikke understreger dette problem. Der kan dog konstateres en betydelig forbedring af situationen med hensyn til oplys- ninger, bl. a. takket være kravene i forbindelse med evalueringen. Kommissionen er ikke tilfreds med situationen med hen- syn til oplysninger, men dette skal ikke ses som en kritik af evalueringen, men af kontrolsystemerne. Kommissio- nen understreger, at problemet vedrørende relevansen af oplysningerne med hensyn til overvågning og af indikato- rerne er et spørgsmål, der hovedsagelig henhører under revisionen af overvågningen. Kommissionen fortsætter sin indsats for at forbedre situa- tionen, og den vil efterkomme Rettens bemærkning om en mere systematisk evaluering af oplysningernes pålide- lighed. Aktiviteterne i forbindelse med revision og kontrol vil ligeledes gøre det muligt at forbedre den situation, der er konstateret »i marken« i de seneste år. 3. 7. De berørte tjenestegrene overholder de procedurer for tildeling af kontrakter, som er fastlagt i de relevante direktiver, samt den procedure, der er fastsat af Det Rådgivende Udvalg for Indkøb og Kontrakter. Det er imidlertid ikke muligt at forhandle om mandatet, inden kontrakten underskrives. Dette nødvendiggør undertiden nogle yderligere oplysninger, som forstyrrer tidsplanerne, men problemet er dog marginalt. rammer kan nogle rapporter i e´t land være udmærkede, medens de i andre tilfælde er utilstrækkelige. 3. 8. Kommissionen deler Rettens synspunkt vedrørende de vanskeligheder, der har været i forbindelse med de første evalueringer, som har fundet sted i de ikke særlig entusiastiske medlemsstater. De efterfølgende evalueringer af Mål 1 og 2 blev foreta- get af konsulentvirksomheder med internationalt ry og af eksperter på højt niveau og på grundlag af en fælles metodologi. Anden del af punkt 3. 7 bekræfter, at den anvendte fremgangsmåde er berettiget, på trods af van- skelighederne. Rettens kritik vedrører de evalueringer, der er foretaget i 1993–1994, men siden er der på Kommis- sionens initiativ udført meget arbejde med henblik på udvikling af metoder. Rettens kritik af den efterfølgende evaluering af mål nr. 2 er ligeledes delvis berettiget. Der bør dog bevares en mere pragmatisk indstilling med hensyn til muligheden af at foretage en præcis kvantitativ måling af virkningen eller af værditilførslen på EU-plan. 3. 9. Midtvejsevalueringen har vedrørt en analyse af foranstaltningernes resultater. Evalueringen af virknin- gerne vil snarere blive foretaget i forbindelse med evalue- ringsoversigterne og de efterfølgende evalueringer. Disse evalueringer involverer imidlertid ikke altid anvendelse af økonometriske modeller — som ofte er meget kostbare — og ikke altid den bedste metode til at måle virknin- gerne. Evalueringen er et støtteinstrument for forvaltningen, og den er derfor kun et hjælpemiddel i beslutningsproces- sen. 3. 10. Kommissionen har konstateret, at opdelingen af mål nr. 2 i to programmeringsperioder ikke på tilfreds- stillende vis modsvarer de pågældende områders behov og komplicerer gennemførelsen af programmerne. Kom- missionens forslag fra marts 1998 til en reform af struk- turfondene omfatter en enkelt programmeringsfase for mål nr. 2, som tilfældet er med de øvrige mål. 3. 11. –3. 12. For at undgå, at der bliver et for stort og uhåndterligt antal evalueringer af programmer og under- programmer, kan det undertiden være nødvendigt med en mere selektiv fremgangsmåde inden for visse nøgleområ- der. I øvrigt kan Kommissionens tjenestegrene ikke alene gøres ansvarlige for dette problem. Både konsulenternes kompetence og kvaliteten af de oplysninger, der er til rådighed, kan være årsagen til svaghederne ved visse evalueringsrapporter. På grundlag af samme reference- Kommissionen deler Rettens opfattelse af, at det er nødvendigt at begrænse antallet af foranstaltninger og underprogrammer, ja endog antallet af programmer. Kommissionen har i øvrigt stillet konkrete forslag i denne retning i forbindelse med reformen af fondene. 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/43 4. GENERELLE PROBLEMER Indledning 4. 1. Kommissionen har gentagne gange beklaget, at visse medlemsstater ikke i tilstrækkelig grad har kvantificeret deres målsætninger. Den omstændighed, at de nationale offentlige udgifter ikke forvaltes efter målsætninger, hind- rer udviklingen af forvaltningssystemer baseret på indika- torer. Derfor er det ikke så meget et spørgsmål om mangler ved de metodologiske og analytiske rammer, men snarere et problem i forbindelse med programud- formning og udvikling af de nationale statistikker. 4. 3. Kommissionen skal minde om: — at den allerede i 1994 fremsendte sine »fælles retningslinjer« til medlemsstaterne om opfølg- ning og mellemliggende evalueringer — at den i december 1994 forelagde den tekniske evalueringsgruppe (bestående af medlemsstater- nes evalueringsansvarlige) et rammedokument om formålet med, indholdet af og fremgangs- måden for gennemførelse af midtvejsevaluerin- ger. Dette første samråd blev efterfulgt af fire andre møder i samme gruppe — i 1995 udsendte Kommissionen et MEANS- dokument til de forskellige forvaltninger om organisering af midtvejsevaluering i forbindelse med partnerskab, hvoraf de tre ud af fem kapitler omhandler udarbejdelse af specifikatio- ner og udbudsmateriale og udvælgelse af vur- deringsmænd samt forvaltning af evaluerings- kontrol — i 1996 og inden modtagelsen af de første eva- lueringer fremsendte Kommissionen et MEANS- dokument til forvaltningerne om vurdering af evalueringsrapporternes kvalitet med en detalje- ret tidsplan. 4. 5. Der skal dog mindes om, at visse evalueringer er foretaget inden for rammerne af partnerskabet, selv i perioden 1989–1993. Således har medlemsstaterne og overvågningsudvalgene deltaget aktivt i flere evalueringer, der er iværksat af Kommissionen — både tematiske og efterfølgende evalueringer. 4. 10. Retten bemærker de ret beskedne beløb, der er gået til evaluering af mål nr. 1 og 2 i løbet af den første evalueringsperiode. Da næsten ingen af medlemsstaterne har foretaget evalue- ring tog Kommissionen selv initiativ til en første evalue- ring af samtlige fællesskabsstøtterammer vedrørende mål nr. 1 og af 15 enkelt programmeringsdokumenter vedrø- rende mål 2 i begyndelsen af perioden. Ud over de tematiske evalueringer, som også vedrører perioden 1989–93 har Kommissionen gennemført en efterfølgende evaluering af samtlige fællesskabsstøtterammer og pro- grammeringsdokumenter vedrørende mål nr. 1 og 2 for perioden 1989–93. 4. 11. Spørgsmålet om kendskab til udgiften er omtalt under punkt 3. 2. De eneste evalueringer, som eventuelt ikke skal medtages i den finansielle oversigt over evalue- ringer, som udfærdiges af Kommissionen, er det lille antal, der udelukkende iværksættes af medlemsstaten og finansieres via den tekniske bistand. De involverede beløb er marginale i forhold til alt det øvrige arbejde. Referenceramme 4. 12. –4. 13. MEANS-dokumenterne er udformet som pædagogiske redskaber til hjælp for de forvaltninger, som er i gang med at udvikle deres tekniske ekspertise. Kommissionen har betragtet det som en prioritet at hæve det gennemsnitlige niveau for evalueringen og ikke de allerede specialiserede eksperters niveau. Statistisk grundlag og informationer om de opstillede målsætninger 4. 14. –4. 15. Kommissionen deler Rettens synspunkt. Indikatorer 4. 16. –4. 21. Retten påskønner Kommissionens bestræbel- ser på at få udviklet indikatorerne. Således blev reglerne strammet i 1993, og der blev iværksat et samarbejde med hver enkelt medlemsstat for at få kvantificeret forskel- lene. Spørgsmålet om kvantificering af mål har været en prioritet i forbindelse med den forudgående evaluering, og der er gjort fremskridt — foranstaltninger mellem 1994 og 1999 er klart bedre kvantificeret end tilfældet var med de foregående. Den første opgave i forbindelse med de mellemliggende evalueringer har været at forbedre indikatorerne og deres effektivitet. Kommissionen understreger, at problemet ikke er blot at udvide eller at nedbringe antallet af indikatorer, men snarere de vanskeligheder, kontrolsystemerne har med regelmæssigt at kvantificere de vedtagne indikatorer, som allerede eksisterer for programmerne. Der er heller ikke tale om manglende sammenhæng i programmeringen, for i henhold til nærhedsprincippet har de regionale og lokale myndigheder ret til at foretage deres egne prioriteringer og fastslå programmeringens omfang på nationalt plan. C 347/44 DA De Europæiske Fællesskabers Tidende 16. 11. 98 Der gøres imidlertid fremskridt på grund af det pres, der udøves, og de krav, der stilles i kraft af evalueringen. Evalueringernes objektivitet Da Kommissionen ikke mener, at det er tilstrækkeligt med blot en metodologisk ramme, har den til hensigt at træffe mere vidtgående initiativer i forbindelse med refor- men af fondene. Hensyntagen til evalueringen 4. 23. Kommissionen er enig i, at den dobbelte program- meringsfase ikke har gjort det nemmere at koordinere evaluering og programmering, og af denne og andre årsager har den foreslået, at der for fremtiden kun er en enkelt programmeringsperiode. Ikke desto mindre har programmeringen for 1997–99 været støttet af en efter- følgende evaluering af perioden 1989–1993 og af en forudgående vurdering af de enkelte programmeringsdo- kumenter, som var iværksat af Kommissionen, og som vedrørte anliggender henhørende under Kommissionens kompetence og EU’s prioriteter. Hvad angår den efterfølgende evaluering af perioden 1994–96, mener Kommissionen, at de evalueringer, der er gennemført i forbindelse med omprogrammeringen og de tematiske evalueringer af SMV’er og F & U, tegner sig for en stor del af området. Kommissionen har i øjeblikket drøftelser med medlemsstaterne om lancering af en eva- lueringsoversigt i anden halvdel af 1998, som skal dække perioden siden 1994. Denne oversigt skulle anvendes ved den fremtidige evaluering. 4. 24. –4. 27. Kommissionen er i færd med at udarbejde en rapport, der for hvert enkelt land beskriver evaluerin- gens kvalitet og dens bidrag til ændring af foranstaltnin- gerne. Der vil blive udarbejdet et resume´ af nøglepunk- terne i midtvejsevalueringen. De oplysninger, Kommissio- nen råder over, bekræfter ikke Rettens bemærkninger, som dækker meget forskellige situationer og hundredvis af programmer. Kommissionen vil udarbejde en oversigt i forbindelse med forelæggelsen af rapporten om midtvejsevalueringen. Ret- tens holdning forekommer at være forhastet. Kommissionen minder ligeledes om, at evalueringerne er nyttige, ikke blot for projektforvalterne, men også med henblik på redegørelsen over for budgetmyndigheden, specielt Parlamentet, og over for borgerne. 4. 28. –4. 30. Under disse punkter synes Retten ikke at tage tilstrækkelig hensyn til de komplicerede forhold i forbindelse med partnerskabsordningen på trods af de positive kommentarer under punkt 6. 5. –6. 7. Spørgsmålet om evalueringernes objektivitet og uafhæn- gighed er mere vidtgående end spørgsmålet om, hvorvidt der eksisterer en præcis referenceramme for anvendelse af metoder og for kontrol af data på stedet. Evalueringens kvalitet afhænger mere af professionalisme, faglig etik og hensynet til medlemsstaternes interesser. Retten nævner ikke, at tre af de otte kriterier i MEANS- brochure nr. 5 om vurdering af evalueringskvalitet udtrykkelig refererer til metodens egnethed, oplysninger- nes pålidelighed og resultaternes troværdighed. Kommissionen bestræber sig til stadighed på at opnå forbedringer af normer og krav, samtidig med at der tages hensyn til de reelle forhold på stedet. Kommissio- nen vil i højere grad rette sin opmærksomhed mod, hvordan evalueringssystemerne fungerer på stedet. Evalueringskontrakter indgået af Kommissionen 4. 31. –4. 32. Kommissionen anvender de normer og pro- cedurer for kontrakttildeling, som er fastlagt af Det Rådgivende Udvalg for Indkøb og Kontrakter. Udvælgel- sen af eksperter sker således på grundlag af de udvælgel- seskriterier og tildelingskriterier, der er offentliggjort i EFT. Anvendelsen af de pågældende procedurer og resul- taterne deraf indgår i den rapport, der forelægges Det Rådgivende Udvalg for Indkøb og Kontrakter. Hvad angår graden af præcision i kontrakterne, bør der tages hensyn til, at Kommissionen køber en ekspertise, og at det er i dens interesse, at kontrakterne udformes, så de gør det muligt for eksperterne fuldt ud at udnytte deres kundskaber på det pågældende område. 4. 33. Den metode, der er anvendt i forbindelse med M1, er ikke egnet for M2, som omfatter 60 programmer. En sådan metode ville, på grund af det involverede beløb og antallet af evalueringshold, føre til en opsplitning af udbuddet, som ville være i modstrid med ånd og bogstav i direktivet om procedurerne for tildeling af offentlige kontrakter. Kommissionen har i disse tilfælde overholdt reglerne, og den har været omhyggelig med ikke at miste kontrollen 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/45 over de praktiske foranstaltninger til gennemførelse af evalueringen. I denne forbindelse blev der oprettet en styregruppe, som skulle følge evalueringen, og der blev regelmæssigt afholdt møder med evalueringsholdene. Rapporterne blev derefter kontrolleret sammen med de forvaltende tjenester. 4. 34. De nærmere specifikationer afhænger af ordregive- rens behov og krav. Ordregiveren laver et udkast til dem, og evalueringsenheden foretager kontrol. Kontraktbetin- gelserne, undtagen beskrivelsen af det arbejde, der skal udføres, standardiseres af Det Rådgivende Udvalg for Indkøb og Kontrakter. Som allerede nævnt er der ikke nogen generelt accepteret metode til evaluering af programmerne. Af denne grund og for at Kommissionen ikke skal miste kontrollen over den anvendte fremgangsmåde, drøfter den metoden, dens relevans for de stillede spørgsmål og de foreslåede teknik- kers egnethed. De generelt anvendte metoder indgår i specifikationerne, men de nærmere detaljer og teknikker fastlægges ved nærmere drøftelser. 4. 35. I dette konkrete tilfælde søgte Kommissionen i forståelse med evalueringskonsulenterne at forbedre rap- portens kvalitet ved at arrangere et møde om indholdet og oplysningerne med samtlige involverede enheder og ansatte. Den endelige rapport forelå i maj 1995 (tre måneder efter det forudsete tidspunkt); den blev godkendt efter den officielle høring i juni 1995 og betalt i juli 1995. Den rapport, som Retten bygger sin kritik på, er kun en ajourføring fra konsulentens side, som ikke indebar noget yderligere budget. Efterfølgende (1989–1993) evalueringer af EFSR-mål nr. 1 5. 4. Visse af Rettens bemærkninger om dette punkt fortjener at blive uddybet. a) Hvis oplysningerne om de regionale forskelle er »for gamle«, må kritikken gå på de officielle statistikker, og ikke på evalueringsmetoden. b) Vurderingsmændene har anvendt de udvælgelsestek- nikker, der normalt anvendes i forbindelse med eva- luering, kombineret med »case studies« for at gå nærmere i detaljer i særlige tilfælde. Hvis disse teknik- ker anvendes rigtigt, kan de give relevante oplysnin- ger. e) Retten konstaterer, at »bottom-up«-analyse ikke altid gør det muligt at drage konklusioner med hensyn til programmernes virkning. Virkningen for fællesskabs- politikkerne, for forbedring af forvaltningen, for gen- nemsigtighed mv. kan imidlertid ikke måles »top down«, og heller ikke på grundlag af økonometriske modeller. g) Retten fremfører her kritik af spørgsmål, som ikke indgik som en del af evalueringsmandatet. 5. 7. Kommissionen kan bekræfte, at de pågældende eva- lueringer er fuldt ud udnyttet i forbindelse med dens regnskabsaflæggelse over for budgetmyndigheden og i forbindelse med arbejdet omkring rapporten om den økonomiske og sociale samhørighed. 4. 36. Kommissionen understreger, at beskrivelserne er struktureret omkring tre hovedpunkter, som er klart defineret: fremgangsmådens relevans, resultaterne og effektiviteten med hensyn til output samt gennemførel- sesstrategiernes effektivitet (s. 2–4 i dokumentet). 5. 8. En af de tre målsætninger i evalueringsmandatet var ganske rigtigt at fremsætte forslag til en forbedring af overvågnings- og styresystemet. Strategiens relevans er ligeledes blevet undersøgt, og der er opstillet en resultato- versigt, som har gjort det muligt at analysere foranstalt- ningernes effektivitet. Kommissionen har under punkt 4. 12 gjort rede for sin holdning til spørgsmålet om metoder. De forskellige tjenester høres, og den styrende afdeling beslutter, om rapporten kan godkendes eller ej. Efterfølgende (1989–1993) evalueringer vedrørende mål nr. 2 5. EFTERFØLGENDE EVALUERINGER AF EFSR-MÅL nr. 1 OG 2 (1989–1993) 5. 13. En anvendelse af økonometriske modeller er ikke berettiget i alle tilfælde, enten fordi støtteniveauet ikke er særlig højt, eller fordi de nødvendige regionale statistik- ker ikke er til rådighed. Indledning 5. 1. Kommissionen deler Rettens synspunkter med hen- syn til vanskelighederne i forbindelse med disse evaluerin- ger, der vedrører udformningen af førstegenerations- programmerne. Hovedparten af vurderingerne af politikken findes i rap- porten om den økonomiske og sociale samhørighed. Kommissionen har foreslået en række tilpasninger i for- bindelse med det nye forslag til en reform af strukturfon- dene fra år 2000. C 347/46 DA De Europæiske Fællesskabers Tidende 16. 11. 98 5. 16. Kommissionen har allerede i sine forslag til de nye forordninger medtaget en række af henstillingerne i denne evaluering. 6. MIDTVEJSEVALUERINGER (1994–1999) Der anvendes »bottom-up«-metoder til evaluering af effektivitet og lønsomhed. I tilfælde med store fælles- skabsstøtterammer, hvor det har drejet sig om at fastslå konsekvenserne for den samlede virkning af en ompro- grammering, har der været anvendt økonometriske modeller i Irland, Spanien, Grækenland, Portugal og Italien. Udvikling og integrering af principperne for midtvejseva- luering 6. 22. Kommissionen har anvendt den bedste ekspertise på EU-plan og i USA til at fastslå de bedst mulige fremgangsmåder til evaluering af programmerne. 6. 1. –6. 20. Kommissionen deler Rettens synspunkter i denne del af rapporten. Den skal nedenfor uddybe en række punkter nærmere: — Vedr. punkt 6. 15: Kommissionen mener, at en kritisk vurdering af udviklingsstrategien og af projekternes målsætning og bæredygtighed enten må foretages i forbindelse med den forudgående eller den efterføl- gende evaluering. — Vedr. punkt 6. 16. : Mandatet for midtvejsevaluerin- gerne tager sigte på at tilpasse foranstaltningerne og at forbedre forvaltningen. En undersøgelse af værditil- væksten på fællesskabsplan er snarere en del af eva- lueringsoversigten eller af den efterfølgende evalue- ring. Imidlertid vil evalueringen af betydningen af Fællesskabets prioriteringer for ændringen af foran- staltningerne i mange tilfælde give værdifulde oplys- ninger om værditilvæksten på fællesskabsplan. — Vedr. punkt 6. 18: Kommissionen har i så vid udtræk- ning som muligt gennem midtvejsevalueringen forsøgt at få et billede af synergien mellem de foranstaltnin- ger, der er finansieret af de forskellige fonde, specielt i lande med separat programmering, som tilfældet er med de tyske enkelte programmeringsdokumenter for mål nr. 1. Med dette formål har vurderingsmændene for EFRU udarbejdet et resume´ af de evalueringer, der er foretaget for hver fond. Kommissionen er enig i, at den regionale evaluering, som Retten omtaler, var særlig svag, men den er ikke repræsentativ for alle de evalueringer, der er foretaget for hele landets vedkom- mende. Det er f. eks. rigtigt at anføre, at den igangvæ- rende evaluering ikke har undersøgt de ændringer i den vejledende finansieringsplan, som skyldes Bran- denburgs anmodning om at ændre dets operationelle program. Hvad angår den høje anvendelsesgrad af de omfattende bevillinger til de nævnte foranstaltninger, er de på hinanden følgende tilpasninger af foranstalt- ninger blevet foretaget af overvågningsudvalgene hen- holdsvis den 12. juni 1996 og 5. august 1996. Fremgangsmåder og metoder 6. 21. Retten kritiserer den vage formulering i kontrak- terne af målsætningerne for midtsvejsevalueringerne. Kommissionen har ganske vist givet retningslinjer, men de er i visse tilfælde ikke blevet fulgt på det decentralise- rede niveau. De objektive metodologiske problemer og de ofte utilstrækkelige kontrolsystemer begrænser sammenligne- ligheden mellem resultaterne på EU-plan. 6. 23. Normalt har midtvejsevalueringerne ikke til formål at måle programmernes virkning. Der er tale om et bevidst valg, eftersom disse virkninger ikke er målelige i foranstaltningens første fase; rækkefølgen er således først gennemførelse, derefter resultater og endelig virkninger. Spørgsmålet om evaluering af den samlede virkning af de store EF-støtterammer er omtalt under punkt 6. 21. 7. STRUKTURFONDENES VIRKNING OG EVALUERINGS- MODELLER Virkning på EFSR- og programniveau 7. 1. –7. 15. I denne del af rapporten forelægger Retten resultaterne af en række forskellige økonometriske og makroøkonomiske modeller, men uden nogen redegørelse for hverken deres art eller rækkevidde, hvilket kan for- virre begreberne. Disse oplysninger figurerer allerede i rapporten om den økonomiske og sociale samhørighed i struktureret form, med den relevante baggrundsinforma- tion. Virkning på underprogrammer, foranstaltninger og pro- jekter 7. 16. –7. 19. Retten synes at kritisere den manglende eva- luering af underprogrammer og foranstaltninger, men programevalueringen, som normalt er en »bottom-up«- evaluering, er nødvendigvis baseret på evaluering af foranstaltninger og underprogrammer. På samme måde betegner de igangværende tematiske evalueringer, som Kommissionen har iværksat, en mere specifik og horisontal vurdering af visse kategorier af foranstaltninger og/eller underprogrammer, som tilfældet også er med foranstaltningerne vedrørende små og mel- lemstore virksomheder, forskning og udvikling, miljø mv. 16. 11. 98 DA De Europæiske Fællesskabers Tidende C 347/47 8. KONKLUSION 8. 1. –8. 19. Kommissionen er af den opfattelse, at Rettens konklusioner udgør en konstruktiv kritik af spørgsmål, som Kommissionen har arbejdet med i årevis, og som den forsat vil arbejde med. fremskridt, der er gjort. De foranstaltninger, Kommissio- nen har truffet i forbindelse med strukturfondene, og som er støttet af SEM 2000-projektet, vil være med til at udvikle en hidtil uset evalueringskultur. Det er kun få regioner, der ikke har gennemført evalueringer, og som ikke er engageret i denne proces. Kommissionen erkender, at Retten har påpeget svaghe- der, men konstaterer også, at den har noteret sig de Både nærhedsprincippet og de vanskeligheder, der skyldes de uensartede geografiske og tematiske forhold, er fakto- rer, der bør tages hensyn til