title: Beretning fra Kommissionen om midtvejsrevision - Mål 1- og 6-programmer (1994-1999) - Udvikling af en forvaltningskultur gennem evaluering: mod god praksis

eurovoc_concepts:
EU programme
Structural Funds
activity report
project evaluation

text: KOMMISSIONEN FOR DE EUROPÆISKE FÆLLESSKABER •fr -ir -ir -k Bruxelles, den 07. 01. 1999 KOM( 1998) 782 endelig udg. BERETNING FRA KOMMISSIONEN OM MIDTVEJSREVISION MÅL 1- OG 6-PROGRAMMER (1994-1999) UD VIKLING AF EN FOR VAL TNINGSKUL TUR GENNEM EVALUERING: MOD GOD PRAKSIS SAMMENDRAG Midtvejsrevisionen : Forøget effektivitet 1. Midtvejsrevisionen af mål 1- og 6-programmer er en proces, som primært er baseret på de forskellige midtvejsevalueringer, der er gennemført på programniveau. Den tager også højde for andre elementer, herunder de nationale politiske sammenhænge, EU's egne prioriteter og andre relevante strategiske analyser. Hovedsigtet med midtvejsrevisionen er derfor, at der foretages en indgående og systematisk analyse af programmerne, som i givet fald resulterer i en tilpasning af de prioriterede felter og en reallokering af budgetterne for de enkelte programmer. 2. Nærværende midtvejsrevision kunne baseres på en lang række evalueringer (mere end hundrede), og arbejdet blev i vidt omfang fremmet via drøftelser med de nationale myndigheder. 3. Midtvejsrevisionen omfattede stort set alle EUSR'er og SPD'er for mål 1. Medlemsstaterne tillagde denne proces forskellig betydning. Generelt har den muliggjort en mere effektiv anvendelse af midlerne og støttet specifikke strategiske prioriteter. Midtvejsevalueringerne har været nyttige for tilpasning af programmerne 4. Midtvejsevalueringer er ikke et formål i sig selv, men et redskab til at forbedre programmeringens kvalitet og relevans. De kræver betydelige menneskelige og finansielle ressourcer samt i nogle tilfælde en omfattende forberedelse og drøftelse inden for rammerne af programpartnerskaberne. 5. Disse evalueringer blev ikke foretaget udelukkende for at efterleve EFs gældende programmeringsbestemmelser. De blev også indført på baggrund af den stigende interesse, som de nationale og regionale myndigheder viste for evalueringer. Disse myndigheder opfatter i stigende grad evaluering som et redskab til at forbedre forvaltningen af fondene og opnå de bedst mulige resultater. 6. Midtvejsevalueringer er at vigtigt redskab til vurdering af, hvilke omlægninger der ville være hensigtsmæssige til at opnå de oprindelige mål. Programmeringen af strukturinterventionerne kan påvirkes af ændrede eksterne faktorer og de generelle politiske rammebetingelser. Sådanne faktorer kan nødvendiggøre en revurdering af de strategiske prioriteringer og såleders resultere en mere systematisk og effektiv programmering. 7. Nogle af fordelene ved dette evalueringsarbejde er en bedre nytteværdi samt en revideret balance mellem prioriterteme alt efter de ændrede behov og omstændigheder. Dette bør ses som en del af en mere grundlæggende indlæringsproces, omfattende fordele, som muligvis på kort sigt ikke anerkendes i fuldt omfang såsom forøgelsen af eksisterende evalueringskapaciteter og en forbedret koordinering evaiueringskapacitet mellem nationale og regionale myndigheder. Det er relativt nemt at vurdere de opnåede resultater 8. I forhold til tidligere programmer viste midtvejsevalueringerne, at der var sket en betydelig udvikling med hensyn til anvendelsen af kvantitative indikatorer som et redskab til at overvåge interventionernes gennemførelse, vurdere deres virkning og med henblik på at fastslå, hvor langt de var nået i forhold til de fastsatte mål. Selv om udviklingen af indikatorer hidtil har været uens, viser de elementer af 'god praksis', der er påvist i visse programmer, at det er relativt ligetil at måle og vurdere de opnåede resultater, og at det ikke nødvendigvis kræver en ekstraindsats fra de nationale forvaltningers side. 9. Anvendelsen af formelle resultatindikatorer til måling af de opnåede fremskridt i forhold til hovedmålene og -prioriteterne i et program kan være af større nytte, end det hidtil har været erkendt. Dette bør resultere i en mere effektiv forvaltning, som er i stand til at sørge for håndgribelige forbedringer af de faktiske output og resultater. 10. Under forudsætning af, at medlemsstaterne vil skulle gennemføre efterfølgende evalueringer af fremtidige programmer, er det af afgørende betydning, at programmeringsdokumenterne indeholder kvantificerede mål og indikatorer, som er relevante for midtvejsrevisionsprocessen. Denne form for oplysninger kan være særdeles nyttige for forvaltningen àf programmerne og tjene som et objektivt grundlag for en vurdering af de opnåede resultater. Dette vil - som følge af Kommissionen - være bestemmende for tildelingen af resultatreserven til programmer alt efter, hvilke resultater de hver især har opnået. til strukturfondsforordninger i udkastet forslag 11 Hvad angår den operationelle ramme, vil overvågningssystemerne skulle sikre, at de relevante indikatorer kan måles inden for kort tid og med lave omkostninger på grundlag af egnede eksistereride informationskilder og er underlagt de nationale og regionale forvaltningers kontrol. Endvidere skal der på en gennemsigtig måde fastsættes realistiske mål, og de oprindelige mål skal fastholdes og kun justeres nedad i de tilfælde, hvor dette er begrundet i ændrede omstændigheder. Midtvejsevalueringen bar været tilstrækkelig fleksibel i forhold til ændringer i behovene og prioriteringen. 12. Den strategi, der danner grundlag for midtvejsrevisionen, ser i mange henseender ud til at være egnet og tilstrækkelig fleksibel til at kunne reagere på ændrede omstændigheder og behovet for at sikre, at de igangværende interventioner bliver mere effektive. Begge mål kunne forfølges inden for den samme operationelle ramme. 13. De strategiske prioriteter udformes i en bestemt økonomisk og institutionel sammenhæng, som er udsat for såvel eksterne som interne påvirkninger. Selv om kontinuitet på området er hensigtsmæssig, kan der altid foretages yderligere forbedringer, selv i forbindelse med de mest vellykkede interventioner. I hastigt voksende økonomier (f. eks. den irske økonomi) giver de økonomiske resultater mulighed af programmeringsrammen til fordel for nogle væsentlige problemer som f. eks. en mangelfuld fysisk infrastruktur eller manglende kvalifikationer. strukturelle ændringer foretages visse for, der at 14. Den midtvejsrevision, der blev gennemført i forbindelse med mål l- og 6- programmeme, påvirkede radikalt den overordnede siralegi, som programmerne var baseret på. Omfanget af justeringer af disse interventioner varierer fra der ene medlemstal og regions til den anden, ligesåvel fra den ene EUSR og SPD til den anden. Selv om SPD'erne er mindre, blev der foretaget forholdsvis større overførsler mellem disse forskellige foranstaltninger. ikke i form af støtte 15. Ved fastlæggelsen af sine egne prioriteter med hensyn til de tilpasninger, der skulle foretages som led i midtvejsrevisionen, lagde Kommissionen særlig vægt på beskæftigelsesaspektet, navnlig jobskabende interventioner. Selvom der kunne have været gjort mere for at støtte denne overordnede prioritet, er der dog fremkommet opmuntrende tegn som følge og resultaterne af midtvejsrevisionen. For eksempel har der været foretaget visse justeringer af omfattende støtteordninger til fordel for initiativer rettet mod SMV'er og beskæftigelse. Desuden er regionale og lokale beskæftigelsespagter blevet integreret i hovedprogrammerne og specifikke aktioner i forbindelse med informationssamfundet og lige muligheder for kvinder og mænd er blevet indført. flere til Mærkbare fremskridt i revisionen, men der er stadig behov for forbedringer 16. De konklusioner, der kan udledes af nærværende midtvejsrevision, viser, at der ikke blot er tale om et stykke akademisk arbejde, men at den også har et operationelt og strategisk sigte. I mange medlemsstater var programforvalterne og de politiske aktører også af denne opfattelse og stillede på grundlag af evalueringsresultaterne det spørgsmål, hvilke tilpasninger der var behov for, også for så vidt angår perioden efter de igangværende interventioner. 17. Der er gjort markante fremskridt med hensyn til midtvejsevalueringernes kvalitet og indhold og integreringen af dem i den samlede midtvejsproces. Dette vil med tiden resultere i en forbedret forvaltningskultur. Ved identificeringen af god praksis er der nævnt faktorer som processtyring (fæks. identificering af centrale anliggender, opnåelse af enighed osv. ) og en mere omhyggelig planlægning af midtvejsrevisionsprocessen. Disse vil indgå i eventuelle fremtidige retningslinjer for god praksis. 18. På baggrund af midtvejsrevisionen har nationale og regionale myndigheder taget skridt til at forbedre deres interventioners effektivitet yderligere, navnlig hvad angår deres egne forvaltningssystemer i forbindelse med strukturfondene. Overvågningssystemerne vil f. eks. blive forbedret betydeligt, især ved at højne m kvaliteten og relevansen af de indikatorer, der er fastsat i programmerne. Der gøre for øjeblikket andre forsøg på at forenkle forvaltningen af mindre programmer og fastlægge mere sammenhængende udvælgelseskriterier i overensstemmelse med programmeringsmålene. 19. Hvad angår den næste programmeringsperiode, vil det være vigtigt at konsolidere den anvendte evalueringspraksis yderligere og gøre status over de hidtil opnåede resultater. Fremme i beslutningstagningen, styrkelse af overvågnings- og indikatorsystemerne, støtte til evalueringsmetoder og fremme af den multilaterale udveksling af erfaringer i hele Den Europæiske Union - alle disse aspekter udgør i dette perspektiv betydelige udfordringer med henblik på at øge strukturinterventionernes effektivitet yderligere. evalueringen egentligt redskab som af et IV SAMMENDRAG INDLEDNING /. Centrale elementer i midtvejsrevisionsprocessen. 1. 1. Politisk sammenhæng og opståede behov 1. 2. Kommissionens retningslinjer « 1. 3. Midtvejsevalueringer. 1. 4. Finansiel gennemførelse. //. Konklusioner på baggrund af midtvejsevalueringerne 2. 1. Gennemførelse af midtvejsevalueringerne 2. 2. Vigtigste resultater 2. 3. Udnyttelse af evalueringsresultater ///. Hovedresultater og tilpasninger 3. 1. Sammenhæng mellem evaluering og omprogrammering 3. 2. Samlede reallokeringer af strukturfonde 3. 3. Integrering af EU-prioriteter IV. Politiske konsekvenser og fremtidige udfordringer. 4. 1. Konsekvenser på kort sigt for de eksisterende forvaltningssystemer 4. 2. De første overvejelser om fremtidige programmer 4. 3. Udfordringer i forbindelse med evaluering ; 3 4 4 5 5 6 6 6 11. 21 22 23 25 27 31 31 31 32 2- INDLEDNING Midtvejsrevisionen1 har til formål at sikre, at strukturinterventionerne som led i EU- støtterammerne (EUSR) og de samlede programmeringsdokumenter (SPD) gennemføres mere effektivt. Dette er navnlig af betydning i lyset af de stramme offentlige budgetter. Disse gør det stadig mere nødvendigt, at strukturfondsmidlerne udnyttes fuldt ud, og at de enkelte strukturfondsinterventioners indhold er af høj kvalitet. Evaluering er et vigtigt redskab til virkeliggørelse af disse mål. En vigtig nyskabelse i de gældende strukturfondsforordninger er kravet om, at alle EU-programmer skal underkastes en systematisk evaluering. I forbindelse med SEM 2000-initiativet (Sound and Efficient Management) betragter Kommissionen evaluering som et vigtigt element til udbygning af den forvaltningskultur, der ligger til grund for fællesskabsprogrammerne2. Kommissionens senere politiske rammedokument Agenda 20003, som omfatter perioden 2000-2006, har slørre omkostningseffektivitet gennem en styrket overvågning, finanskontrol og evaluering inden for rammerne af en decentraliseret forvaltning. strukturinterventioner opnår sigte på, at alle taget I den foreliggende rapport sammenfattes hovedelementerne i de midtvejsrevisioner, der er gennemført analyse af midtvejsevalueringernes rolle samt af, i hvilket omfang EU's prioriteter er integreret i alle mål 1- og 6-programmer. i medlemsstaterne, foretages navnlig og der en Oplysningerne i denne rapport stammer primært fra de midtvejsevalueringer, der er gennemført af de enkelte medlemsstater. Der er gjort forsøg på at fastholde den rolle, som evalueringsprocessen spiller for gennemførelsen af den nuværende midtvejsrevision, og at finde frem til eksempler på god evalueringspraksis som rettesnor for den fremtidige programmeringsperiode. Dette afspejler en forvaltningskultur, som opstår, efterhånden som evalueringspraksis udvikles. Ved at fremhæve eksempler på god praksis bidrager denne rapport til at øge forståelsen for af, hvordan evalueringerne blev gennemført og udnyttet midtvejsrevisionerne, navnlig med hensyn til, hvordan de vil blive anvendt fremover i forbindelse med de nye strukturfondsforordninger. Der er således tale om et vist forsøgsgrundlag for foranstaltninger, der skal træffes efter 1999. som grundlag I rapporten ses der nærmere på følgende fire områder: 1. den samlede midtvej srevisionsproces 2. hovedkonklusionerne på baggrund af midtvejsevalueringerne 3. hovedresultaterne og gennemførte tilpasninger l denne rapport sondres der mellem midtvejsevaluering og midtvejsrevision. Selv om de to begreber undertiden anvendes synonymt, beskriver begrebet 'midtvejsrevision' mere præcist hele forløbet med evaluering og efterfølgende tilpasning af prioriterede felter og reallokering af programbudgetterne. En midtvejsevaluering er derimod den konkrete evaluering, som indgår i midtvejsrevisionen. SEM 2000 - Meddelelse om evaluering, 8. maj 1996. 3 Agenda 2000 - Et udvidet og styrket EU, 1997. - 3- 4. konsekvenserne udfordringer. for programforvaltningen og -prioriteterne samt fremtidige I. CENTRALE ELEMENTER I MIDTVEJSREVISIONSPROCESSEN I midtvejsrevisionsprocessen indgår fire hovedelementer: den politiske sammenhæng, Kommissionens retningslinjer, midtvejsevalueringerne og den finansielle gennemførelse af mål 1- og 6-programmer. /. /. Politisk sammenhæng og opståede behov EUSR og SPD tager primært sigte på at formindske forskellene mellem medlemsstaterne med hensyn til indkomsten pr. indbygger. Med disse interventioner tilstræbes en langsigtet ændring af strukturen og de opnåede resultater i modtagerøkonomierne. De løsning al tager udgangspunkt grundlæggende strukturproblemer, som f. eks. forskelle med hensyn til infrastruktur og menneskelige ressourcer. Dette er vigtige faktorer for regionernes konkurrenceevne og dermed også vækstmuligheder. i specifikke nationale prioriteter og strategier til De fire fattigste medlemsstater - de såkaldte samhørighedslande - har oplevet en mærkbar stigning i indkomsten pr. indbygger. Der er dog stadig forskelle mellem de europæiske regioner: I 1995 havde de 25 mest velstående regioner en indkomst pr. indbygger, der var tre gange så høj som indkomsten pr. indbygger i de mindst udviklede regioner. Forskellen er endnu mere markant med hensyn til arbejdsløsheden, hvilket navnlig rammer de socialt dårligt stillede grupper4. Økonomiske, sociale eller politiske ændringer i medlemsstaterne har påvirket deres specifikke behov og problemer og har således haft betydning for deres tilpasning af programmerne. F. eks. har de positive økonomiske resultater, som Irland i den. senere tid har opnået, ændret landets behov for visse interventionsformer, navnlig interventioner, som tager sigte på at støtte erhvervslivet. Af midtvejsevalueringen for Irland fremgik det, at den offentlige infrastruktur (f. eks. veje uden for byområder) i højere grad bør tilføres midler, hvis man skal holde trit med den hastige økonomiske vækst. Beskæftigelsens status som en EU-prioritet har ligeledes medført en række tilpasninger af programmerne, f. eks. den formelle indførelse af regionale og lokale beskæftigelsespagter. Endvidere har ændringer af de nationale beskæftigelsespolitikker, f. eks. strukturreformer indsatsen er blevet koncentreret om på arbejdsmarkedet, medvirket uddannelsesforanstaltninger. til, at Som led i strukturfondene blev der endvidere ydet støtte i forbindelse med uforudsete hændelser. F. eks. medførte jordskælvet i Umbria og Marche i Italien, at disse regioner også modtog EUSR-midler, hvilket var et eksempel på gensidig støtte mellem de italienske regioner. Jf. første beretning om den økonomiske og sociale samhørighed (1996), KOM(96) 542 endelig udg. af 6. november 1996. - 4- 1. 2. Kommissionens retningslinjer Foranlediget af de ændrede økonomiske og sociale betingelser i medlemsstaterne har Kommissionen vedtaget nogle overordnede retningslinjer5 med henblik på at styrke merværdien af fællesskabsforanstaltningerne. Formålet var at fastlægge en generel politisk ramme for de tilpasninger, der som led i midtvejsrevisionsprocessen kunne foretages af de igangværende mål 1- og 6-programmer for perioden 1994-1999. Retningslinjerne fastsætter en række prioriteter på forskellige områder og fremmer i den henseende hovedformålet med strukturfondsinterventionerne: at bidrage til at skabe betingelserne for en bæredygtig økonomisk udvikling, vækst og konkurrenceevne og dermed varige arbejdspladser. Det overordnede mål var baseret på følgende særlige prioriteter: basisinfrastruktur, erhvervslivets rammevilkår (alle former for foranstaltninger til fremme af væksten og konkurrenceevnen i erhvervslivet), forskning og teknologisk udvikling, miljø og bæredygtig udvikling, udvikling af de menneskelige ressourcer og lige muligheder. 1. 3. Midtvejsevalueringer overensstemmelse med programmernes og I Italien6) gennemført standardbestemmelser har alle medlemsstater midtvejsevalueringer til brug ved revisionen af deres strukturinterventioner. Disse evalueringer skulle bidrage til at forbedre programgennemførelsen og -forvaltningen i den resterende del af perioden. strukturfondsforordningerne (undtagen Ifølge de af Kommissionen offentliggjorte retningslinjer7 indgår der følgende elementer i en midtvejsevaluering: der foretages en kritisk analyse af de indsamlede data (navnlig data i forbindelse med overvågningen), det måles, hvorvidt de fastsatte mål er nået, og der gøres opmærksom på eventuelle problemer med hensyn til interventionens faktiske og forventede resultater. Endvidere vurderes begrundelsen for interventionen og den fortsatte relevans af de fastsatte mål. Desuden forventes det, at overvågningsudvalgene på grundlag af evalueringerne vil få de nødvendige data til at kunne foretage en vurdering og foreslå de relevante myndigheder korrektioner og justeringer, således, at der kan foretages tilpasninger af programmerne. For programmer af mere end tre års varighed foretages normalt en midtvejsevaluering ved slutningen af det tredje år. En endelig evaluering af disse programmer foretages efter tilpasningen af strukturfondsprogrammerne til udgangen af 1999* - Prioriteter for Kommissionens retningslinjer, maj 1997. Udarbejdelsen af retningslinjerne var blevet støttet af medlemsstaterne på et uformelt møde mellem ministrene med ansvar for regionaludvikling og fysisk planlægning, der blev afholdt i Ballyconnell, Irland, den 14. -15. november 1996. Medlemsstaterne anmodede formelt Kommissionen om at udarbejde retningslinjer, som er i overensstemmelse med subsidiaritetsprincippet og tager sigte på i højere grad at koncentrere de igangværende mål 1- og 6- programmer om jobskabelse i perioden indtil udgangen af 1999. frem foreløbig midtvejsevaluering Der blev gennemført (evalueringsenhed i budgetministeriet) i første halvår af 1997. en af de italienske myndigheder 7 Fælles retningslinjer for overvågning og midtvejsevalueringer (1996). - 5- referenceperiodens udløb, og der må tages højde for denne tidsramme i forbindelse med evalueringerne. 1. 4. Finansiel gennemførelse fremkommer Evalueringer går sædvanligvis ud på at vurdere virkninger og fremskridt i forhold til mål og prioriteter. De er baseret på finansielle data vedrørende programmernes gennemførelse giver og budgetgennemførelsen på EU-plan et overblik over forpligtelser og betalinger. De opnåede fremskridt er sammenfattet i næste afsnit for mål 1- og 6-programmer (jf. Bilag 2). overvågningssystemer. Endvidere relevante via de Siden 1994 har der været en kontinuerlig og regelmæssig gennemførelse af mål 1- programmerne. Dette var også tilfældet i første halvår af 1998. I slutningen af 1997 var der indgået forpligtelser for 64% af midlerne (i forhold til 46% i slutningen af 1996). Ligeledes var der foretaget udbetalinger svarende til 48% af midlerne (i forhold til 33% i slutningen af 1996). Der var navnlig sket fremskridt i Spanien og Portugal, hvor der i perioden 1994-1997 blev indgået forpligtelser for henholdsvis 69% og 70% af midlerne, og 53% og 56% af midlerne var blevet udbetalt. Andre medlemsstater meldte om betydelige forsinkelser i gennemførelsen af forpligtelser (navnlig Nederlandene, Frankrig, Belgien), mens forsinkelserne for Italiens og Østrigs vedkommende hovedsagelig vedrørte betalingerne. For så vidt angår mål 6, er situationen i de to medlemsstater meget forskellig. Finland er kommet længere med gennemførelsen end Sverige. I Finland var der i slutningen af 1997 indgået forpligtelser for over 59% af midlerne i forhold til 32% i Sverige. II. KONKLUSIONER PÅ BAGGRUND AF MIDTVEJSEVALUERINGERNE Midtvejsevalueringen har været en vigtig udvikling i forvaltningen af strukturfondene. Den er et værdifuldt redskab til at gøre sig overvejelser om EU-interventionernes samlede effektivitet. De hovedkonklusioner, der kan udledes, vedrører gennemførelsesprocessen og værdien af hovedresultaterne på politisk plan. 2. 1. Gennemførelse af midtvejsevalueringerne a) Midtvejsevaluering: et fælles ansvar I de gældende strukturfondsforordninger er det en nyskabelse, at der er sket en styrkelse af kravene om evaluering af interventionernes effektivitet og omkostningseffektivitet. Disse krav fremgår klart af forordningerne. 8 Kommissionen og medlemsstaterne har i fællesskab fastlagt de operationelle procedurer, der skal følges. Evalueringen er således et fælles ansvar. I 1995 gjorde medlemsstaterne Af artikel 26, stk. 2, i samordningsforordningen fremgår følgende: "Vurderingen og evalueringen foretages afhængig af det enkelte tilfældes karakter, efter omstændighederne ved sammenholdelse af målene med de opnåede resultater, på grundlag af målene og de makroøkonomiske og sektorielle indikatorer baseret på regionale og nationale statistiske data, af data fra beskrivende analytiske undersøgelser samt af kvalitative analyser". Ifølge de standardbestemmelser vedrørende EUSR og SPD, der er fastlagt sammen med medlemsstaterne, "[. ] udbygges (overvågningen) med midtvejsevalueringer, som gør det muligt at foretage eventuelle ændringer og justeringer i EFSR og interventionerne i løbet af gennemførelsesperioden". og Kommissionen et aktivt forsøg på at opnå enighed om, hvad sådanne evalueringer skulle indeholde, og hvilke procedurer der skulle følges i det enkelte tilfælde. Mens den operationelle ramme, som Kommissionen havde foreslået, blev behandlet af alle berørte parter, er selve opgaven med at foretage evalueringen generelt blevet udført i det enkelte overvågningsudvalg. Trods de problemer, som enhver ny procedure er forbundet med, og de vanskeligheder, som nogle medlemsstater havde med at fastlægge og iværksætte evalueringsprocessen, har der i det store og hele ikke været væsentlige uoverensstemmelser mellem medlemsstaterne og Kommissionen9. b) Iværksættelse af midtvejsevalueringerne Ud over forordningerne - styrkelse af forvaltningen De fleste interventionsformer (EUSR, SPD, operationelle programmer, globaltilskud osv. ), der var programsat i de enkelte medlemsstater, var genstand for en specifik evaluering. Nogle medlemsstater gennemførte også yderligere evalueringer som supplement til deres midtvejsevalueringer. Disse var enten tematiske (med undersøgelse af bl. a. SMV og forskningsrelaterede foranstaltninger) eller operationelle (f. eks. udvælgelseskriterier, procedurer osv. ). Det store antal midtvejsevalueringer (mere end 100 for mål 1- og 6-programmer10) er tegn på, at medlemsstaterne nu i vidt omfang ikke blot af, at de overholder erkender betydningen af dem. Dette fremgår lovbestemmelserne, men også af, at de opfatter evalueringerne som et redskab til at styrke forvaltningen af fondene og opnå de bedst mulige resultater på grundlag af dem. Evaluermgsomkostainger ikke evalueringsaktiviteter ISEM 2000-meddelelelsen om evaluering (1996) anbefaledes det, at det samlede budget til programbudgettet. oversteg Evalueringsomkostningeme blev generelt medfinansieret via budgettet for "teknisk bistand" som led i det enkelte program. Den procentdel af midlerne, der blev anvendt til denne aktivitet, har generelt været under 0,1% af de samlede programomkostninger. Men under alle omstændigheder ville det ikke være hensigtsmæssigt at operere med faste procentsatser, da omkostningerne ved en evaluering ikke nødvendigvis er proportionale med omkostningerne ved det pågældende program. 0,5% af Evalueringsprocedure Midtvejsevalueringen tager udgangspunkt i en analyse af, i hvilket omfang det pågældende program kan evalueres (om det i praksis er muligt at gennemføre en evaluering eller programmets "evalueringsegnethed"), og fastlæggelse af den metode, der skal anvendes i den efterfølgende fase. Det er nødvendigt at vurdere, hvor let et givent program lader sig evaluere for at tage højde for mangler eller uoverensstemmelser i oplysningerne i programmeringsdokumenterne, f. eks. en mangelfuld kvantificering af 9 Med det uformelle møde mellem ministrene med ansvar for regionaludvikling og fysisk planlægning i Madrid den 30. november-1. december 1995 øgedes medlemsstaternes erkendelse af betydningen af midtvejsevalueringen og dens operationelle mål. 10 Jf. listen i bilag 3. - 7- målene for visse foranstaltninger. Et vigtigt element i denne proces er erkendelsen af, at betingelsen for, at der kan gennemføres vellykket evaluering, er, at der forinden er truffet tilstrækkelige foranstaltninger til, at det pågældende program kan evalueres. Således kræver evalueringen af et program generelt, at der forinden er fastlagt relevante indikatorer og mål, og at disse overvåges i hele programmets varighed (ramme 1). Ramme 1: Vurdering af om evaluering er mulig - EFRU- OP for Andalucia (mål 1) Denne evaluering tog sigte på at beskrive begrundelsen for de programmerede aktioner, målsætninger og mål, graden af synergi mellem dem og programforvaltningens tilstrækkelige kapacitet. Den var koncentreret om informationssystemer, elementer: planlægningens forvaltningskapacitet. Den anvendte metode indebar, at programmeringsdokumenterne blev analyseret (på grundlag af en logisk ramme), og at der blev gennemført interview med de vigtigste programforvaltere. centrale kvalitet, tre På grundlag af denne metode fremkom der visse praktiske konklusioner. For så vidt angår programmets kvalitet, registrerede evaluatoren visse mangler i SWOT-analysen (Strengths-Weaknesses-Opportunities and Threats) samt problemer med visse mål (f. eks. turisme), som ikke var tilstrækkeligt målrettede. Endvidere blev det konstateret, at informationerne i for høj grad var baseret på outputindikatorer og ikke effektindikatorer. Desuden blev forvaltningssystemet evalueret med henblik på at gennemføre eventuelle forbedringer, navnlig hvad angår fordelingen af opgaver og ansvarsområder inden for den regionale forvaltning. Selv om ikke alle anbefalinger blev fulgt, blev der på grundlag af denne første evaluering skabt en øget bevidsthed blandt prqjektforvalterne om behovet for at fremme en evalueringskultur og opnå en bedre forståelse af deres egne programmer. Selve midtvejsevalueringen gennemføres halvvejs igennem programgennemførelsen. Den har til formål at vurdere, i hvilket omfang programmet har nået målene, og at fastlægge den foreløbige effekt af1 interventionerne og i givet fald komme med anbefalinger til, resultaterne optimeres. Som hvordan programforvaltningen kan referencepunkt bør midtvejsevalueringerne almindeligvis anvende resultaterne af de efterfølgende evalueringer, der er gennemført på grundlag af de af medlemsstaterne forelagte planer. forbedres og Evaluatorernes uafhængighed Der var enighed blandt medlemsstaterne om, at det er særdeles vigtigt at sikre, at evalueringsrapporterne udarbejdes uafhængigt af såvel de myndigheder, der er ansvarlige for at forvalte strukturfondene, som forvaltningsorganerne med ansvar for de medfinansierede aktioner. Der er derfor fastsat retningslinjer for udvælgelsen af evaluatorer (konsulenter, specialiserede akademiske team osv. ). I de medlemsstater, hvor evalueringen indgår som en fast del af de offentlige udgiftsprogrammer, er der tendens til, at de pågældende myndigheder løbende har ydet de eksterne evaluatorer rådgivning og støtte. Der kan være visse fordele ved interne evalueringer (f. eks. fremmer de "learning by doing"), da forvaltningsmyndighederne er aktivt involveret i den nærmere undersøgelse af deres aktiviteter ("hvordan og hvorfor"). Hvad angår midtvejsevalueringer og efterfølgende evalueringer, er interne evalueringer imidlertid ikke altid praktisk mulige, omkostningseffektive eller for dens sags skyld ønskelige. En særlig undtagelse var i den forbindelse Italien, hvor der som led i midtvejsevalueringen, der blev gennemført af Budgetministeriets evalueringsenhed, blev rejst en række kritiske spørgsmål, navnlig med hensyn til programmeringsdokumenternes kvalitet og manglen på egnede mål og indikatorer. c) Opbygning af evaluerings kapacitet i medlemsstaterne Oprettelse af forvaltningsstrukturer at for gennemføre midtvejsevalueringer sædvanligvis hos Ansvaret overvågningsudvalgene. Disse fastlægge til evalueringsrapporternes indhold og evaluatorernes arbejdsprogram. Men det vigtigste er, at de har analyseret og behandlet de færdige evalueringsrapporter og i givet fald foreslået eller anbefalet eventuelle programændringer, således de tildelte strukturfonde udnyttes så effektivt og omkostningseffektivt som muligt. ligger for det meste med er at I en del tilfælde har overvågningsudvalgene oprettet tekniske grupper eller underudvalg (jf. ramme 2), som skal sørge for den løbende kontakt mellem udvalgene og evaluatorerne. Evaluatorerne har derpå (på grundlag af evalueringsresultaterne) udarbejdet rapporter og forslag, som er blevet drøftet og godkendt af hele udvalget. Ramme 2: Forvaltning af evalueringer - oprettelse af ad hoc-strukturer I Irland blev evalueringen af hele EUSR og de tre største operationelle programmer som led heri gennemført af en engageret evalueringsenhed, som løbende ydede rådgivning og ekspertbistand. Fem andre operationelle programmer kunne trække på lignende assistance fra eksterne evaluatorer. Overvågningsudvalgene har på konklusioner og anbefalinger sammen med indholdet af de enkelte OP-evalueringer indgik i den samlede midtvejsevaluering af EUSR Endvidere indgik en regional evalueringsrapport i den samlede evaluering af EUSR, og der er også taget hensyn til Kommissionens retningslinjer. to separate møder drøftet midtvejsevalueringsrapporterne. Deres I Portugal blev der oprettet tekniske evalueringsenheder, som skulle vejlede og kontrollere evalueringsprocesssen. Deres primære opgaver bestod bl. a. i at godkende kommissorier, bistå ved udvælgelsen af evaluatorer og drøfte de endelige rapporter, inden de blev forelagt overvågningsudvalgene. Disse grupper bestod af embedsmænd fra Kommissionen og repræsentanter for de relevante nationale og regionale forvaltninger. De holdt sædvanligvis møde to gange årligt forud for møderne overvågningsudvalgene. Som følge af de konstruktive forbindelser mellem partnerne i disse grupper er evalueringsarbejdets kvalitet blevet forbedret. Partnerskabernes rolle Programpartnerne har generelt været positive over for midtvejsevalueringerne og været rede til at påtage sig ansvaret for at få disse gennemført. De regionale myndigheder har dog i forskellig grad været inddraget i opgaverne i forbindelse med midtvejsevalueringen. Disse forskelle er en afspejling af de politiske og institutionelle systemers karakteristika (dvs. graden af decentralisering), de forskellige former for strukturfondsinterventioner (nationale, sektorielle, regionale og lokale programmer) samt forskellig praksis og erfaring i de forskellige medlemsstater. De regionale myndigheder var i nogle tilfælde ansvarlige for at iværksætte og forvalte evalueringsprocessen. De havde til opgave at udvælge evaluatorerne, fastlægge og lette deres arbejde og sørge for, at overvågningsudvalgene behandlede og analyserede resultatet af evalueringerne. De sørgede endvidere fra evalueringerne blev omsat på programniveau. I andre tilfælde var det både nationale og regionale myndigheder, der havde ansvaret for disse opgaver. Men med hensyn til EU- støtterammerne (f. eks. i forbindelse med nogle mål 1-regioner) var det sædvanligvis de nationale myndigheder, som var ansvarlige for evalueringen. for, at anbefalingerne Et andet eksempel er de medlemsstater, hvor de regionale myndigheder ikke har ansvaret for at programmere og forvalte strukturfondene. Deres deltagelse i processen bestod i at formidlingen af de fornødne data og oplysninger lette til udarbejdelsen af evalueringsrapporterne, at samarbejde i forbindelse med analysen af den effekt, som foranstaltningerne havde haft på lokalt plan, og i et vist omfang deltage i omdefineringen af de strategiske og operationelle retningslinjer på grundlag af anbefalingerne i evalueringsrapporterne. Arbejdsmarkedets parter var også inddraget i denne proces via deres deltagelse i overvågningsudvalgene. Udviklingen af partnerskaber er stort set foregået pragmatisk og fleksibelt. Faglige kvalifikationer inden for evaluering I de seneste fire år har der været en betydelig stigning i evalueringsaktiviteterne i alle medlemsstater. Kravene i strukturfondsforordningerne har været en hovedfaktor i denne udvikling. Evalueringerne forestås fortsat hovedsagelig af instanser uden for de forskellige forvaltninger, dog med undtagelse af Irland og Italien, som har oprettet deres specialiseret egne serviceydelse er resulteret i en stigende professionalisme og ekspertise. Selv om de evalueringsenheder, der udvælges til de forskellige programmer, ofte har ekspertise inden for mange områder og omfatter både konsulentvirksomheder og akademiske forskningscentre, er deres speciale sædvanligvis inden for økonomi og forvaltning. specialiserede enheder. Udviklingen af evaluering som en d) Forbedring af evalueringernes kvalitet Den gennemsnitlige kvalitet af de midtvejsevalueringer, der er gennemført i forbindelse med programmeringsperioden 1994-1999, er uden tvivl bedre end i den foregående periode (1989-1993), selv om faktorer som f. eks. forsinket iværksættelse af visse programmer eller mangelfulde metoder stadig har betydet, at visse evalueringer ikke levede op til normen. Evalueringsrapporterne blev vurderet på grundlag af de otte kriterier, der er fastlagt i MEANS-programmet11. Ifølge disse vurderinger var de fleste rapporter af en rimelig god kvalitet (ramme 3). Evalueringerne indeholdt hyppigt ajourførte oplysninger og analyser af programmerne i forhold til målene, og nogle evalueringer (f. eks. i Nordirland) omfattede også en kvalitetsvurdering af styrker og svagheder. Erfarne evaluatorer og et mere indgående kendskab til og forskning i de praktiske detaljer omkring evalueringerne har også bidraget til at forbedre rapporternes kvalitet. for -redskaberne strukturaktioner. De består Quality Assessment of Evaluation Reports: A Framework. MEANS (Méthodes d'Evaluation des Actions de Nature Structurelle) er et kommissionsprogram, som tager sigte på at forbedre evalueringsmetoderne og i at vurdere evalueringsrapporterne på grundlag af følgende 8 kriterier: opfyldelse af behov: opfylder evalueringerne i tilstrækkeligt omfang overvågningsudvalgenes informationsbehov, og er de i overensstemmelse med kommissoriet?, relevant dækning: er programmets begrundelse, output og effekter fuldt ud omfattet, herunder uventede resultater?, forsvarlig udformning: egner evalueringens udformning sig til at besvare de stillede spørgsmål?, data: er de anvendte/indsamlede data egnede, og er der taget højde for deres pålidelighed?, passende analyse: foretages der en passende analyse af de foreliggende oplysninger?, troværdige resultater: er resultaterne en logisk og begrundet følge af analysen?, uvildige konklusioner: er konklusionerne retfærdige, ikke påvirket af synspunkterne blandt de berørte parter og brugbare?, og klarhed: er rapporten skrevet på en letforståelig måde? -10 - Ramme 3: Vurdering af en evaluerings kvalitet: evaluering afEUSRfor Irland Evalueringsrapporten opfylder følgende kriterier: opfyldte i tilstrækkelig grad informationsbehovene begrundelsen for programmet og dets mål blev undersøgt udførligt der blev udviklet en specifik metode til vurderingen af foranstaltningernes effektivitet der blev indsamlet tilstrækkeligt mange pålidelige data (selv om der stadig er huller og mangler) der blev forelagt en fornuftig analyse af resultaterne i forbindelse medEUSR troværdige resultater blev fremlagt og fik praktiske virkninger for programstrukturen der blev fremlagt objektive konklusioner, som var tilstrækkeligt detaljerede til, at de kunne anvendes i praksis blev forelagt de berørte parter i en tilgængelig og klart formuleret form. Den samlede kvalitetsvurdering er derfor meget høj takket være en velegnet evalueringsramme Rapporten blev offentliggjort og gjort offentligt tilgængelig. Hvad angår programmerne for udvikling af landdistrikter, er midtvejsevalueringen at* svingende kvalitet. I nogle tilfælde anses den for acceptabel (Spanien), i andre tilfælde vurderes den som tilfredsstillende (forskellige delstater i Tyskland) og udviser gode resultater. I atter andre tilfælde er evalueringen af høj kvalitet på grund af dels de uafhængige evaluatorers erfaring og kompetence og dels en mere præcis definition af målene og kommissoriet (Irland). I visse tilfælde har evalueringerne en mere begrænset rækkevidde, fordi, de er for teoretiske og generaliserende, eller fordi de kun omhandler iværksættelsen og forvaltningen af programmet, men ikke resultaterne og virkningerne (Frankrig, Belgien). Nogle evalueringer er ligeledes blevet kritiseret for manglende uafhængighed i forhold til den ordregivende administration. I andre tilfælde er evaluatorens arbejde blevet begrænset som følge af manglende samarbejde fra myndighedernes side. Arten og kvaliteten af de metoder, som evaluatorerne har anvendt, har varieret fra program til program. Selv om Kommissionen har fastlagt en række metoder og redskaber i MEANS-programmet, er anvendelsen af disse fortsat inde i en tidlig fase. F. eks. er det ofte vanskeligt af måle beskæftigelseseffekterne, navnlig når der er taget hensyn til inerti- og fortrængningseffekter12. Selv om der er foretaget en række kvalitative forbedringer, er der fortsat behov for, på grundlag af passende retningslinjer, at styrke anvendelsen af hensigtsmæssige evalueringsmetoder i de kommende evalueringsfaser. 2. 2. Vigtigste resultater Et af hovedformålene med midtvejsevalueringerne var at foretage en vurdering af, hvilke fremskridt der var gjort med hensyn til at nå de forskellige programmål, samt de forventede virkninger på f. eks. jobskabelsen. De søgte endvidere at undersøge den proces, der lå til grund for programforvaltningen og udvælgelsen og overvågningen af de tilhørende projekter. 12 Jf. Kommissionens dokument "Counting the jobs ", 1997, og European Job Challenge ( 1998). - 1 1- På grundlag af et repræsentativt tværsnit af evalueringer gennemgås i dette afsnit væsentlige resultater i forbindelse med områder af generel interesse og de områder, hvor der er behov for forbedring. Endvidere fremhæves visse centrale træk ved de gennemførte analyser inden for tre hovedområder: - makroøkonomiske virkninger med hensyn til de største programmer, navnlig i henseende til vækst og beskæftigelse - mikroøkonomisk vurdering, med fokus på effektivitet - forvaltningssystemernes kvalitet, navnlig overvågnings- og indikatorsystemer og projektudvælgelseskriterier. Af denne analyse kan der udledes visse generelle konklusioner med hensyn til, hvordan disse resultater kan udnyttes og integreres i midtvejsevalueringsprocessen. a) Makroøkonomiske virkninger: vækst- og beskæftigelseseffekter I hovedparten af evalueringerne af EUSR'erne for mål 1 indgår generelt en makroøkonomisk hele midtvejsrevisionsprocessen. Det fremgår klart heraf, at det er vigtigt at tage højde for såvel udbuds- som efterspørgselseffekterne, og for første gang blev disse effekters sandsynlige omfang kvantificeret. vurdering, indblik nyttigt giver som et i Hvad angår store interventioner, f. eks. de store EUSR'er for mål 1, synes de makroøkonomiske virkninger med hensyn til økonomisk vækst og beskæftigelse at blive synlige. Det er imidlertid vanskeligt at kvantificere disse virkninger, da det er nødvendigt at fastslå den kontrafaktiske situation, dvs. situationen uden strukturfonde. En mulighed er i denne forbindelse at anvende simulationsteknikker på grundlag af modeller, der tager højde for variablernes gensidige makroøkonomiske afhængighed. Selv om der er mange modeller, som kvantificerer de kortsigtede efterspørgselseffekter (f. eks. input-output modeller), er der kun få, som tager højde for de langsigtede virkninger af udbudsbetingelserne, som det er strukturfondenes opgave at forbedre13. I midtvejsevalueringerne er de udbudseffekter, som fremkommer ved at tilføre en økonomi infrastruktur, menneskelige ressourcer og erhvervsinvesteringer, beregnet på forskellige, mere eller mindre avancerede måder. I Irland og Spanien er der anvendt modeller af HERMEN14-typen, mens der i Grækenland, Portugal og Italien er blevet anvendt mere generelle økonometriske modeller. Mange variabler er endogene, mens de "eksterne" påvirkninger omfatter rentesatser, valutakurser eller den økonomiske vækst hos handelspartnerne. Da der ikke findes nogen makromodel for Østtyskland, anvendtes 13 14 Senest er der gjort forsøg på at kvantificere strukturfondenes samlede efterspørgsels- og udbudseffekter ved hjælp af QUEST li-modellen, hvis resultater blev forelagt i den første samhørighedsberetning (1996), og HERMIN-modellen, der blev anvendt i forbindelse med oversigten over det indre marked (1996). HERMIN er en makroøkonometrisk model, som specifikt tager sigte på at kvantificere effekten af EUSR'erne på mellemlang og lang sigt. Det er en fælles ramme, som er koncentreret om de væsentligste strukturtræk i de såkaldte samhørighedslande, og den afdækker de mekanismer, hvorved EUSR'erne vil påvirke udbudssiden i deres økonomier. -12- der i forbindelse med den tyske evaluering en ad hoc-løsning, hvor man trin for trin anvendte skøn over de forskellige parametre, der påvirker BNP og beskæftigelsen. Forfatterne bemærker selv i rapporten, at resultaterne er behæftet med en stor usikkerhed. I to af undersøgelserne var udbudssiden ikke integreret i modellen, og der var blot foretaget beregninger af udbudseffekterne på grundlag af de gennemsnitsværdier, der fandtes i faglitteraturen. I den portugisiske evaluering er der beregnet en yderligere produktivitetseffekt på mellem 1,17% og 2,35%. I undersøgelsen vedrørende Østtyskland er de langsigtede udbudseffekter på BNP beregnet til 20% af den kortsigtede efterspørgselseffekt. I de resultater, der præsenteres nedenfor for disse to lande (og på nuværende tidspunkt for Grækenland), indgår således kun efterspørgselseffekterne. De lande, hvis område ikke er fuldt ud støtteberettiget under mål 1 (D, E, I), giver anledning til et specifikt problem i forbindelse med makromodellerne. Man har i hver evaluering forsøgt at løse dette problem på forskellig måde: i den tyske evaluering analyserede man kun virkningen for Østtyskland, mens man i den spanske evaluering kun undersøgte virkningen for Spanien som helhed. Da den italienske makromodel har en dobbeltstruktur, var det muligt at vurdere virkningen for såvel Syditalien som for Italien som helhed. Resultaterne af de forskellige midtvejsevalueringer (jf. figur 1) bør behandles med forsigtighed, for så vidt angår sammenligneligheden mellem dem, da der blev anvendt forskellige metoder fra land til land. Alligevel er der ingen tvivl om, at mål 1- programmer har haft positive vækst- og beskæftigelseseffekter. Beskæftigelseseffekterne ansættes sædvanligvis meget lavere end væksteffekterne, hvilket hovedsagelig skyldes virkningen af den øgede produktivitet. Af figur 1 fremgår det f. eks. , at EUSR i Spanien formentlig vil øge BNP med 5,1%, hvilket indebærer en yderligere årlig vækst på ca. 0,8% i gennemsnit, og beskæftigelsen med 2,4% i 1999 i forhold til basispositionen (dvs. situationen uden EUSR). i forbindelse med fremtidige evalueringer af Udfordringen strukturfondenes makroøkonomiske virkninger vil bestå i, at der i højere grad anvendes de nyeste metoder. Makromodellerne skal omfatte efterspørgsels- og udbudssiden, hvor sidstnævnte vil gøre det muligt at skelne mellem hovedkategorierne af interventioner, såsom infrastruktur, menneskelige ressourcer og erhvervsinvesteringer. De hovedvariabler, som der skal fremlægges resultater for, er BNP, investeringer, beskæftigelse, forbrugerpriser, budgetunderskud, import og eksport. De mest interessante additionalitetsscenarier vedrører dels den situation, hvor EF-midlerne står alene, dels, hvor der er tale om såvel EU-midler som nationale midler, begge situationer uden privat medfinansiering. Der bør desuden tages højde for offeromkostningerne ved de offentlige udgifter, dvs. virkningerne af en alternativ anvendelse af EU-midler og nationale midler. Endelig kan resultaternes følsomhed over for ændringer af EUSR-udgifterne og af den økonomiske politik formidle mere konkrete resultater i form af politiske konklusioner. 13 Figur I: Resultater basispositionen i 1999 af midtvejsevalueringer - procentuelle afvigelser fra • BNP D Beskæftigelse Tyskland (mail) Grækenland Spanien Irland Italien (mil 1) Portugal Note: Kilder: Beskæftigelsestallet for Portugal er reduktionen af arbejdsløshedstallet i procentpoint. Ifo Institut (D), KEPE (EL), Quasar (E), ESRI (IRL), Ministero del Tesoro-Nucleo di Valutazione (I), CISEP (P). Vurdering af de makroøkonomiske virkninger i mindre områder Til mindre områder blev der udarbejdet specifikke modeller til beregning af de langsigtede virkninger på vækst, investeringer og beskæftigelse. I den belgiske region Hainaut (mål 1) blev der udviklet en interessant model, trods vanskeligheder med at sammenholde regionale data af meget spredt karakter (ramme 4). Ramme 4: Hainaut (mål 1) : HELM-modellen HELM (Hainaut Lead-in Model) er en økonometrisk model, som lægger til grund, at der er en central forbindelse mellem produktionsstigning og produktivitetsstigning. Denne model er udvidet og integrerer forskellige komponenter med hensyn til produktivitetsstigning (forskning og udvikling, jysisk kapital, tre situationer: basispositionen (A), SPD'et uden kvalifikationer). Der fremlægges resultater for begrænsning (B) (måling afSPD'ets yderligere virkning), SPD'et med begrænsninger (C) (måling af den yderligere virkning, men for støtteordningernes vedkommende med integrering af interventionens omfang og de anvendte udvælgelseskriterier). På grundlag af en sammenligning mellem disse situationer er det muligt at vurdere, hvilken yderligere virkning SPD'et har i forhold til basispositionen. Resultaterne af de simulationer, der blev gennemført for midtvejsevalueringen af SPD, vedrører tre hovedvariabler (investeringer, merværdi, beskæftigelse) i fremstillingssektoren og sektoren for erhvervstjenester. Ifølge denne model vil SPD'et skabe en yderligere årlig vækst i investeringerne på 0,7% i perioden 1994-2005 og en yderligere årlig vækst i beskæftigelsen på 0,3%, svarende til S 100 nettoarbejdspladser i 1999 og 15 800 nettoarbejdspladser i 2005. Den omfattende opsugning af midler i slutningen af perioden vil mindske effektiviteten af SPD'ets gennemførelse. Forsinkelser i gennemførelsen kan endvidere bevirke, at virkningerne bliver mere synlige i slutningen af perioden og derefter. Modellen viser, at en eventuel forhøjelse af interventionen kun vil have en beskeden effekt på investeringerne, men at disse vil have nogle positive (indirekte) effekter på området. Der er således en betydelig risiko for, at væksten igen bliver lavere i forhold til EU-gennemsnittet, når SPD'et er afsluttet. -14 b) Mikroøkonomisk vurdering Vurdering af effektiviteten Evaluatorerne blev bedt om at analysere interventionernes effektivitet15. De fleste så på, i hvilket omfang programmer opfyldte de fastsatte mål. Som en del af arbejdet skulle de gennemgå de eksisterende indikatorer, og der blev i nogle tilfælde foreslået en række nye eller ændrede centrale nøgleindikatorer, som der skulle opnås enighed om med de regionale myndigheder. Denne vurdering har ofte været forbundet med en omfattende gennemgang af indikatorsystemerne, hvad angår både de finansielle resultater og overvågningen af de aftalte fysiske indikatorer og effektindikatorer. I forbindelse med evalueringen af EUSR for Irland blev effektiviteten undersøgt systematisk på grundlag af en mikroøkonomisk model til vurdering af, om foranstaltningerne havde en hensigtsmæssig udformning og kunne nå de fastsatte mål. Dette indebærer, at strukturfondene ikke blot vurderes i forhold til udgifterne, men snarere i forhold til de sociale fordele, som økonomien vil opnå. Den af evaluatoren anvendte metode tager sigte på at sammenligne effektiviteten af foranstaltningerne, således at midlerne anvendes optimalt (f. eks. sammenlignelig nytteværdi på tværs af programmerne), og afdække eksempler på god praksis. En mere udførlig beskrivelse findes i ramme 11. På et mere operationelt plan skal evalueringerne tage sigte på at måle, i hvilket omfang I programmernes hovedmål opfyldes. indeholder evalueringen visse nøgleindikatorer (SMV, jordforbedring, etageareal), herunder outputdata og tilsvarende resultater i forbindelse med jobskabelse og løftestangseffekten i den private sektor. Der foreligger kvantificerede mål for 1999, og midtvejsevalueringen indeholdt data vedrørende de hidtil opnåede resultater. Disse indikatorer foreligger samlet for de prioriterede felter. Efter midtvejsevalueringen blev der påbegyndt en revision af basis-, mål- og outputdataene for Merseyside. forbindelse med Merseyside 15 blev sjældent vurderet, da det er et af de vanskeligste Omkostningseffektiviteten evalueringsomrfider. En analyse af omkostningseffektiviteten indebærer, at programinputtene (de finansielle midler) sammenholdes med output (de varer og tjenesteydelser, der stilles til rådighed) og resultaterne (de foreløbige effekter) for at vurdere om de samme effekter kunne været opnået med færre input, eller subsidiært om de samme input kunne have resulteret i større effekter. En diskussion af omkostningseffektiviteten forskellige kontrafaktiske muligheder. Det største problem på dette område er derfor valget af egnede referencerammer. indebærer nødvendigvis sammenligninger med - 1 5- Ramme S: Vurdering af effektivitet pâ grundlag af programindikatorer - Merseyside 1999) -faktiske output/resultater af EFRU-intervent ioner mål 1 (1994- Priori- teret felt 1 2 3 4 5 Alle Note: Kilde: EFRU- udgifter Bruttoarbejds- pladser i alt (direkte og indirekte) Etageareal i alt Jordforbedring i alt Mio. GBP %af SPD tus. 28,8 44,4 15,4 4,8 22,1 115,5 21 54 42 16 26 31 5,4 9,2 0,8 0,7 3,0 19,2 % af SPD- mål 15 142 16 64 454 39 tus. m2 114 116 - 1 9 240 %af SPD- mal 20 70 0 15 uoplyst 24 (ha) % af SPD- mal 52 12 uoplyst 300 73 255 17 - 32 210 513 Private investeringer i alt Mio. % af SPD- GBP mal 40 90 67 76 0 8 28 23 uoplyst 77 176 De prioriterede felter for SPD'et for Merseyside er følgende: 1) udefra kommende investeringer, 2) lokale virksomheder, 3) vidensbaserede foranstaltninger, 4) kultur, medier og fritid, 5) aktioner til fordel for Merseyside. Mid-Term Evaluation report (nov. 1996). De indikatorer, der er fastsat for OP eller SPD, danner grundlag for overvågningen og vurderingen af effektiviteten. Der kan dog ikke alene på grundlag af indikatorerne drages endelige konklusioner, navnlig om effekten, da det er vanskeligt at fastslå årsagsforholdet på nogle områder (dvs. indikatorerne kan være påvirket af eksterne faktorer). De skal ofte suppleres af en kvalitativ analyse og et relevant evalueringsarbejde. Overblik over hovedoutput og -resultater Det er ikke let at give et samlet overblik over de mikroøkonomiske data om output og resultater, der fremkommer på grundlag af evalueringsrapporterne, på grund af deres specificitet og den manglende sammenlignelighed på tværs af programmerne. Det erkendes ligeledes, at det omfang, hvori disse data kan kvantificeres i midtvejsfasen, er forskelligt både med hensyn til interventionsområder (infrastruktur, SMV, menneskelige i ressourcer evalueringsrapporterne er uvægerlig temmelig forskellig, og det samme gælder det omfang, hvori det var muligt at kvantificere væsentlige elementer som f. eks. output, resultater og ændringer af markante forskelle. I ramme 6 præsenteres nogle resultater i forbindelse med mål 1- og 6-programmer. osv. ) og de berørte regioner. Standarden og dækningen Basisinfrastruktur - mindskelse af forskelle Basisinfrastrukturerne er det område, hvor virkningen af fællesskabsaktionerne er mest synlig og bedst lader sig måle. Betydningen af disse store investeringer er undertiden høj i strukturel henseende. EUSR-midlerne til transport, kommunikation og energinet udgør f. eks. i Spanien i gennemsnit mere end 25% af den nationale infrastruktur. I de fleste sektorer er forskellene i forhold til resten af EU blevet mindsket betydeligt (jf. ramme 6). Ramme 6: Vigtige resultater indenfor basisinfrastrukturer • Der gøres fortsat en betydelig indsats for at støtte udbygningen af det strategiske vejnet i samhørighedslandene, f. eks. via opgradering af fire væsentlige korridorer i Irland (nåede i 1996 op på 49% i forhold til målet for 1999 på 53%) og færdiggørelsen af motorvejen mellem Athen og Thessaloniki (400 km er hidtil anlagt). 1 Portugal er udbygningen af motorveje og hovedveje blevet færdiggjort i et omfang svarende til 74% af målet for 1999. I Spanien steg den fysiske - 1 6- motorvejsinfrastruktur med 13% i perioden 1993-1995 (de seneste data, der foreligger), hvilket navnlig er til fordel for de mindre udviklede regioner som f eks. Andalucia. 1 alle mål 1-regioner er der foretaget betydelige investeringer i telekommunikationssektoren i form af mere moderne systemer som feks. digitale centraler og lyslederkabler. Dette har bidraget til en betydelig mindskelse af forskellene på området i forhold til resten af EU. 1 Portugal er antallet af telefoner (pr. 100 indbyggere) nu nået op på EU-gennemsnittet; dette mål havde man først forventet at nå i 1999. 1 Italien er digitaliseringen i de sydlige regioner ligeledes nået op på samme niveau (85%) som i den centrale og nordlige del. I Spanien er de digitaliserede net steget med 36% i absolutte tal i perioden 1993-1995. Der er endvidere sket fremskridt med hensyn til energidiversificering, navnlig i form af en mindre afhængighed af olie. Den nye naturgasdistribution forventes snart at blive taget i brug i Grækenland. Højtryksnaturgasledningen (513 km) er allerede færdiggjort, og et andet stort projekt (1 000 km lavtryksnaturgasnet) er gået ind i afslutningsfasen (84%). I Portugal var mere end halvdelen af gasnettet (600 km) blevet anlagt i 1996, og dette vil i 1999 levere 7,5% af det samlede energiforbrug. Grækenland, Spanien og Portugal har alle i de senere år oplevet et betydeligt fald i energiforbruget i forhold til BNP. Hvad angår miljøsektoren, ydes der støtte til udbygning af vandforsyningssystemerne og forøgelse af spildevandsrensningsanlæggenes kapacitet. 1 Grækenland er vandforsyningssystemer, kloaknet og rensningsanlæg med et opland på 5 mio. indbyggere (halvdelen af befolkningen). Der er også foretaget investeringer i de mindre mål 1-regioner, feks. underprogrammet for Nordirland, hvor opførelsen af vandforsynings- og spildevandsanlæg har skabt ca. 2 270 arbejdspladser i området. Der er endvidere opnået betydelige miljømæssige fordele i forbindelse med en lang række specifikke interventioner, herunder sanering af store forurenede industriområder, miljørevisioner af SMV, bistand ved udvikling af miljøvenlige produkter og reduktion af emissioner som følge af energiforsyningens diversificering. der allerede færdiggjort Erhvervslivets rammevilkår -fremme af beskæftigelsen For så vidt angår erhvervslivets rammevilkår, har strukturinterventionerne taget sigte på at forbedre rammevilkårene for de eksisterende virksomheder og derved tilskynde til nye aktiviteter. Det erkendes generelt, at støtte til navnlig SMV er en vigtig drivkraft til jobskabelse, og dette bidrager til at afhjælpe strukturelle efterslæb med hensyn til produktivitet og forbindelse med strukturfondsinterventionerne på dette område kan belyses ved nogle eksempler (jf. ramme 7). indkomstniveau. De tendenser seneste i Ramme 7: Opnåede resultater med hensyn til erhvervslivets rammevilkår • Som led i omfattende støtteordninger er der lagt stor vægt på jobskabelse, hvilket til dels har opvejet de negative konsekvenser af den industrielle omstilling. I Hainaut er næsten alle de midler, der er til rådighed til støtteordninger, navnlig SMV-ordninger, blevet udnyttet inden slutningen af perioden. Det er blevet beregnet, at jobskabelsesmålene i forbindelse med disse foranstaltninger allerede nu er overskredet (mere end 2 200 arbejdspladser er blevet skabt i forhold til de forventede 1 800 arbejdspladser). 1 Tyskland (mål 1) bidrog strukturfondsstøtte aktivt til beskæftigelsesskabelsen, feks. i Sachsen- Anhalt, hvor 18 500 arbejdspladser modtog stolte i den kemiske industri og yderligere 20 000 arbejdspladser i SMV. 1 Italien forventes der som led i industriprogrammet at være skabt eller bevaret mere end 75 000 arbejdspladser i perioden 1994-1996. • Turistsektoren vil opnå øgede fordele på grundlag af den nye kapacitet, feks. i Sachsen (en yderligere kapacitet på 11 500 nye hotelsenge) eller i Irland, hvor 18 store projekter, som allerede er færdiggjort, gør det muligt at øge turistattraktionernes kvalitet og standard. Disse strukturfondsstøttede forbedringer vil skabe nye beskæftigelsesmuligheder. • Fysisk sanering af. industriområder vil også bidrage til at forbedre de rammebetingelser, som virksomhederne arbejder under, og tiltrække nye virksomheder. Dette var et prioriteret felt i visse tyske delstater: feks. i Østberlin, hvor 51 000 m1 blev saneret, hvilket potentielt skabte 600 arbejdspladser, - 1 7- eller i Sachsen, hvor 620 hajord blev omdannet til erhvervscentre. 1 Nord-Pas-de-Calais vil ca. 40- 45% af industrigrundene i mål 1-området, være blevet retableret. Menneskelige ressourcer: kvantificering af effekter I arbejdsplanen for særlige evalueringer, der blev gennemført af de menneskelige ressourcer, indgik en analyse af, hvilken effekt uddannelsesforanstaltningerne havde for støttemodtagerne. Hovedresultaterne af disse undersøgelser er fremstillet nedenfor i ramme 8. Ramme 8: Uddannelsesforanstaltningers effekt for støttemodtagerne l Spanien gennemførte evaluatoren en sammenlignende analyse af jobformidlingen af praktikanter pr. målgruppe, og databasen hos 1NEM (Det Nationale Institut for Beskæftigelse) blev anvendt som en kvasikontrolgruppe. I forbindelse med denne analyse blev der kun erhvervsuddannelsesforanstaltningerne. Hovedkonklusionerne er i overensstemmelse med resultaterne af den efterfølgende evaluering for perioden 1989-1993: hvad angår bruttoeffekten, er deltagernes ansættelsesprocent i gennemsnit 20% højere end kontrolgruppens. Ansættelsesprocenten er højere for unge, mænd og personer medet afgangsbevis fra sekundærtrinet. Men hvis nettoeffekten beregnes, idet der tages højde for deltagernes særlige karakteristika, er der meget markante forskelle. Med hensyn til alder er deltagere på over 45 år f. eks. 32% bedre til at finde et job end kontrolgruppen. Uddannelse ser også ud til at øge kvindernes muligheder for at finde et job: nettoeffekten er 27,1%, mens den for mænd er 14. 9%. Hvis der tages hensyn til uddannelsesniveauet, er effekten af uddannelse for dem, der har afsluttet en grunduddannelse, markant: deltagelsen i en uddannelsesforanstaltning øger deres muligheder for at finde et job til 48,8%. taget hensyn til Tysklgnd; effekt QfQbQti (QerneinsçhafsimtiQtfye - Qsp få indsamlet meget tal over antallet af Det er blevet beregnet, at den tyske stats program til støtte for Gi-Ost (dvs. lærlingeskoler til de unge) i 1995 reducerede ungdomsarbejdsløsheden med 3 procentpoint. På delstatsplan er der indtil videre kun blevet uddannelsesforanstaltninger og tilskud meafører generelt bedre resultater, men dette er snarere undtagelsen end reglen. Der kan nævnes visse resultater på regionalt plan. Med hensyn til Østberlin konkluderede evaluatoren, at 60% af deltagerne havde fundet et job eller bevaret deres job efter seks måneder. Uddannelsesprogrammer i Mecklenburg-Vorpommern resulterede i ansættelsesprocenterpå 40- 45% (21-32% på det primære arbejdsmarked). Et program for iværksættere, som dybest set tager sigte på at hjælpe deltagerne med at sikre, at de etablerer en levedygtig virksomhed, resulterede i, at det rent faktisk lykkedes for 50% at etablere egen virksomhed. Forskellige efteruddannelsesprogrammer for arbejdstagere (foranstaltninger. af mål 4-typen) i Mecklenburg-Vorpommern, Thuringen og Sachsen- Anhalt øgede deltagernes opfattelse af tryghed i ansættelsen med 35-77%. job. Kombinationen af formidlede Pprfugal; effekjpfi u4(fanne\sessys\emet Effekterne med hensyn til styrkelsen af det portugisiske uddannelsessystem (via PRODEP) har vist sig at stå i forbindelse med uddannelsesforløbenes diversificering og den større fokus på både kvantitets- og kvalitetsmæssige aspekter. Uddannelse af lærere og andre aktører synes at være et af programmets væsentligste bidrag, både på primær- og sekundærtrinet (som udgør 49,3% af lærerpersonalet) og på universitetsniveau (stipendier til magister- og ph. d-programmer). Hvad angår udbygningen og diversificeringen af grunduddannelses-/erhvervsuddannelsesforløbene, har de største ændringer bestået i en udvidelse af uddannelsen på sekundærtrinet, som er gjort mere erhvervsrettet, samt øget vejledning og rådgivning på skolerne. Med støtten til teknikeruddannelserne på mellemniveau er der da også oprettet et helt undersystem, som formidler tekniske færdigheder med direkte relevans for arbejdsmarkedet, og som er et alternativ til den almene uddannelse. Landbrug og udvikling af landdistrikter Programmerne vedrørende landbrug og udvikling af landdistrikter, der er udformet som særskilte programmer på nationalt plan, har været genstand for specifikke evalueringer. For så vidt angår SPD og landbrugsafsnittene i de regionale programmer, er evalueringen blevet integreret i en mere global evaluering. 18- Irland, har forskellige hovedakser evalueringer af Visse medlemsstater, bl. a. programmernes til unge landmænd, kompenserende foranstaltninger, lige muligheder, landbrugsuddannelse osv. ). I disse tilfælde har evalueringen vist sig at være et velegnet redskab til at tilvejebringe større indsigt i forholdene, analysere problemerne og finde frem til de mest velegnede foranstaltninger til at løse dem. (agroindustri, etableringsstøtte foretaget detaljerede Ramme 9: Evaluering af landbrugsinterventioner - PAMAF (modernisering af landbrugsstrukturer i Portugal) I evalueringsrapporten konstateres det, at det er gået temmelig langsomt med at komme i gang med den finansielle og fysiske gennemførelse, hvilket hovedsagelig skyldes forsinkelser i udarbejdelsen af lovgivningen på området, samt ændringer på forvaltningsplanet. Startvanskelighederne er dog nu kommet under kontrol, og der gives i evalueringsrapporten udtryk for optimisme med hensyn til muligheden for at gennemføre programmet som planlagt og nå de fastsatte mål via nogle justeringer i forvaltningen og i fordelingen af midlerne mellem foranstaltningerne. Foranstaltningerne under denne operationelle intervention er koncentreret om slotte til investeringer i landbrugsbedrifter, hvis gennemførelsesprocent er hoj, infrastrukturer såsom kunstvanding, småveje i landdistrikterne, dræning og beskyttelse af jordbunden, skovbrug, forarbejdning og afsætning af landbrugs- og skovbrugsprodukter, kompenserende foranstaltninger til fordel for dårligt stillede områder, uddannelse og forskning. Denne type foranstaltninger har til formål at styrke landbrugsbedrifternes konkurrenceevne. De viderefører for størstedelens vedkommende det foregående program, som har haft en positiv virkning. Og de indgår i øvrigt i EU's strukturpolitik. Evaluatoren understreger navnlig en vis spredning i foranstaltningerne, som har følger for såvel den reelle effekt som for forvaltningen og gennemførelsen. Han slår til lyd for en reallokering af de disponible beløb til fordel for foranstaltninger, der anses for prioriterede, navnlig investeringsstøtten til landbrugene og til kunstvanding og understreger nødvendigheden af at styrke indsatsen på erhvervsuddannelsesområdet. Endvidere bemærkes det, at støtten hovedsagelig er koncentreret i den private sektor, og at der er tale om en uensartet regional fordeling af projekterne. Rapporten påpeger nogle resultater af "landbrugs"- programmet i perioden 1994-1996, herunder bl. a. finansiering af omkring 20 000 projekter, stotte til II 500 landbrug og etableringsstøtte til 2 800 unge landmænd. Fiskeri FIUF yder støtte til 5 hovedindsatsområder: tilpasning af fiskeriindsatsen (26% af budgettet), fornyelse og modernisering af flåden (24%), forarbejdning og markedsføring af fiskeriprodukter (23%), udvikling af akvakultur (11%) og anlæg og udstyr til fiskerihavne (7%). FIUF tegner sig i øjeblikket for 31 programmer, heraf 17 i mål 1- områder, 12 i mål 5a-områder og 2 i mål 6-områder. Hvad budgettet angår, går 65% af midlerne til mål 1. til effektivitet interventionernes Midtvejsevalueringerne af disse programmer har givet interessante oplysninger med hensyn omprogrammeringsforanstaltninger (reallokering af midlerne mellem interventioner og mellem foranstaltninger). De har understreget visse utilstrækkeligheder i overvågningen, navnlig hvad angår tilvejebringelsen af socioøkonomiske data. I nogle lande er der truffet foranstaltninger til at foreløbige undersøgelser af beskæftigelseseffekten. indikatorerne, og der er foretaget forbedre og Ramme 10: Et eksempel: Operationelt program - Spanien mål 1 Dette operationelle "fiskerV'-program, der har en finansieringsramme på omkring 1 mia. ECU, er et af de prioriterede felter under EUSR. Foranstaltningerne under dette program tager hovedsagelig sigte på tilpasning af fiskeriindsatsen, modernisering af fiskerflåden, forarbejdning af fiskeriprodukter, udvikling af akvakultur og havneanlæg. Evalueringsrapporten konstaterer, at den gennemsnitlige gennemførelsesgrad er tilfredsstillende (57%), men yderst varierende på de forskellige indsatsområder - lav hvad angår -19 - modernisering af flåden og udviking af akvakultur (l 0-20%), og høj hvad angår havneanlæg og forarbejdning af produkter (60-100%). Den laveste effektivitetsgrad konstateres på akvakulturområdet (2%), hvilket skyldes langsommelige og komplicerede administrative procedurer, lav rentabilitet, som virker demotiverende på potentielle investorer, samt krav til miljøbeskyttelse, der pålægges i forbindelse med udvælgelsen af projekterne. Effektiviteten er størst inden for forarbejdning (65%) - på dette område fremviser modtagerne som oftest en<stærk vækst og dermed en god investeringskapacitet. Evaluatoren foreslår en omfordeling af midlerne på bekostning af tilpasning af fiskeriindsatsen og udvikling af akvakultur til fordel for modernisering af fartøjerne og forarbejdning af fiskeriprodukter. En undersøgelse blandt støttemodtagerne har vist, at 35% af de projekter, der modtager støtte under programmet, har bidraget til at skabe eller bevare arbejdspladser (ved den foreløbige undersøgelse: i alt 780 arbejdspladser), navnlig inden for forarbejdning af fiskeriprodukter. Der er desuden truffet foranstaltninger til at forbedre gennemførelses- og resultatindikatorerne, reducere antallet af specifikke indikatorer for akvakulturområdet, fastlægge effektindikatorer vedrorende fiskeriflåden samt beskæftigelses indikatorer for alle indsatsområder. Endelig konstateres en noje iagttagelse af princippet om miljøhensyn på akvakulturområdet, og det anbefales, at der i højere grad tages hensyn til dette princip på andre områder (forarbejdning og havneanlæg). c) Forvaltningssystemernes kvalitet Midtvejsevalueringerne skulle endvidere vurdere den måde, fondene forvaltes på, navnlig med hensyn til overvågningssystemer og projektudvælgelseskriterier. Overvågnings- og indikatorsystemer I forhold til den foregående programmeringsperiode er der i forbindelse med de igangværende programmer sket en betydelig udvikling, for så vidt angår anvendelsen af kvantitative indikatorer som et redskab til at overvåge programgennemførelsen, vurdere effekten af programmerne og fastslå, hvilke fremskridt der er gjort mod at nå de overordnede mål. for Fælles overvågning udarbejdede retningslinjer og Kommissionen midtvejsevalueringer med det formål at sikre en sammenhængende strategi og ensartede standarder16. Dette har været den primære drivkraft til at foretage disse forbedringer. Erfaringerne i de forskellige programmer har imidlertid været blandede. 1 forbindelse med en række programmer er de oplysninger, der er til rådighed i form af indikatorer, ofte ikke tilstrækkelige til, at resultaterne kan måles, eller det kan kontrolleres, om der er opnået tilfredsstillende fremskridt. Andre væsentlige mangler vedrører fastsættelsen af egnede og praktiske mål i forhold til foranstaltningerne samt den omstændighed, at der ikke findes et ensartet og regelmæssigt system til indsamling af data vedrørende fysiske output, resultater eller virkninger. 16 I de fælles retningslinjer skelnes der mellem indikatorer vedrørende opnåede fremskridt (output), resultater og virkning. Indikatorerne med hensyn til opnåede fremskridt vedrører den finansielle og fysiske gennemførelse (f. eks. antal km vej anlagt og omkostninger, antal uddannelsesforløb gennemført). Resultatindikatorerne vedrører de umiddelbare effekter af en intervention (f. eks. i forbindelse med et vejprojekt, antal personer, som gennemfører et tidsbesparelser uddannelsesforløb). Virkningsindikatorerne vedrører resultaterne af interventionerne. Der kan skelnes mellem den specifikke eller mellemliggende virkning af en intervention (f. eks. antal personer, der har opnået beskæftigelse) og den globale eller endelige virkning, dvs. de generelle socioøkonomiske virkninger (f. eks. stigning i beskæftigelsen eller BNP). -20- Selv om der er sket mange forbedringer, er fastlæggelsen og kvantificeringen af relevante indikatorer fortsat et utilfredsstillende område af programforvaltningen. Der skal således arbejdes videre på indikatorsystemerne til udbygning af overvågningen og støtte for evalueringsarbejdet, og dette bør indledes med at finde frem til eksempler på god praksis på området. Som led i en række programmer er der gjort interessante forsøg på at opbygge egnede informationssystemer. Eksempler herpå findes i ramme 11. Ramme 11: Forbedring af overvågningssystemerne Et hensigtsmæssigt forvaltet informationssystem er en nødvendig (om end ikke tilstrækkelig) forudsætning som støtte for evalueringsarbejdet. Nord-Pas-de-Calais (mål 1) er et eksempel på et integreret overvågningssystem, som sammenkobler finansielle og fysiske indikatorer på projektplan. 1 Nordirland bestod en central del af midtvejsevalueringen i en omfattende undersøgelse afNIQUID (databasen over alle de indikatorer, der var fastlagt for SPD'et) med henblik på at omdanne den til et effektivt ledelsesinformationssystem til SPD'et. Evaluatoren foreslog, at man jævnligt overvågede udviklingen i forbindelse med 52 indikatorer i stedet for de 330 indikatorer, der var fastlagt i SPD'et. Endvidere blev der for hvert underprogram udviklet en række nogleindikatorer til registrering af dets specifikke effekt. Der er desuden sket en betydelig udvikling i Italien, hvor der blev oprettet et standardiseret indikatorsystem for ESF-interventionerne. 1 Portugal er indikatorerne også blevet bedre på næsten alle inasatsområder, selv om dataenes kvalitet dog stadig kan forbedres yderligere. « Projektudvælgelseskriterier I de første 2-3 år af programgennemførelsen er der i visse tilfælde blevet udviklet relativt avancerede pointsystemer i forbindelse med medfinansierede projekter. De systemer, der er indført (f. eks. i Merseyside), tager på samme tid hensyn til en lang række faktorer, og ud over at vurdere støtteberettigelsen undersøges udvælgelseskriterierne både med hensyn til prioriterede felter og foranstaltninger. F. eks. omfatter de prioriterede kriterier, som er fælles for alle projekter, bl. a. projektoutput, nytteværdi, løftestangseffekt i den private sektor og for nylig også indvirkningen på miljøet. Der er i mange midtvejsevalueringer sat spørgsmålstegn ved effektiviteten af sådanne systemer. Gennemsigtige og objektive kriterier, som i sig selv betragtes som god praksis, er i givet fald ikke tilstrækkelige til at sikre, at de bedste projekter udvælges. Det vil f. eks. skulle kontrolleres yderligere, om de oplysninger og outputprognoser, som ansøgerne har forelagt, er tilstrækkeligt pålidelige. Ramme 12: Merseyside -pointsystem i forbindelse med ESF-/ EFRU-projekter I forbindelse med SPD'et for Merseyside har det system, der er indført til udvælgelsen af projekter, tre forskellige aspekter: støtteberettigelse eller "kernekriterier", udvælgelseskriterier i forhold til prioriterede felter, der er fælles for alle projekter, og udvælgelseskritierier i forhold til foranstaltninger (som kan være forskellige fra kriterierne i forhold til prioriterede felter). Formålet hermed var at udvikle en række forståelige og gennemsigtige kriterier, som kunne anvendes i forbindelse med en lang række forskelligartede projekter. De væsentligste prioritetskriterier omfatter de forventede projektoutput, nytteværdi, arten af forbindelse med ESF), arbejdsmarkedsspørgsmål, påvisning af partnerskab og sammenhæng, løftestangseffekt i den private sektor og indvirkningen på miljøet. støttemodtagere (i 2. 3. Udnyttelse af evalueringsresultater Som beskrevet ovenfor er midtvejsevalueringerne en vigtig informationskilde for programforvalterne og beslutningstagerne. De får på baggrund heraf oplysninger om centrale spørgsmål, f. eks. om relevansen af interventionernes mål og effektiviteten af de mere omfattende økonomiske effekter på det pågældende område. En autoritativ - 2 1- evaluering bør ledsages af tilbundsgående analyse og være tilstrækkelig operationel til fuldt ud at kunne udnyttes til politiske formål. Evalueringsresultaternes kvalitet garanterer imidlertid ikke, at de vil blive udnyttet i det fornødne omfang. Evalueringerne kan med andre ord ikke anses for at være det eneste element, der skal indgå i gennemførelsen af midtvejsrevisionen. Institutioner og politiske beslutningstagere udveksler løbende informationer. Andre faktorer i relation til den politiske baggrund for den makroøkonomiske ramme kan også direkte påvirke de endelige omprogrammeringsbeslutninger. Under hensyntagen til denne mere omfattende sammenhæng skal der som led i midtvejsevalueringsprocessen skelnes mellem tre forskellige udnyttelsesniveauer. For det første anvendes evalueringen som feedbackmekanisme i relation til de politiske foranstaltningers effektivitet. Resultaterne og anbefalingerne forbindelse med evalueringerne er i mange tilfælde i vidt omfang blevet fulgt og integreret i de ændringer, der er foretaget af programmerne. Det bedste eksempel er den irske midtvejsevaluering af EUSR, som indeholdt pålidelige og nyttige konklusioner, der resulterede i, at der blev omfordelt midler mellem aktioner eller underprogrammer (jf. ramme 12). i løbende rådgivning For det andet spillede evalueringen en vigtig rolle med hensyn til at tilvejebringe nye informationskilder eller til programforvaltere og politiske beslutningstagere. F. eks. anså man også evalueringen af mål 1-programmet i Hainaut, hvori der indgik en speciel makroøkonomisk model (jf. ramme 3), som nyttig i forbindelse med reprogrammeringen. De deri indeholdte konklusioner gav mulighed for mere langsigtede perspektiver i relation til konvergenstendensen i den regionale økonomi. Andre evalueringer, som ikke var så bredt anlagt, understregede betydningen af ikke hele visse kritiske aspekter af programforvaltningen, men behandlede gennemførelsesforløbet så udtømmende. Endelig fremgik det også, at væsentlige bidrag fra partnerskaberne som led i programmet er af central betydning for, at evalueringsprocessen kan blive vellykket og effektiv. Et vigtigt resultat heraf er, at beslutningstagere deltog i drøftelsen af de evalueringsmæssige spørgsmål, og at der blev udledt en række konklusioner med hensyn til, hvordan interventionerne kan forbedres. Selv om der her ikke altid var tale om en formelt struktureret læringsproces, havde den en betydelig effekt for det endelige resultat af midtvejsrevisionerne. HI. HOVEDRESULTATER OG TILPASNINGER Evalueringerne bidrog til midtvejsrevisionen på den måde, at de gav et samlet overblik over, hvad der var opnået i løbet af første halvdel af programmeringsperioden. Som en form for status over disse elementer vurderes i denne del af rapporten hovedresultaterne af denne proces i relation til de tilpasninger, der er foretaget af programmer. Der ses også nærmere på, i hvilket omfang de af Kommissionen fastsatte prioriteter er integreret i programmerne. -22 3. 1. Sammenhæng mellem evaluering og omprogrammering Evalueringerne blev forelagt inden for den aftalte tidsperiode, hvorved resultaterne kunne indgå i de midtvejsrevisioner, der blev gennemført mellem 1997 Og 199817. Der bør anføres en særlig bemærkning i relation til de tre nye medlemsstater. Selv om deres programmer blev indledt et år senere end programmerne for de øvrige medlemsstater, traf alle tre formelle foranstaltninger til at gennemføre midtvejsevalueringer. Kommissionen sørgede for, at der fandt en udveksling af erfaringer sted mellem evaluatorerne, hvilket gav nye ideer til, hvordan evalueringerne kunne gennemføres. Et centralt træk ved denne proces var, at der ikke blev foretaget nogen tilpasninger af betydning forud for evalueringerne og den formelle revision af programmerne. Evalueringerne har stort set vist sig at være anvendelige til at behandle centrale spørgsmål eller sætte fokus på de beslutninger, der skulle træffes. Analysens egentlige kvalitet såvel som anbefalingernes operationelle fokus har været afgørende for, i hvilken udstrækning dette har været muligt. fra efter forslag konkrete anmodning såvel Kommissionen På området udvikling af landdistrikter er midtvejsevalueringerne resulteret i anbefalinger som og forvaltningsmyndighederne. Der er bl. a. foreslået en reallokering af midlerne. I Spanien og Tyskland er disse forslag sammenfaldende med de ansvarlige myndigheders, da de opstillede evalueringskriterier var de samme (måling af foranstaltningernes udvikling på grundlag af de fastsatte overvågningsdata). I andre tilfælde er der kun taget hensyn til en del af kriterierne (Portugal). For Frankrigs vedkommende er evalueringerne foretaget, efter at programmerne er ændret, og det har efterfølgende vist sig, at der ikke var nogen form for modsætningsforhold. I Italien har evaluatoren især analyseret de problemer, der er relateret til gennemførelsen, og de programansvarlige har foreslået reatlokeringcr af midlerne. For Irlands vedkommende har evaluatorens anbefalinger vedrørende en styrkelse af visse foranstaltninger ikke kunnet efterleves på grund af manglende midler. Eksemplerne Irland og Merseyside To eksempler kan anvendes til at belyse hele midtvejsrevisionsprocessen, lige fra den formelle evaluering til gennemførelsen af beslutningerne om de finansielle reallokeringer. Disse vedrører to forskellige interventionsniveauer: en omfattende EUSR (Irland) og et SPD (Merseyside) (jf. ramme 13 og 14). 17 Der har været en vis forsinkelse i forbindelse med forhandlingerne om midtvejsrevisionen i mål 1 i Frankrig (navnlig Réunion) og med hensyn til Grækenland (omprogrammering af EFRU- interventioner, ESF-ændringer planlagt til andet halvår af 1998). I Italien blev der truffet beslutning om en række omprogrammeringsforanstaltninger i april 1998, og midtvejsrevisionen vil blive færdiggjort i oktober på grundlag den faktiske udvikling i forbindelse med nogle programmer, der gennemføres langsomt. 23 Ramme 13: Midtvejsrevision (I): EUSRfor Irland. Ifølge rapporten har EUSR'enfor Irland været en stor succes, og midlerne er blevet anvendt effektivt til Støtte for og fremme af det markante økonomiske opsving. I forbindelse med EUSR har den offentlige udgiftsplanlægning på mellemlang sigt muliggjort en mere systematisk og effektiv programmering på mange områder. EUSR-evalueringen satte spørgsmålstegn ved værdien af, at der anvendes offentlige midler til en række specifikke foranstaltninger, navnlig gratis eller subsidierede serviceydelser, som virksomheder eller borgere ville være rede til selv at betale for. En hovedantagelse var i denne henseende, at markederne mest effektivt og omkostningseffektivt kan realisere økonomiske og sociale mål, og at offentlige interventioner således kun er berettigede i de tilfælde, hvor markedet ikke fungerer hensigtsmæssigt, og den pågældende intervention ikke selv giver anledning til økonomiske fordrejninger. Med udgangspunkt i disse teoretiske antagelser blev der identificeret fire situationer, hvor offentlig intervention i en markedsøkonomi efter evaluatorernes opfattelse kunne forsvares: levering af offentlige varer og tjenesteydelser (f. eks. transportinfrastruktur), som ikke ville blive leveret, hvis det offentlige ikke gjorde det indførelse af korrigerende subsidier med henblik på at ændre prisen på varer og tjenesteydelser i de tilfælde, hvor markedsprisen ikke i tilstrækkelig grad afspejler de mere omfattende sociale fordele, som er forbundet med dem (f. eks. omkostningerne ved lån til SMV) forvaltning af målrettede ordninger, som tager sigte på adfærdsændring ved at afhjælpe manglende viden, kendskab eller forståelse (f. eks. ved at gøre virksomhedsejere eller arbejdstagere bekendt med ny teknologi) omfordeling af formue via subsidier eller sociale ydelser til fremme af almene samfundsmål. Som led i EUSR-evalueringen blev de 166 EUSR-foranstaltninger inddelt på grundlag af ovennævnte kategorier. For hver kategori blev der udvalgt en eller to "ankerforanstaltninger" - dvs. foranstaltninger, som var omfattende, eller som vedrørte gamle og veletablerede elmenter i den offentlige politik • og de blev anvendt som sammenligningsgrundlag for de øvrige foranstaltninger indenfor samme kategori. På grundlag af disse sammenligninger blev der truffet beslutninger om, hvilke foranstaltninger der var vellykkede, og hvilke der ikke var det. Der blev derpå udarbejdet 150 anbefalinger til, hvordan EUSR-midlerne kunne anvendes mere effektivt, men særlig fokus på de foranstaltninger, der var ikke var tilstrækkeligt målrettede eller havde uønskede effekter. Det understregedes i evalueringen, at der klart burde anvendes flere offentlige udgifter på den jysiske infrastruktur, navnlig vejene udenfor byområderne. I forbindelse med visse eftersporgselsbaserede foranstaltninger blev det foreslået, at udgiftsmålene skulle revideres i forhold til den faktiske udvikling, f. eks. en nedsættelse af tilskuddet til underprogrammet for levnedsmiddelindustrien. Under drøftelser i overvågningsudvalgene nåede man endvidere frem til, at der skulle lægges større vægt på de unge og de langtidsledige, og at bevillingerne til specifikke foranstaltninger til uddannelse og de dårligt stillede skulle forhøjes. EUSR-evalueringen indeholder desuden en række detaljerede anbefalinger med hensyn til forvaltningen og gennemførelsen af specifikke foranstaltninger. Det anføres f. eks. , at konkurrencen i forbindelse med leveringen af subsidierede tjenesteydelser er utilstrækkelig, hvilket skyldes de offentlige instansers, dominerende stilling og den manglende konkurrence på området. Hvad angår overvågningen, fon-slås da i rapporten, at resultatindikatorerne bor forbedres, samtidig med at det erkendes, at den nuværende EUSR udgør det mest avancerede eksperiment med hensyn til overvågnings- og indikatorsystemer. Resultatet af midtvejsrevisionen fulgte stort set disse anbefalinger. Ændringerne var således hovedsagelig i form af, at hovedindsatsen blev flyttet fra erhvervssektoren til udvikling af de menneskelige ressourcer og økonomisk infrastruktur. De finansielle reallokeringer udgjorde 163 mio. ECU, med fokus på FTU (37 mio. ECU), transportinfrastruktur (36 mio. ECU) og en række foranstaltninger i forbindelse med unge med en uafsluttet skolegang og andre marginaliserede grupper (46 mio. ECU). 24 Ramme 14: Midtvejsrevision (II): Merseyside (mål 1) Strukturfondsstøtten til Merseyside udgør 816 mio. ECU, som udbetales via de fem prioriterede felter ("Drivers for Change") som led i SPD'et for Merseyside: udefra kommende investeringer og virksomhedssektoren, lokale virksomheder og lokalt erhvervsliv, vidensbaseret industri og avanceret teknologi, kultur, medier og fritidsindustrier, aktion til fordel for befolkningen i Merseyside. Sidstnævnte område modtager de fleste af programmidlerne (mere end to femtedele). De prioriterede felter 'udefra kommende investeringer' og 'lokalt erhvervsliv' modtog henholdsvis en fjerdedel og en femtedel af programmidlerne. Programmets iværksættelse faldt sammen med et konjunkturopsving i Det Forenede Kongerige, som var kendetegnet ved faldende arbejdsløshed og økonomisk vækst, begge med procentsatser, der var højere end EU-gennemsnittet. Merseyside fik også fordel af dette opsving med det resultat, at strukturfondsmidlerne anvendes i en situation, der er gunstigere end den situation, der forventedes, da SPD'et blev udformet. Selv om forbedringerne på arbejdsløshedsområdet har været små i forhold til hele Det Forenede Kongerige, bor de ses på baggrund af at de væsentligste sociale og økonomiske indikatorer i den senere tid er faldet. programmet Midtvejsevalueringen vurderede SPD'ets nuværende og potentielle effekt for befolkningen og erhvervslivet i Merseyside, fremsatte kritik af de eksisterende overvågningssystemer og kom med anbefalinger til, hvordan i Dokumentationsundersøgelsen blev suppleret med en gennemgang af 100 separate projekter samt diverse undersøgelser og interviewundersøgelser, der var koncentreret om støttemodtagerne under programmet. Evalueringsundersøgelsens omfang og kvalitet var bemærkelsesværdig. Dette opvejede i stor stil de knappe ressourcer, som satte en begrænsning for, hvor mange indgående analyser det var muligt at gennemfare. restende programmeringsperiode. videreføres burde den Evaluatoren fremsatte en række detaljerede og begrundede anbefalinger og foreslog navnlig, at overvågnings- og evalueringsarbejdet fremover skulle være koncentreret om større projekter, som forventes at have den største effekt, samt om emner som feks. fortrængning og bæredygtighed. Det blev endvidere anbefalet, at de nuværende indikatorer blev udvidet for at forbedre vurderingen af programmets effekt. De indikatorer, der blev foreslået, var bl. a. overlevelsesprocenter for SMV og deres brug af ny teknologi. Desuden blev det anført, at der ikke var tilstrækkelig fokus på synergierne blandt programmets fem prioriterede felter og på temaer, der er gennemgående for flere foranstaltninger. De omprogrammeringsmæssige ændringer, der blev gennemført i midtvejsrevisionsfasen, fulgte i store træk evaluatorens forslag og var i vidt omfang i overensstemmelse med Kommissionens regionalpolitiske prioriteter indtil udgangen af 1999. 1 alt 97 mio. ECU blev omfordelt, navnlig til foranstaltninger, som har størst sandsynlighed for at resultere i direkte jobskabelse (SMV, teknologi og social integrering). Der blev iværksat nye foranstaltninger inden for forarbejdning af fisk og vedrørende udvikling og anvendelse af kommunikationsteknologier. Kommissionen fastsatte endvidere en frist for, hvornår der skulle foretages en omfattende revision af basisdataene og de kvantificerede mål, navnlig med hensyn til nettobeskæftigelseseffekterne. 3. 2. Samlede reallokeringer af strukturfonde Under mål 1 og 6 var alle EUSR'er, SPD'er og andre interventionsformer genstand for en midtvejsrevision. Den eneste undtagelse var de nye tyske delstater, hvor der løbende foretages tilpasninger af programmerne. Alle disse revisioner resulterede i finansielle reallokeringer af forskellig størrelsesorden med det formål at forbedre interventionernes samlede effektivitet. Disse ændringer er, på grund af de finansielle beløb, det drejer sig om, mere vidtgående i de større og mere komplekse EUSR'er end i forbindelse med SPD'erne. Men de er ikke direkte proportionale med programmernes succes eller fiasko. Selv et særdeles vellykket program (f. eks. EUSR for Irland) kan forbedres, og der kan foretages de fornødne justeringer uden at ændre programmernes væsentligste prioriteter og mål. Omfanget af reallokeringer var meget forskelligt fra program til program. De finansielle fremskridt har været det centrale element i disse foranstaltninger, navnlig med hensyn til de programmer, der ikke havde udnyttet midlerne tilstrækkeligt. Endvidere afspejler real lokeringerne også, i hvilket omfang der er taget hensyn til EU-prioriteterne (jf. 4. 3). - 2 5- Generelt set blev der foretaget begrænsede tilpasninger (finjustering) af programmerne uden at berøre de strategiske prioriteter. I nogle tilfælde (f. eks. Italien - mål 1, EUSR for Portugal) indebar disse ændringer en overførsel af midler fra de programmer eller underprogrammer, hvor udgifterne ikke blev indgået så hurtigt, til de programmer, hvor midlerne blev anvendt hurtigere, idet der dog blev taget hensyn til andre kvalitative kriterier. I de fleste tilfælde blev ændringerne dog foretaget inden for programmerne og mellem foranstaltningerne. Yderligere midler fra provenuet fra pristalsreguleringen blev endvidere anvendt til at koncentrere visse aktioner, navnlig med henblik på jobskabelse. Figur 4 viser omfanget af overførsler af midler for hver medlemsstat. og herunder ikke-programmerede midler De største ændringer blev foretaget i forbindelse med EUSR for mål 1 i Italien (ca. 700 mio. ECU, fra pristalsreguleringen i forbindelse med EUSR for 1998), efterfulgt af Spanien (over 600 mio. ECU) og Grækenland (400 mio. ECU kun i forbindelse med de nationale programmer). Selv om der er tale om store beløb, udgør disse kun mellem 2% (Spanien) og 5% af de samlede strukturfondsbevillinger. I Irland udgjorde de finansielle overførsler 160 mio. ECU af strukturfondene eller 3% af EU-strukturfondenc for perioden 1994- 1999. I Nordirland blev der ikke foretaget nogen overførsel af midler mellem underprogrammer, bortset fra tildelingen af midler fra provenuet fra pristalsreguleringen. I Finland og Sverige bestod de mest markante ændringer i, at en række foranstaltninger blev samlet for at forenkle programmets struktur. provenuet Omvendt blev der i forbindelse med forholdsvis små programmer foretaget betydelige ændringer relativt set, dvs. som en andel af de samlede strukturfondsbevillinger. I Hainaut i Belgien blev ca. 19% af de disponible midler omdirigeret til navnlig SMV- støtteordninger. Selv om der i Flevoland blev overført relativt mange midler (13%), vedrørte dette mange mindre ændringer af SPD-foranstaltningerne uden at berøre programmets overordnede mål. Det er temmelig vanskeligt at give et samlet overblik over arten af disse tilpasninger. Næste afsnit giver derfor mulighed for at få en mere kvalitativ indsigt i nogle af de centrale EU-prioriteter. 26- Figur 4: Reallokering af strukturfondene for de enkelte medlemsstater i forbindelse med midtvejsrevisionen ( i mio. ECU) s> s> O # VT > ^ # >• ^ ^ V<N <\ ^ ^ >• > ^ > <\ <N vT ^ > ^ >^ ** > 'V* ^ <c°v I Beløb i mio ecu • Procent af ESF-tildeling 1. heraf Nord-Pas-de-Calais (19,6 mio. ECU), Corse (10,1 mio. ECU), Guyane (36,1 mio. ECU) og Martinique (22,4 mio. ECU) ingen midtvejsrevision 2. 3. kun reallokering i forbindelse med EFRU 4. heraf Nordirland (69,8 mio. ECU), Merseyside (97,0 mio. ECU) og Highlands & Islands (21 mio. ECU). 3. 3. Integrering af EU-prioriteter Det er ikke altid let at vurdere, i hvilket omfang der er taget hensyn til de EU-prioriteter. der er for midtvejsrevisionen. Nye foranstaltninger, der er kommet til, eller eksisterende foranstaltninger, der modtager yderligere bevillinger, kan imidlertid give visse oplysninger herom. i Kommissionens retningslinjer fastsat Basisinfrastruktur - styrkelse af TEN Som led i strukturfondene lægges der stor vægt på, at forskellene • med hensyn til infrastrukturdækning på transport-, energi-, telekommunikations- og miljøomrdct mindskes på lang sigt. Dette kommer navnlig til udtryk i den andel af de samlede i de nuværende bevillinger (mere end 30%), der er afsat til dette område programmeringsdokumenter for mål 1 i perioden 1994-1999. Selv om infrastrukturområdet stadig er et væsentligt prioriteret felt for de fleste regioner, blev der ikke afsat betydelige ressourcer af til at finansiere ny infrastruktur. Generelt blev hovedvægten langt på specifikke TEN-projekter med henblik på at etablere effektive forbindelser og systemer, navnlig på transportområdet (ramme 15). 27 Ramme 15: Lufthavsprogram - Italien mål l Lufthavnsprogrammet til 10 mio. ECU, som for nylig blev godkendt af Kommissionen, tager sigte på at forbedre eller opgradere eksisterende lufthavne i Syditalien. Efter midtvejsrevisionen blev man enige om at stille yderligere bevillinger (50 mio. ECU) til rådighed til dette program, udelukkende til TEN-projekter, med henblik at styrke den regionale dækning på dette område. < Erhvervslivets rammevilkår - øget fokus på beskæftigelsen truffet Resultaterne af midtvejsrevisionerne viser, at det har været muligt at sætte øget fokus på beskæftigelsen via mange forskellige aktioner (styrkelse af støtteordninger, regionale og lokale beskæftigelsespagter, lokaludviklingsinitiativer osv. ). En række beslutninger, der allerede er lokale beskæftigelsespagter indgå i hovedprogrammerne, ramme 16), vidner om, at man fra politisk hold er fuldt ud indstillet på at bekæmpe arbejdsløsheden mere effektivt. Den øgede fokus på projekternes betydning for jobskabelse, navnlig SMV-projekter, er ligeledes i overensstemmelse med politikken i de fleste medlemsstater. Dette afspejles i EUSR'erne og SPD'erne. (f. eks. med henblik på at lade de regionale og I denne henseende har midtvejsrevisionen sat spørgsmålstegn ved, om de politiske instrumenter effektivt kan støtte jobskabelsen og imødekomme behovet for mere aktive beskæftigelsespolitikker gennem foranstaltninger i forbindelse med de menneskelige ressourcer og uddannelse. På et mere operationelt plan blev der også lagt vægt på at måle beskæftigelseseffekterne (f. eks. i regioner i Det Forenede Kongerige, Nord-Pas-de- Calais) i projektudvælgelseskriterierne (f. eks. Italien). beskæftigelsesaspektet hensyn højere grad tage og til i Ramme 16: Regionale og lokale beskæftigelsespagter I tre medlemsstater (Spanien, Grækenland, Italien), stillede overvågningsudvalgene EUSR-midler til rådighed til et program eller en specifik foranstaltning til medfinansiering af handlingsplaner for regionale og lokale beskæftigelsespagter. I Spanien (mål 1) prioriteredes fem pagter, som skulle modtage EU-støttepå 55 mio. ECU (fra provenuet fra pristalsreguleringen i forbindelse med EUSR) og integreres i et nyt program med deltagelse af flere regioner. 1 Grækenland er der planer om, at midlerne fra provenurt fra pristalsreguleringen for 1997 og 1998 skal anvendes til specifikke underprogrammer som led i regionale programmer, derfor øjeblikket er til revision. I Italien foreslog de nationale myndigheder som led i midtvejsrevisionen et program med deltagelse af flere regioner og flere fonde til et beløb af 280 mio. ECU, hvoraf 140 mio. ECU fra strukturfondene vil yde støtte til 9 pagter. Nationale støtteordninger, som i vidt omfang medfinansieres af strukturfondene, er også blevet revideret, således at de i højere grad er koncentreret om jobskabelse og SMV (jf. ramme 17). Ramme 17: SMV- EUSR for Grækenland Med en merbevilling på 136 mio. ECU har de græske myndigheder omlagt deres operationelle program i industrisektoren til fordel for SMV. Den nationale støtteordning er blevet ændret i overensstemmelse med Kommissionens retningslinjer ved at øge støtten til erhvervstjenesterne og yde indirekte støtte i stedet for direkte tilskud. Der er oprettet formidlende organer, som skal forvalte SMV-aktionerne, og projekterne vil blive udvalgt på grundlag af konkurrence. Der blev desuden gennemført en forhåndsvurdering af de SMV- projekter, der skal medfinansieres (ca. I 450 projekter ud af de modtagne 4 200). Miljø og bæredygtig udvikling Som et element i den bæredygtige udvikling er miljøet en af de overordnede EU- prioriteter, som hyppigst tages op som led i midtvejsrevisionen. Dette mål forfølges både via specifikke foranstaltninger og, hvad der er vigtigere, via en horisontal integrering med - 2 8- andre programprioriteter. Som følge af objektive vanskeligheder (manglende indikatorer, metodemæssige aspekter) kunne resultaterne af midtvejsrevisionen ikke i alle tilfælde føre til brugbare konklusioner for tilpasningen af programmerne. Der blev navnlig gjort opmærksom på den manglende systematiske vurdering af projekternes indvirkning på miljøet og de gevinster, der kunne opnås i henseende til projekternes kvalitet, såfremt sådanne vurderinger blev anvendt systematisk. Vejen er således banet for forbedringer af i den nye miljøbeskyttelsen og de generelle projektudvælgelsesprocedurer programmeringsperiode (ramme 18). Ramme 18: Integrering af miljøaspektet Miljøet har længe været et vigtigt anliggende for de fleste medlemsstater. For at strukturfondene kan yde et passende bidrag til miljøbeskyttelsen, skal der i forbindelse med alle projektbeslutninger tages hensyn til dette aspekt, således at skaderne på miljøet mindskes og de positive fordele gores størst mulige, f. eks. ved at give fortrinsstilling til projekter med positive miljøvirkninger (forebyggende foranstaltninger, miljøvenlige produkter,. ). Kommissionens tjenestegrene spiller en aktiv rolle med hensyn til vurderinger af virkningerne på miljøet (specifik undersøgelse allerede iværksat, en håndbog i miljøvurdering af regionale udviklingsplaner og EU-strukturfondsprogrammer udarbejdet således at integreringsaspektet kan forbedres. osv. ), Der er gjort fremskridt med hensyn til at lade miljøet indgå som et "nøglekriterium" for udvælgelsen af projekter, navnlig i Finland og Sverige. For nylig blev dette kriterium ligeledes indfort i Italien som led i industriprogrammet i forbindelse med udvælgelsen af nye industriprojekter. Forskning og teknologisk udvikling Mens infrastrukturerne til forsknings- og udviklingsaktiviteter generelt set allerede er på plads, skal anvendelsen af de eksisterende infrastrukturer optimeres. Der er foretages visse forbedringer, navnlig gennem forøgelse af FTU-investeringerne til det lokale erhvervsliv (jf. ramme 19). Ramme 19: Forskning og teknologisk udvikling - Irland FTU's betydning blev anerkendt i den oprindelige EUSR, og dens stilling er blevet styrket yderligere i forbindelse med midtvejsrevisionen. Der blev tilført ca. 37 mio. ECU til supplerende FTU-aktioner som led i det operationelle program i industrisektoren. Der vil endvidere blive indført udbud og reducerede støttesatser. Overvågningsudvalget var endvidere af den opfattelse, at visse serviceydelser til industrisektoren kunne leverespå grundlag af omkostningsdækning. Informationssamfundet Hvad angår informationssamfundet, er der stillet yderligere midler til rådighed til denne prioritet i erkendelse af, at det spiller en stor rolle i indsatsen for at reducere virkningerne af periferisk beliggenhed og derved øge investeringerne og produktiviteten (ramme 20). Ramme 20: Informationssamfundet (Portugal, Spanien) 1 Spanien blev der som led i EUSR oprettet en ny underakse (6. 6. ) vedrørende informationssamfundet, efter at evaluatoren specifikt havde anbefalet dette. En foreløbig bevilling på 46 mio. ECU er blevet afsat til fremme af denne prioritet. EFRU-foranstaltninger vil tage sigte på at stille erhvervsmæssige og interaktive tjenester til rådighed for universiteter, turisme og virksomheder. ESF-foranstaltninger vil være koncentreret om specifikke uddannelsesjoranstaltninger til borgerne samt de lokale myndigheder. En væsentlig nyskabelse i relation til EUSR for Portugal har været beslutningen om at indfore en ny informationssamfundet som led i underprogrammet vedrørende foranstaltning telekommunikation. Denne foranstaltning har fået tildelt ca. 7 mio. ECU fra EFRU Endvidere er der også gjort en betydelig indsats i forbindelse med andre EUSR-interventioner, navnlig i forbindelse med til fremme af 29- lokaludviklingsprogrammet (PDDR), hvor alle lokaluaviklingskontorer vil blive sammenkoblet, eller uddannelsesprogrammet, hvor alle skoler på sekundærtrinet får adgang til Internet. Udvikling af de menneskelige ressourcer lagt stor vægt på de unge. Hvad angår interventioner vedrørende udvikling af de menneskelige ressourcer, blev det anset for at være nødvendigt at koncentrere indsatsen om de arbejdsløse, efter at der i tre I overensstemmelse med den år var blevet forebyggelsesstrategi, der er indeholdt i retningslinjerne på beskæftigelsesområdet, blev der gjort en indsats for de arbejdsløse på forskellige måder: styrkelse af integrerede interventioner (rådgivning og vejledning, uddannelse, beskæftigelsesstøtte), udvidelse af støtten til oprettelse af mikrovirksomheder, udvikling af nye former for uddannelse samt lokal arbejdsformidling. Inden for de interventioner, der var rettet mod de unge, blev støtten omlagt fra traditionelle uddannelsesprogrammer til interventioner til fordel for udstødelsestruede unge og unge med en uafsluttet skolegang. I denne henseende er en tættere integrering mellem de almene uddannelsessystemer og erhvervs- og beskæftigelsessystemer blevet støttet, navnlig hvad angår de faglige uddannelser i de øverste klasser på sekundærtrinet (ramme 21). Ramme 21: Udvikling af de menneskelige ressourcer - Irland mål 1 Midtvejsrevisionen af det operationelle program vedrorende udvikling af de menneskelige ressourcer (HRDOP) i Irland blev godkendt af overvågningsudvalget i oktober 1997. Midtvejsrevisionen tog ikke blot udgangspunkt i rapporterne fra evalueringsenhederne i forbindelse med HRDOP, EUSR og ESF, men også politiske retningslinjer på nationalt plan og fællesskabsplan, såsom hvidboger fra regeringen og EU's beskæftigelsesstrategi. I den midtvejsrevision, som overvågningsudvalget godkendte, indgik følgende elementer: en omfattende strategiramme, finansielle reallokeringer med en revideret finansieringsplan (der var i programmet foretaget ændringer til et beløb afca. 40 mio. ECU med en yderligere nettotildeling til OP på 14 mio. ECU) og identificering af kvalitative anbefalinger i OP- og EUSR-evalueringerne med hensyn til, hvor der skulle gøres en indsats. inden for finansieringsrammen i givet fald at Den væsentligste reallokering som led i OP har været foranstaltningen til fordel for unge med en uafsluttet skolegang (styrket med 26 mio. ECU), som tager sigte på at tilvejebringe mindst 1 000 ekstrapladser (med mulighed for Ledsageforanstaltningerne blev styrket, hvilket muliggjorde mere fleksibilitet. Der blev også skabt mulighed for en reallokering af yderligere pladser til unge uden en afsluttet skolegang inden for andre foranstaltninger. Overvågningsudvalget godkendte kvalitative anbefalinger med henblik på at koncentrere indsatsen om de langtidsledige, i højere grad at tilpasse erhvervsuddannelserne til arbejdsgivernes behov og at styrke investeringerne i børnepasningsfaciliteter. tilvejebringe yderligere 1400). Lige muligheder Temaet lige muligheder er blevet styrket i mange programmer, selv om denne prioritet ofte optræder som et horisontalt mål og ikke systematisk som led i den enkelte foranstaltning. Der blev dog gjort en betydelig indsats for at koncentrere visse iforanstaltninger om denne prioritet, navnlig som led i interventioner vedrørende menneskelige ressourcer. I forbindelse med EFRU-interventioner blev der indført specifikke foranstaltninger vedrørende kvindelige iværksættere, navnlig i Italien og Grækenland som led i de respektive industriprogrammer i disse medlemsstater (jf. Ramme 22). 30 Ramme 22: Uge muligheder: styrkelse af kvindelige iværksættere En række programmer har fremmet kvinders deltagelse i virksamhedsetableringsordninger. I Italien og Grækenland blev en særlig foranstaltning til fordel for kvindelige iværksættere (støttet af den nationale lovgivning) inaført som led i deres operationelle programmer i industrisektoren. 1 Finland har man planer om at garantere adgang til en ordning med lån på fordelagtige vilkår, som for øjeblikket er ved at blive undersøgt nærmere. IV. POLITISKE KONSEKVENSER OG FREMTIDIGE UDFORDRINGER De elementer i midtvejsrevisionsprocessen, der blev præsenteret tidligere i denne rapport, havde forskellige konsekvenser i politisk henseende. Der blev gjort opmærksom på visse gennemførelses- og forvaltningsmæssige spørgsmål, som der allerede kunne tages højde for i resten af indeværende programmeringsperiode. Ud over at pege på fremtidige udfordringer på grundlag af den nuværende evalueringspraksis blev der tilvejebragt et grundlag for overvejelser omkring strategiske prioriteter for fremtidige programmer. 4. 1. Konsekvenser på kort sigt for de eksisterende forvaltningssystemer Under drøftelserne at af midtvejsrevisionerne blev det overvågningsprocedurerne har en tendens til at lægge større vægt på den finansielle gennemførelse end på de fysiske resultater. I hovedparten af midtvejsevalueringerne blev der gjort opmærksom på behovet for en række nye indikatorer, således at resultaterne og effekterne af programmerne bedre lader sig måle. Fastlæggelsen af sådanne indikatorer - samt sikring af pålidelighed og en passende kvantificering - vil øge kvaliteten og rækkevidden af de næste midtvejsevalueringer. fremført, ofte Nogle medlemsstater har allerede taget skridt til at forbedre en række elementer i deres eksisterende forvaltningssystemer, bl. a. : - - - - fastsættelse af klare, kvantificerede mål og indikatorer for overvågningen og evalueringen (f. eks. Østrig, Portugal, Italien, Det Forenede Kongerige) fastlæggelse af mere egnede udvælgelseskriterier beskæftigelses- og miljøkriterier (f. eks. Italien)) for projekter (herunder forenkling af forvaltningsprocedurerne, navnlig for små programmer (f. eks. Finland» Sverige) sikring af synergieffekter mellem forskellige strukturfondsinterventioner (f. eks. Portugal, Spanien). 4. 2. De første overvejelser om fremtidige programmer ' Midtvejsrevisionen tog sigte på at foretage de fornødne ændringer af programmerne for at afspejle de ændrede vilkår og behov, der opstod i løbet af gennemførelsesfasen. Parallelt med midtvejsevalueringerne har både Kommissionen og medlemsstaterne gennemført en række strategiske analyser, som ser på den periode, der kommer efter de igangværende interventioner. Formålet med disse var at træffe forberedelser til de fremtidige strukturfondsinterventioner ved at se nærmere på mere langsigtede anliggender, som der ikke kunne tages fat på i resten af den nuværende programmeringsperiode. Kommissionen har f. eks. suppleret det begrænsede informationsgrundlag, som fremkom i forbindelse med midtvejsevalueringen i Italien, med en række temaundersøgelser af - 3 1- væsentlige EÙSR-prioriteter: transportinfrastruktur og udvikling af de menneskelige ressourcer. industrirelaterede støtteordninger, FTU, miljø, Disse undersøgelser tog sigte på at behandle visse centrale politiske spørgsmål samt også at nå frem til anbefalinger til, hvordan de fremtidige EUSR'er kan ændres. Disse undersøgelser var ganske vist nødvendigvis bredt anlagt, men de har alligevel tilvejebragt nyttige informationer til midtvejsrevisionsprocessen om spørgsmål som f. eks. fremtidige ændringer af udgiftsprioriteterne. I nogle medlemsstater er man som led i midtvejsrevisionen allerede begyndt igen at se nærmere på finansieringsprioriteterne. Der har endvidere fundet uformelle drøftelser og seminarer sted med de nationale myndigheder, hvor man behandlede spørgsmål, der er af central betydning for fremtiden. Kommissionen har iværksat fire temaundersøgelser (FTU, SMV, miljø og partnerskabsprincippet) med henblik på at afdække de overordnede retningslinjer og lette indførelsen af nye ordninger for perioden efter 1999. 4. 3. Udfordringer i forbindelse med evaluering Denne rapport har vist, at der er sket mærkbare forbedringer af den anvendte evalueringspraksis i forbindelse med de forskellige mål 1- og 6-programmer. Der er i hele rapporten fremhævet eksempler på god praksis i forbindelse med midtvejsrevisionen, herunder: - - - - evalueringens egnethed (metode og kvalitetskriterier) inddragelse af programpartnerskaberne i evalueringsforløbet tilrettelæggelsen og timingen af midtvejsrevisionsprocessen evalueringens feedbackrolle som støtte for omprogrammeringsbeslutninger samt til foregribelse af centrale spørgsmål. De konklusioner, der kan udledes af disse erfaringer, kan være en rettesnor for god praksis i forbindelse med de næste programmer med det formål at gøre forvaltningen af fondene endnu bedre. Det afgørende spørgsmål er således, hvordan man kan gøre status over resultaterne for at fremme en mere systematisk formidling af god praksis både inden for og mellem regionerne. På baggrund af de erfaringer, der hidtil er gjort, viser midtvejsrevisionen, at der i betragtning af de udfordringer, der skal tages op som led i fremtidige programmer, stadig skal foretages løbende forbedringer af processens kvalitet. Konsolidering af evaluering som et beslutningsredskab Evaluering opfattes i stigende grad som et forvaltningsredskab, der skal være en støtte for de politiske aktørers og programforvalternes arbejde ved at give dem vigtige oplysninger om foranstaltningernes og programmernes effektivitet. Organisationsmæssigt bør denne funktion skabe en større sammenhæng mellem udarbejdelsen af pålidelige og brugbare resultater og integreringen heraf i beslutningsprocessen. Dette indebærer, at der de steder, hvor forvaltningen af evalueringsaktiviteterne inden for rammerne af partnerskabet. findes, oprettes egnede strukturer sådanne ikke til -32 Udbygning af overvågningssystemer og-indikatorer De nationale og regionale myndigheder har allerede gjort en betydelig indsats for at i resten af afhjælpe nogle huller eller mangler i deres overvågningssystemer programmeringsperioden. Det vil være nødvendigt af forbedre fastsættelsen af indikatorer og dataindsamlingen, for at de kan udføre deres forvaltningsmæssige opgaver mere effektivt. En bedre integrering mellem finansielle og fysiske indikatorer er et andet område, der er vigtigt for programforvalterne. Hvad angår de fremtidige programmer, skal der sikres en tilstrækkelig kvantificering af basis- og målindkatorer og forelægges referencedata, således at der bedre kan foretages en sammenligning inden for og mellem programmerne. Kommissionen vil i denne henseende til sin tid forelægge retningslinjer vedrørende metodemæssige spørgsmål, herunder en vejledende strukturfondenes hovedindsatsområder. liste over relevante indikatorer for Støtte til evalueringsmetoder Der er gjort betydelige fremskridt inden for evalueringsmetoderne. MEANS-programmet, som Kommissionen tog initiativ til i 1994, har medvirket til at udvikle denne organisations ekspertise på grundlag af de umiddelbare erfaringer med strukturfondene. Der findes ikke en enkelt, standardiseret evalueringsmetode, men derimod en lang række metoder, som bør tilpasses, således at de passer til de specifikke behov og situationen i forbindelse med de enkelte programmer. Der vil imidlertid blive gjort en indsats for at sikre, at ikke blot evaluatorerne, men også programforvalterne, som vil skulle vurdere evalueringsresultaternes kvalitet, har et bedre kendskab til evalueringsteknikkerne. Fremme af en multilateral udveksling af erfaringer Da evalueringen er blevet anerkendt som et vigtigt redskab i beslutningsprocessen, viser de nationale og regionale myndigheder generelt stor interesse for uformelle møder, hvor der kan udveksles erfaringer og synspunkter om dette emne. Den Tekniske Evalueringsgruppe på EU-plan består af for medlemsstaterne og embedsmænd fra Kommissionen, som deltager i forvaltningen af strukturfondene, og kan anses for at være et egnet forum for drøftelse af evalueringsmæssige anliggender og formidling af god praksis. De områder, der især er af fælles interesse, er bl. a. arten og relevansen af evalueringsmetoder (f. eks. måling af beskæftigelseseffekter) og anvendelsen af evalueringsresultaterne til politiske formål. repræsentanter Strukturfondenes samlede effektivitet vil desuden være betinget af, i hvilket omfang de nationale og regionale myndigheder træffer de fornødne foranstaltninger til at udbygge deres overvågningssystemer og er i stand til at anvende god praksis i forbindelse med den næste midtvejsrevision. - 3 3- Annex 1: Bokse Ramme 1: Vurdering af, om evaluering er mulig - EFRU - OP for Andalucfa (mål 1) Ramme 2: Forvaltning af evalueringer - oprettelse af ad hoc-strukturer Ramme 3 : Vurdering af en evaluerings kvalitet: evaluering af EUSR for Irland Ramme 4: Hainaut (mål 1) : HELM-modellen Ramme 5: Vurdering af effektivitet på grundlag af programindikatorer - Merseyside - mål 1 (1994-1999) - faktiske output/resultater af EFRU-interventioner Ramme 6: Vigtige resultater inden for basisinfrastrukturer Ramme 7: Opnåede resultater med hensyn til erhvervslivets rammevilkår Ramme 8: Uddannelsesforanstaltningers effekt for støttemodtagerne Ramme 9: Evaluering af landbrugsstrukturer i Portugal) landbrugsinterventioner - PAMAF (modernisering af Ramme 10: Et eksempel: Operationelt program - Spanien mål 1 Ramme 11 : Forbedring af overvågningssystemerne Ramme 12; Merseyside - pointsystem i forbindelse med ESF-/ EFRU-projekter Ramme 13: Midtvejsrevision (I): EUSR for Irland Ramme 14: Midtvejsrevision (H): Merseyside (mål 1) Ramme 15: Lufthavsprogram - Italien mål 1 Ramme 16: Regionale og lokale beskæftigelsespagter Ramme 17: SMV - EUSR for Grækenland Ramme 18: Integrering af miljøaspektet Ramme 19: Forskning og teknologisk udvikling - Irland Ramme 20: mformationssamfundet (Portugal, Spanien) Ramme 21 : Udvikling af de menneskelige ressourcer - Mand mål 1 Ramme 22: l i ge muligheder: styrkelse af kvindelige iværksættere - 3 4- Annex 2: Financielle implementering of Mål 1 & 6programmer Forpligtetør/Total SF støtte undermål 1 Betalinger/Total SF støtte under m il 1 1994 1995 1996 1997 1998 (1st 1994 1995 1996 1997 1996 (1st halvår) I årlig •Kurmuleret halvår) I årlig Kurrrruleret Financielle implementering of Mål 1 programmer I Medleemsstaterne (31. 12. 97) 75 70 65 60 55 50 45 - 40 35 30 25 20 15 10 5 oJ _ — • ; ~ _ ~ r—t "t: Ba— BBM~_ ••• • „. _ • «t - 7 T I— 69 | "«"L - 59 1V. Z1 ^H~~ BH_~ BBS-— •••— 44J=~ H' 1 H::;: H • —••_. - y / s * li]m |- L_ I. |. L_ • • • • • • • _ K~ •M • i • 63 «4 1 * •. «*• (Østrig : SPD : godkendt i 1995) [oForplgteli«r/Total SF otøtta undar nnål 1 • BataJngar/Total 8Fatatta unbar mål 1 35 Financielle implementering of Mål 6 programmer Forpligtelser/Total SF støtte under mål 6 Finland Betalinger/Total SF støtte under mål 6 Rnland 1994 1995 1996 1997 lårlig • Kurmuleret 1998 (1st halvår) 1&4 1995 1996 1997 lårlig Kummleret 1998 (1st I halvår) 1J Financielle implementering of Mål 6 programmer Forpligtelser/Total SF støtte under mål 6 Sweden Betalinger/Total SF støtte under mål 6 Sweden % 60 1994 I årlig 1995 1996 Kurmuleret 1997 I 1998 (1st halvår) lårlig • Kumuleret 1997 1998 (1st halvår) 36 Annex 3: Raporter Mål 1 raporter Austria Belgium Germany Germany Germany Germany Germany Germany Germany Spain > Spain Spain Spain Spain Spain Spain BURGENLAND: ZWISCHENEVALUATION DES ZIEL1-PROGRAMMS BURGENLAND: Endbericht HAINAUT : EVALUATIONINTERMEDIAIRE DU DOCUP OBJECTIF 1 HAINAUT - RAPPORT FINAL - REGION WALLONNE BERLIN: ZWISCHENBEWERTUNG DER EU- STRUKTURFONDSINTERVENTIONEN IM LAND BERLIN IM ZEITRAUM 1994 BIS 1996 BRANDENBURG: ZWISCHENBEWERTUNG ZUM EINSATE DES EFRE, DES ESF UND DES EAGFL-A IM LAND BRANDENBURG 1994-1996 MECKLENBURG-VORPOMMERN : ZWISCHENBEWERTUNG DES EINSATZES DER EUROPÅISCHEN STRUKTURFONDS (EAGFL, EFRE, ESF) FUR DIE PERIODE 1994 BIS 1996 IM BUNDESLAND MECKLENBURG-VORPOMMERN SACHSEN: ZWISCHENEVALUIERUNG DES EINSATZES DER EUROPÅISCHEN STRUKTURFONDS IM FREISTAAT SACHSEN 1994-1996 SACHSEN-ANHALT: ZWISCHENBEWERTUNG DES EINSATZES DER EU-STRUKTURFONDS IN SACHSEN-ANHALT FUR DEN ZEITRAUM 1994 BIS 1996 THURINGEN: DIE EUROPÅISCHEN STRUKTURFONDS IN THURINGEN : ZWISCHENBEWERTUNG DES MITTELEINSATZESVON 1994 BIS 1996 NEUE BUNDESLÅNDER : DIE EUROPÅISCHEN STRUKTURFONDS IN DEN NEUEN BUNDESLÅNDERN - ZWISCHENBEWERTUNG DES MITTELEINSATZES VON 1994 BIS 1996 (BERLIN/ BRANDENBURG/MECKLENBURG- VORPOMMERN/SACHSEN/SACHSEN- ANHALT/THURINGEN) PO CANARIES : EVALUACION INTERMEDIA PROGRAMA OPERATIVO DE CANARIAS (FEDER) 1994-1999 OP INCENTIVOS REGIONALES : EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO DE INCENTIVOS REGIONALES FEDER (1994-1999) PARA LAS REGIONES ESPANOLAS INCLUIDAS EN EL OBJETIVO N°l DELOS FONDOS ESTRUCTURALES EUROPEOS CANTABRIA : ESTUDIO DE EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO DE CANTABRIA (FEDER) 1994-1999 CASTILLA Y LEON : EVALUACION DE LOS PROGRAMAS OPERATIVOS DEL FEDER Y DEL FSE 1994-1999 DE CASTILLO Y LEON EVALUACION INTERMEDIA DE LA SUBVENCION GLOBAL FEDER-CDTI EN LAS REGIONES OBJETIVO 1 (1994-1999) ESTUDIO DE EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO DE INFRAESTRUCTURA CIENTIFICA DEIPERIODO 1994-1999, EN REGIONES ESPANOLAS INCLUIDAS EN EL OBJ. 1, COFINANCIADO CON FEDER Y COORDINADO POR CICYT EVALUACI6N INTERMEDIA DEL MARCO COMUNITARIO DE APOYO-REGIONES OBJETIVO 1- 1994-1999-ESPANA 37 Apr-98 OIR Apr-97 SEMA GROUP/RIDER- UCL May-97 PROGNOS BERLIN May-97 TROJE BERENTUNG HANN, MONCHEN Apr-97 BUSTRO GmbH ROSTOCK May-97 DIW BERLIN May-97 ISW HALLEFLEIPZIG May-97 IFO INSTITUT FOR WIRTSCHAFTSFOR- SCHUNG DRESDEN Sep-97 IFO INSTITUT FUR WIRTSCHAFTSFOR- SCHUNG DRESDEN Jun-97 SERVICIOS OMICRON, S. A. May-97 SERVICIOS OMICRON SA Jun-97 INFYDE Jan-97 (UNIV. VALLADOLID) Jun-97 INFYDE/CDTI Jul-97 PRICE WATERHOUSE Sep-97 QUASAR Spain Spain Spain Spain Spain Spain Spain Spain Spain Spain Spain France France France France Jul-97 (UNTV. VALLADOLID) Jun-97 GEDESA May-97 AGRO CONSULTING INTERNATIONAL May-97 Jul-96 ARANDA Y BELTRAN S. L. ESTUDIOS Y ANAUSIS SOCIO ECONOM1COS UNIVERSIDADDE OVIEDO Dec-97 ANDERSON ARTHUR Aug-97 ECOTEC Jul-97 Mar-98 UNIVERSIDAD DE CASTILLA-LA MANCHA INSTTTUTO DE DESARROLLO REGIONAL, FUNDACI6N UNIVERSTTARIA ARENALGRUPO CONSULTORSL INSTTTUTO DE DESARROLLO REGIONAL, FUNDACION UNIVERSTTARIA FERECONSULTANTS Jun-97 Feb-98 ERNST & YOUNG Dec-97 ACT Feb-96 CODE/ATHOS CASTILLA Y LEON: EVALUACION DE LOS PROGRAMAS OPERATTVOS DEL FEDER Y DEL FSE 1994-1999 DE CASTILLO Y LEON CEUTA : 2e ESTUDIO DE EVALUACIONINTERMEDIA DEL MARCO DE APOYO COMUNHARIO DE LAS REGIONES OBJETIVO N°l PARA CEUTA (PO CEUTA 1994-1999) GALICIA: EVALUACION INTERMEDIA DEL PROGRAMA OPERATTVO DE GALICIA 1994-1999 cofinanciado por el FEDER (PO GALICIA) PO MEULLA. EVALUACION INTERMEDIA DEL PROGRAMA OPERATTVO FEDER DE MELILLA 1994- 1999 ASTURIAS : EVALUACION DEL PROGRAMA OPERATTVO DEL PRINCIPADO DE ASTURIAS (FEDER) 1994-1999 - INFORME PREPARATORIO OP LOCAL: ESTUDIO DE EVALUACION INTERMEDIA DEL PROGRAMA OPERATTVO LOCAL (FEDER) 1994-1999 PARA LAS REGIONES ESPANOLAS INCLUIDAS EN EL OBJETIVO N° 1 DE LOS FONDOS ESTRUCTURALES EUROPEOS OP MEDIO AMBIENTE: EVALUACION INTERMEDIA DEL PROGRAMA OPERATTVO DEL MEDIO AMBIENTE LOCAL (FEDER) 1994-1999 EN REGIONES ESPANOLAS INCLUIDAS EN EL OBJETIVO NO 1 DE LOS FONDOS ESTRUCTURALES EUROPEOS OP CASTILLA-LA-MANCHA:SEGUNDO INFORME DE EVALUACION-PROGRAMA OPERATIVO FEDER DE CASTILLA-LA MANCHA 1994-1999 ANDALUClA: EVALUACION INTERMEDIA DEL P. O. ANDALUCIA 1994-1999 ANDALUClA: SUBVENCION GLOBAL DE ANDALUCIA 1994-1999 : INFORME DE EVALUACION INTERMEDIA DONANA : EVALUACI6N INTERMEDIA DEL P. O. DONANA Ha PHASE (OBJ. 1) Mar-98 May-97 CORSE: EVALUATIONINTERMEDIAIRE DOCUP OBJECTD? 1 CORSE 1994-1999 GUYANE: EVALUATION INTERMEDIAIRE DE LA MISE EN OEUVRE EN GUYANE DES PROGRAMMATIONS REGIONALES (1994-1999) COFINANCEES PAR LUNION EUROPEENNE (DOCUP ET REGIS II) - SYNTHESE DU RAPPORT NORD-PAS-DE-CALAIS (AVESNES / DOUAI / VALENCIENNES): PROGRAMME OBJECT1F 1 (1994- 1999): EVALUATION INTERMEDIAIRE, EVALUATION DENSEMBLE DU PROGRAMME, ASPECTS SECTORIELS EVALUATION DES MESURES GUADELOUPE:EVALUABILrTE DU DOCUP GAUDELOUPE: RAPPORT D'ETUDE (DOCUP 1994- 1999) - 3 8- Greece Greece Greece Greece Greece Greece Greece Greece Greece Greece Greece Greece Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Ireland Italy Netherlands Portugal Portugal PELOPONNESE: INTERMEDIATE EVALUATION OBJECTIVE 1 - OPERATIONAL PROGRAMME 1994- 1999(a)VOL. A(b)VOL. B GRECE OCCIDENTALE (GRECE OUEST): INTERMEDIATE EVALUATION OBJECTTVE 1 - OPERATIONAL PROGRAMME CDS P. O. EPIRIUS : INTERMEDIATE EVALUATION 1994-1999 OBJECTTVE 1 - OP CRETE: INTERMEDIATE EVALUATION OBJECTTVE 1 - OPERATIONAL PROGRAMME 1994-1999 THESSALIE: INTERMEDIATE EVALUATION OBJECTTVE 1 - O. P. 1994-1999 JLES IONIENNES : INTERMEDIATE EVALUATION OBJECTIVE 1 - O. P. 1994-1999 MACEDOINE CENTRALE + THRACE: INTERMEDIATE EVALUATION OBJ. 1 - O. P. 1994-99 MACEDOINE OCCIDENTALE: INTERMEDIATE EVALUATION OBJECTTVE 1 O. P. 1994-1999 MACEDOINE CENTRALE: INTERMEDIATE EVALUATION OBJECTIVE 1 - O. P. 1994-1999 PO GRECE CONTINENTALE (=CENTR. ): INTERMEDIATE EVALUATION O. P. OBJ. 1 -1994-1999 EGEE DU SUD: INTERMEDIATE EVALUATION OBJECTTVE 1 ILES DE LA MER EGEE SUD - OPERATIONAL PROGRAMME 1994-1999 CSF GRECE: OBJ. l -1994-1999 EXTERNAL EVALUATION OF THE OPERATIONAL PROGRAMME FOR INDUSTRIAL DEVELOPMENT 1994-1999: MID-TERM REVIEW CSF MID-TERM EVALUATION MID TERM EVALUATION OF OPERATIONAL PROGRAMME FOR ECONOMICINFRASTRUCTURE MID-TERM EVALUATION OF THE LOCAL, URBAN AND RURAL DEVELOPMENT O. P. MID-TERM EVALUATION OF THE HUMAN RESOURCES DEVELOPMENT-O. P. 1994-1999 MID TERM EVALUATION OF THE O. P. FOR ENVIRONMENTAL SERVICES 1994-1999 OPERATONAL PROGRAMME FOR TRANSPORT - MID TERM EVALUATION MID-TERM EVALUATION OF THE OPERATIONAL PROGRAMME FOR TOURISM 1994-1999 OPERATIONAL PROGRAMME FOR AGRICULTURE, RURAL DEVELOPMENT AND FORESTRY 1994-1999 MID-TERM EVALUATION OF OPERATIONAL PROGRAMME FOR FISHERJJES 1994-1999 MID-TERM EVALUATION: REGIONAL 1MPACT OF THE COMMUNITY SUPPORT FRAMEWORK FOR IRELAND1994-1999 VALUTAZIONE DI MEDIO TERMINE QUADRO COMUNITARIO DI SOSTEGNO 1994-99 delle REGIONI ITAUANE DELL'OBIETTrVO 1 FLEVOLAND: ON-GOING EVALUATIE DOELSTELUNG 1 PROGRAMMA AMBIENTE:AVALIACAO INTERCALAR DO PROGRAMA AMBIENTE - EVALUATION DU SOUS- PROGRAMME ENVIRONNEMENT DU CCA11PT ALENTEJO:AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIAO DQ ALENTEJO - CCA 1994-1999 May-97 OMAS LTD Jun-97 EEO GROUP SA Apr-97 May-97 May-97 PROPTIKI S. A. - METPON ASTTKIDIACHIRISI S. A. YPODOMILTD May-97 PROOVADISMA LTD Apr-97 INDECOS. A. May-97 EXANTAS LRD May-97 EUROTEC LTD May-97 LDK. May-97 ENVIPLAN Mar-98 Feb-97 REMACO ERNST & YOUNG Apr-97 Feb-97 ESRI INDECON Jan-97 GOODBODY Feb-97 GOODBODY Jan-97 ERM Feb-97 Feb-97 Jan-97 Feb-97 DKM ECONOMIC CONSULTANTS FITZPATRICK ASSOCIATES FITZPATRICK ASSOCIATES INDECON Feb-97 FITZPATRICK ASSOCIATES Jul-97 Jan-97 Feb-97 NUCLEODI VALUTAZIONE/INEA E ISFOL RESEARCH VOOR BELEID QUATERNAIRE (PINHO PAULO) Feb-97 CESOI&D 39 Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal Portugal AMBIENTE:ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL-RENOVACAO URBANA DO PROGRAMA'AMBIENTE E REVITALIZACAO URBANA DO QUADRO COMUNiTARIO DE APOIO 1994-1999 SOCJALSUB-PROGRAMAINTEGRAR AVALIACAO INTERCALAR LISBOA E VALE DO TEJO:ESTUDO DE AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIAO DE LISBOA E VALE DO TEJO PPDR:ESTUDO DE AVALIACAO INTERCALAR PROGRAMA OPERACIONAL PROMOCAO DO POTENCIAL DE DESENVOLVIMBNTO REGIONAL - QUADRO COMUNITARIO DE APOIO1994-1999 SAUDE:AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL DA SAUDE ENERGIA:AVALIACAO INTERCALAR DO PROGRAMA ENERGIA E DO PROJECTO DE GAS NATURAL (INTERREGII - CONCLUSAO DAS REDES DE ENERGIA) DO QCAII (1994-1999) PO CENTRO:ESTUDO DE AVALIACAO INTERCALAR DO P. 6. REGIAO CENTRO PO NORTE:ESTUDO DE AVALIACAO INTERCALAR DOPRONORTE PEDIP n: AVALIACAO INTERCALAR DO PEDJP II: RELATORIO FINAL INTERCALAR PESCA: AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL DAS PESCAS TURISMO: ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL TURISMO E PATRIMONIO CULTURAL DO PROGRAMA M0DERNT2ACA0 DO TECEDO ECONOMICO AGRICULTURA : QCA TI: ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL AGRICULTURA : PROGRAMA MODERNIZACAO DO TECJJX) ECONOMICO - PERIODO 1994-1996 PROFAP: PROGRAMA INTEGRADO DE FORMACAO PARA A MODERNIZACAO DA ADMINISTRACAO PUBUCA - PROFAP 2 : ESTUDO DE AVALIACAO INTERCALAR ALGARVE: ESTUDO DE AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DO ALGARVE TELECOMUNICACOES : ESTUDO DE AVALIACAO DA INTERVENCAO OPERACIONAL DAS TELECOMUNICACOES DO PROGRAMA INFRA- ESTRUTURAS DE APOIO AO DESENVOVIMENTO DO QCA SUB-PROGRAMME TRANSPORTES:AVALlACAO INTERCALAR DA INTERVENCAO OPERACIONAL DOS TRANSPORTES DO PROGRAMA INFRA- ESTRUTURAS DE APOIA AO DESENVOLVIMENTO DO QUADRO COMUNITARI DE APOIO 1994-1999, NO PERIODO ENTRE 1994 E 1996 SUB-PROGRAMME COMERCIO E SERVICOS :ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL COMERCIO E SERVICOS ACORESsESTUDO DE AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIAO AUTONOMA DOS ACORES DO QUADRO COMUNITARIO DE APOIO 1994-1999 40 Mar-97 Jan-97 PARTEX-INST1TUTO DEGESTAOE ALIENACAODO PATRIMONIO HABTTACIONALDO ESTADO CIES Jan-97 CEDRU Jan-97 CEETA Feb-97 CESO I&D Jan-97 IESE Jan-97 CEDRU Jan-97 QUATERNAIRE Mar-97 Apr-97 UNIVERSIDADE CATOUCA PORTUGUESA CESO I&D Feb-97 DELOITTE& TOUCHE Jun-97 AGRO. GES Mar-97 QUATERNAIRE Jan-97 CEDRU Mar-97 SILICON Apr-97 CISED Nov-97 CESO l&D Feb-97 CESO I&D Portugal Portugal Portugal Portugal United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom (IRN) United Kingdom United Kingdom SUB-PROGRAMME EDUCACAO:AVALIACAO INTERCALAR DE PRODEPII: EDUCACAO CffiNCIA E TECNOLOGIA:ESTUDO DE AVALIACAO INTERCALAR DO SUB-PROGRAMA CIENCIA E TECNOLOGIA OP PESSOA: ESTUDO DE AVALIACAO INTERCALAR PROGRAMA OPERACIONAL EMPREGO E FORMACAO PROFISSIONAL DO QCA TI 1994-1999 (PROGRAMMA PESSOA) CSF PORTUGAL-OBJ. 1:AVALIACAO INTERCALAR DO QUADRO COMUNITARIO DE APOIOII NORTHERN IRELAND SINGLE PROGRAMME 1994- 1999 - MID TERM REVIEW - EXTERNAL EVALUATION MID-TERM REVIEW OF THE ENVIRONMENTAL SERVICES AND PROTECTION SUB-PROGRAMME MEASURES 4. 1. 8 AND 4. 19. OF THE SUB- PROGRAMME FOR AGRICULTURE AND RURAL DEVELOPMENT: MID TERM EVALUATION MID-TERM EVALUATION OF THE NORTHERN IRELAND SINGLE PROGRAMME FOR AGRICULTURE AND RURAL DEVELOPMENT (SPARD) ENERGY SUB-PROGRAMME 1994-1999 : MID-TERM REVIEW MID TERM EVALUATION OF THE TRANSPORTATION SUB-PROGRAMME, 1994-1999 MID-TERM EVALUATION OF THE INVESTMENT IN THE DEVELOPMENT OF PEOPLE SUB-PROGRAMME, NORTHERN IRELAND SINGLE PROGRAMME 1995-99 MID TERM REVIEW OF PHYSICAL & SOCIAL ENVIRONMENT PROGRAMME (EU S. F. ) Sep-97 QUATERNAIRE Feb-98 TESE/GEOIDEIA Mar-97 IESE (INSTITUTODE ESTUDOS SOCIAIS E ECONOMICOS jun-98 CISEP May-97 COLIN STUTT CONSULTING Dec-96 PIEDA CONSULTANTS Feb-97 COOPERS & LYBRAND Mar-97 ERM Jan-97 ERM Jan-97 ERM Dec-96 LRDP Jan-97 COOPERS & LYBRAND MID-TERM EVALUATION OF THE TOURISM SUBPROGRAMME 1994-1999 Feb-97 NIERC MERSEYSJDE: MID-TERM EVALUATION OF MERSEYSIDE OBJECTIVE ONE PROGRAMME HIGHLANDS AND ISLANDS - OBJECTIVE 1 PROGRAMME INTERMEDIATE ASSESSMENT Nov-96 PIEDA PLC Jun-97 SQW Mål 6 raporter Finland SUOMEN TAVOITE 6 - OHJELMAN ARVIOINNIN VÅLIRAPORTTI [FI] Jan-98 Sweden HALVTIDSUTVÅRDERING AV SVERIGES NAL-6- PROGRAM Nov-97 HELSINGIN YL10PISTON TIETOPALVELUT OY/ETLATIETO OY/OY FINNAGRO AB/INT. DEVEL. IRL/PE LLERVON NORD-REGIO-EPRC - 4 1- ISSN 0254-1459 KOM(98) 782 endelig udg. DOKUMENTER DA 04 13 09 16 Katalognummer : CB-CO-98-786-DA-C Kontoret for De Europæiske Fællesskabers Officielle Publikationer L-2985 Luxembourg Ù2