title: Särskild Rapport nr 15/98 om utvärdering av strukturfondsåtgärder avseende perioderna 1989-1993 och 1994-1999, samt kommissionens svar (Framlagd i enlighet med artikel 188c.4 andra stycket i EG-fördraget)

eurovoc_concepts:
Community support framework
Structural Funds
impact study
management
operational programme
project evaluation

formats: html pdf print

text: 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/1 I (Meddelanden) REVISIONSRÄTTEN SÄRSKILD RAPPORT nr 15/98 om utvärdering av strukturfondsåtgärder avseende perioderna 1989–1993 och 1994–1999, samt kommissionens svar (Framlagd i enlighet med artikel 188c. 4 andra stycket i EG-fördraget) (98/C 347/01) INNEHÅLLSFÖRTECKNING Punkt Sida 1. INLEDNING. 1. 1 — 1. 4 2. GRANSKNINGENS OMFATTNING. 2. 1 — 2. 3 3. SAMMANFATTNING AV DE VIKTIGASTE IAKTTAGELSERNA. 3. 1 — 3. 12 4. ALLMÄNNA PROBLEM. 4. 1 — 4. 36 Inledning. 4. 1 — 4. 11 Referensram. 4. 12 — 4. 13 Statistisk bas och information om uppsatta mål. 4. 14 — 4. 15 Indikatorer. 4. 16 — 4. 21 Beaktande av utvärderingen. 4. 22 — 4. 27 Utvärderingarnas objektivitet. 4. 28 — 4. 30 Utvärderingskontrakt som tecknats av kommissionen. 4. 31 — 4. 36 5. UTVÄRDERINGAR I EFTERHAND AV EGSR-MÅL 1 OCH 2 (1989–1993). 5. 1 — 5. 17 Inledning. 5. 1 Utvärdering i efterhand av EGSR-mål 1 (1989-1993). 5. 2 — 5. 8 Utvärderingar i efterhand av mål 2 (1989-1993). 5. 9 — 5. 17 3 3 4 5 5 6 7 7 8 8 9 9 9 10 11 C 347/2 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 Punkt Sida 6. UTVÄRDERING EFTER HALVA TIDEN (1994–1999). 6. 1 — 6. 27 Utveckling och integrering av principer för utvärderingar efter halva tiden 6. 1 — 6. 7 Förfarande för genomförande. 6. 8 — 6. 13 Prioriteringar för utvärderingsmål. 6. 14 — 6. 20 Tillvägagångssätt, metoder och tekniker. 6. 21 — 6. 26 Förverkligande av programmen för mål 2 (1994–1996). 6. 27 7. INVERKAN AV STRUKTURFONDER OCH MODELLER FÖR UTVÄR- DERINGAR. 7. 1 — 7. 22 Inverkan på EGSR- och programnivå. 7. 1 — 7. 15 Resultat av modeller för strukturfonders inverkan. 7. 1 — 7. 13 BNP-tillväxt. 7. 2 — 7. 3 Reell konvergens uttryckt i BNP per capita. 7. 4 — 7. 8 Sysselsättning och arbetslöshet. EGSR-instrumentens effektivitet. 7. 9 7. 10 Krav på tillskott och samfinansiering. 7. 11 — 7. 12 Hållbar utveckling. 7. 13 Utvärderingens roll på makroekonomisk nivå i beslutsprocessen för strukturfonderna. 7. 14 — 7. 15 Inverkan på delprogramnivå, åtgärds- och projektnivå. 7. 16 — 7. 22 8. SLUTSATS. 8. 1 — 8. 19 TABELLER. BILAGOR. Kommissionens svar. 13 13 14 15 15 16 17 17 17 17 17 18 18 18 18 19 19 20 22 31 40 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/3 1. INLEDNING 1. 1. I 1998 års reform av strukturfonderna föreskrivs att kommissionen och medlemsstaterna skall utvärdera strukturpolitiken inom Europa. Denna skyldighet för- stärktes 1993 genom den ändrade förordningen inom strukturfondsreformen ramen (1994–1999), samt av standardbestämmelserna i de nya ramarna för gemenskapsstöd (EGSR) och de samlade programplaneringsdokumenten (SPD). för granskningen av 1. 2. Utvärderingen, som är ett oundgängligt styrmedel för en god förvaltning av strukturfonderna, definieras i förordningsbestämmelserna (1) som en de viktigaste bedömning av effektiviteten på tre nivåer: a) Inverkan av de samlade strukturåtgärderna på de mål som anges i punkt 130a i fördraget. b) Inverkan av de samlade åtgärder som anges i ramarna för gemenskapsstöd. c) Särskild inverkan av varje operativt ingripande (pro- gram och andra former av åtgärder). 1. 3. Genomförandet av utvärderingen omfattar i princip tre faser: a) Bedömning i förhand (2), som möjliggör en korrekt identifiering av å ena sidan de socioekonomiska pro- blem som skall lösas och de mål som skall uppnås och å andra sidan den strategi som antagits för att med tillgängliga resurser lösa dessa problem. b) Utvärdering efter halva tiden, som under genomföran- det av programmet gör det möjligt att kontrollera om målen fortfarande är anpassade och om man är på väg att nå önskade resultat. c) Utvärdering i efterhand, som sker så snart program- met är avslutat och vars syfte är att analysera om uppnådda resultat och effekter är positiva. De lång- siktiga effekterna av en strukturåtgärd kan inte upp- skattas förrän flera år efter det att den har vidtagits. 1. 4. I bestämmelserna efter ändringarna 1993 betonas medlemsstaternas och kommissionens ansvar för utvärde- ring, vilka ingår i ramen för partnerskapet (3). I detta sammanhang har kommissionen tagit initiativet för arbetsledningen och den allmänna samordningen av genomförandet av utvärderingen och skall, enligt vad som avses i artikel 16 i förordning (EEG) nr 2052/88, lägga fram en utvärderingsrapport vart tredje år om uppnådda framsteg avseende ekonomisk och social sam- manhållning och det sätt på vilket strukturfonderna och den nationella samfinansieringen har bidragit till detta. 2. GRANSKNINGENS OMFATTNING 2. 1. Det allmänna syftet med revisionsrättens (4) gransk- ning är att kontrollera vilka framsteg som har nåtts i utvärderingarna av strukturåtgärderna inom gemenska- pen. Det sker lika mycket på system- och utvärderings- strukturnivå som på metodnivå. Granskningen behand- lade hur utvärderingen av strukturåtgärderna hade genomförts såväl av kommissionen som av partnerskapet. Granskningar har genomförts såväl av den rättsliga som av den fördragsenliga användningen av de krediter i Europeiska gemenskapernas budget som är avsedda för utvärdering samt av kvaliteten på den finansiella förvalt- ningen. 2. 2. I granskningen har även teknikerna för utvärdering av den socioekonomiska inverkan av strukturåtgärderna bedömts. Även om granskningen inte gör en direkt utvär- dering av programmen för att få fram nya vetenskapliga resultat, tar den upp vissa av de resultat som konstaterats av experter för att på så sätt åskådliggöra förhållandet mellan de ekonomisk-politiska styrmedel som använts och de uppnådda resultaten. 2. 3. Särskilda granskningar har behandlat utvärdering- arna i efterhand av ramarna för gemenskapsstöd och de operativa programmen för mål 1 och 2 för programperio- den 1989–1993 samt utvärderingarna efter halva tiden av ramarna för gemenskapsstöd, de samlade programplaner- ingsdokumenten och det operativa programmet för pro- gramperioden 1994–1999. Samtliga utvärderingar i efter- (1) Det handlar i synnerhet om a) artikel 6 i ramförordningen (förordning (EEG) nr 2052/ 88, ändrad genom förordning (EEG) nr 2081/93) om strukturfondernas uppgifter och effektivitet och om sam- ordningen av deras verksamhet, b) artikel 26 i förordningen om samordning av strukturfon- derna (förordning (EEG) nr 4253/88, ändrad genom förordning (EEG) nr 2082/93). (2) ”Utvärderingen i förhand” kallas ibland ”bedömningen i förhand”. I denna rapport har revisionsrätten föredragit att behålla uttrycket enligt förordningen: ”utvärdering i för- hand”. (3) Gemenskapens strukturåtgärd är utformad som ett komple- ment till motsvarande nationella åtgärder eller ett bidrag till dessa. Den upprättas genom ett nära samråd, kallat ”partner- skap”, mellan kommissionen, medlemsstaten, regionala och lokala myndigheter, behöriga myndigheter, ekonomiska och sociala partner och andra behöriga organ. Partnerskapet sköts med full respekt för enskilda partners institutionella, juridiska och finansiella befogenheter. (4) I sina årsrapporter, i synnerhet för budgetsåren 1990 (kapitel 7), 1993 (kapitel 6, 7, 8 och 9) och 1994 (kapitel 4), angav revisionsrätten redan många brister i fråga om utvärdering för programperioden 1989 till 1993. C 347/4 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 hand av ramarna för gemenskapsstöd 1989–1993 för mål 1 har beaktats samt ca 20 % av utvärderingarna i efter- hand av ramarna för gemenskapsstöd 1989–1993 för mål 2 samt 15 % av utvärderingsrapporterna efter halva tiden för ramarna för gemenskapsstöd 1994–1999, utvalda med hänsyn till geografisk fördelning och åtgärdernas art (ramar för gemenskapsstöd, samlade programplanerings- dokument, operativa program). Dessutom har man analy- serat 15 av de 25 utvärderingsrapporter som i första hand behandlar de makroekonomiska aspekterna. Granskningen har genomförts på avdelningar inom kom- missionen och i åtta medlemsstater (Belgien, Grekland, Spanien, Frankrike, Irland, Italien, Nederländerna, Portu- gal), där man har rådfrågat utvärderarna och de ansva- riga hos de berörda nationella förvaltningarna. 3. SAMMANFATTNING AV DE VIKTIGASTE IAKTTA- GELSERNA 3. 1. Utvärderingen har framför allt utvecklats och spri- dits genom kommissionens drivkraft under programpla- neringsperioden 1994–1999 och särskilt inom ramen för Europeiska regionala utvecklingsfonden (ERUF). Det har medfört att detta verktyg erkänts på förvaltnings- och programplaneringsområdena. Från och med denna pro- gramplaneringsperiod (1994–1999) har utvärderingen till- lämpats systematiskt på de två första faserna (på för- hand, efter halva tiden och kommer att tillämpas vid slutet av perioden i efterhand) (se punkt 4. 2–4. 8). 3. 2. Även om kommissionen har kännedom av direkt- kostnaderna för utvärderingen, har kommissionen inte alltid tillgång till den fullständiga informationen om kost- naderna i samband med utvärderingen inom ramen för partnerskapet (se punkt 4. 9–4. 11). 3. 3. Kommissionen har bidragit betydligt till att sprida utvärderingskulturen även om inga tillräckligt klara grän- ser angivits för indikatorer och metoder för utvärdering i sitt program ”Me´thodes d’e´valuation des actions de nature structurelle” (Means) (utvärderingsmetoder för åtgärder av strukturell natur). Med hänsyn till komplex- iteten av de metodologiska aspekterna i samband med utvärderingen finns det inte en enskild metodik som kan tillämpas på alla situationer. Det är dock viktigt att kommissionen tillhandahåller metodologiska ramar som gör det möjligt att följa lämpliga riktlinjer för att genom- föra utvärderingar som är anpassade till enskilda situatio- ner (se punkt 4. 12–4. 13). 3. 4. Indikatorernas kvalitet står i nära förbindelse med uppgifternas tillförlitlighet i uppföljningen av åtgärderna och i befintliga statistiska databaser, vilka faller under medlemssaternas ansvar och visar sig ofta vara otillräck- liga. Medlemsstaterna bör förbättra deras kvalitet (se punkt 4. 14–4. 21). 3. 5. Många utvärderingar har avslutats för sent, vilket likaså kan försena ändringar i programmen. Dessutom bör utvärderingsresultaten uttryckta i åtgärdsformernas resultat och effektivitet beaktas mera i beslutssystemet vad (se punkt 4. 22–4. 27). avser programplaneringsändringar 3. 6. Vad beträffar utvärderingarnas objektivitet utför kommissionen ingen enhetlighets- och tillförlitlighetskon- troll av de indikatorer och system som används för att framställa dem (se punkt 4. 29–4. 30). 3. 7. Förfarandet för tecknande av konsultkontrakt för utvärdering visar fortfarande på betydande brister på kommissionsnivå. Val av konsulter är inte alltid klart motiverade. Specifikationerna är fortfarande mycket generella vad gäller den teknik som står i samband med metoder, indikatorer och krav på resultat. Förseningarna och störningarna under framställningen av utvärderings- rapporterna leder till en varierande kvalitet på analyserna och ibland till oklara rekommendationer (se punkt 4. 31–4. 36). 3. 8. Tillämpningen av metoder för utvärderingar i efter- hand av mål 1 och 2 åren 1989–93 har uppvisat brister i statistiken, avsaknad av mål och kvantifierade prognosin- dikatorer, en ineffektiv resultatuppföljning. Dessutom har den inte alltid utförts på ett tillräckligt rigoröst sätt. Dessa utvärderingar har likväl visat att strukturfonderna har ett förädlingsvärde för gemenskapen, både på genom- förandenivå, på resultat och effekter av gemenskapsstöd- ramar, operativa program och åtgärder samt på program- planerings-, organisations-, uppföljnings-, samordnings-, partnerskaps- och tillskottsnivå (se punkt 4. 15–4. 19, 5. 1, 5. 4 och 5. 10–5. 16). 3. 9. Vad beträffar utvärderingarna efter halva tiden i samband med strukturfondsåtgärder 1994–1999, vilka genomförts i form av partnerskap inom ramen för upp- följningskommitte´erna, prioriteras olika utvärderingsmål olika. Granskningen av genomförandet på fysisk och finansiell nivå har inte heller någon viktig plats i utvärde- ringen efter halva tiden. Utvärderingen av effekterna hindras av problem, i synnerhet i fråga om indikatorer och utformning av resultatmodeller. Ofta är dessa utvär- deringar endast till begränsad nytta för beslutsprocessen, projektledning, programändringar eller till förberedelse av kommande åtgärder (se punkt 4. 16–4. 21, 6. 5, 6. 7 och 6. 14–6. 26). 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/5 3. 10. För mål 2 har utvärderingen uppvisat följande brister: a) En obalans mellan programmets genomförande och finansieringen från gemenskapen, eftersom kreditöver- föringen från ett program till ett annat fortfarande är stor, ca 12 % i genomsnitt för övergången från perio- den 1994–1996 till perioden 1997–1999 (se punkt 6. 27). b) Raden av korta programperioder tillåter inte någon optimal användning av utvärderingsresultaten (se punkt 4. 23). c) Den indirekta effekten mäts fortfarande på ett otill- räckligt sätt för att avgränsa strukturåtgärdernas inverkan, i synnerhet på sysselsättningen (se punkt 5. 12–5. 15). 3. 11. De makroekonomiska utvärderingarna har visat på positiva resultat, i synnerhet på nivån för strukturåt- gärdernas inverkan (BNP-tillväxt, effekter på tillgång och efterfrågan, förbättring av sysselsättning och konvergens, EGSR-instrumentens effektivitet). Detta trots bristerna i systemen för programplanering, genomförande och upp- följning av dessa åtgärder (se punkt 7. 1–7. 14). 3. 12. Utvärderingarna på delprogram- eller åtgärdsnivå är fortfarande otillräckliga. Detta beror för övrigt på tekniska svårigheter kopplade till spridning och brist på samstämmighet inom ett stort antal åtgärder och delpro- gram (se punkt 7. 17). 4. ALLMÄNNA PROBLEM Inledning 4. 1. Utvärderingen syftar till att bestämma de socio- ekonomiska effekterna av de vidtagna åtgärderna, det vill säga att undersöka erhållna resultat, jämföra dem med investerade resurser och analysera kostnaderna för dessa. Alla dessa punkter bör analyseras i förhållande till prog- noser. För att denna utvärdering skall kunna genomföras på ett bra sätt är det nödvändigt att ha en bra statistisk bas till förfogande, att sätta upp kvantifierade mål base- rade på ett system med indikatorer samt att utveckla ett metodiskt och analytiskt ramverk. Samtidigt måste man utgå ifrån en analys av förhållandet mellan använda styrmedel, slutresultat och delresultat. Revisionsrätten har konstaterat brister på alla nivåer, vilka hitintills har begränsat nyttan med de utvärderingar som har utförts inom ramen för strukturfonderna, även om äkta framsteg har noterats vilka bidragit till att konsolidera utvärde- ringens dynamik. 4. 2. Från 1988 års reform finns utvärderingen uttryckli- gen inskriven inom ramen för partnerskap (artikel 26 i förordning (EEG) nr 4253/88 – och anges närmare i den ändrade förordningen av den 20 juli 1993). Under den första programplaneringsperioden och fram till 1995 utfördes utvärderingarna dock främst på kommissionens initiativ (5). Dessa utvärderingar – särskilt de som gjordes i efterhand – har obstruerats av oexakta utvecklingsstra- tegier och av en otillfredsställande uppföljning. De har dessutom i allmänhet inte blivit föremål för en verklig bokföring eller en fördjupad diskussion på uppföljnings- kommitte´nivå. 4. 3. Kommissionen har först och främst sett till att inrätta sitt eget utvärderingssystem för samtliga gemen- skapsstödramar som täcker reformens fem prioriterings- mål (6). Bland kommissionens initiativ i samband med utvecklingen av utvärderingarna och de därtill kopplade metoderna, bör man nämna skapandet år 1992 av en teknisk grupp för utvärdering av regionalpolitik och på det metodiska planet lanseringen år 1994 av Means- programmet (utvärderingsmetoder för åtgärder av struk- turell natur). 4. 4. Kommissionen har under programplaneringsperio- den 1994–1999 stått för en ny utvärderingsdynamik vilket nu tar sig uttryck i en systematisk tillämpning på de två första faserna (på förhand och efter halva tiden) och ytterligare på efterhandsfasen. 4. 5. Även om det inte anges utförligt i strukturfondernas regelverk har utvärderingen efter halva tiden tillämpats systematiskt från och med 1995–1996 på samtliga gemenskapsstödramar, samlade programplaneringdoku- ment och operativa program för programplaneringsperio- den 1994–1999. Utvärderingen ingår konkret i partner- skapsramen, vilket gör det möjligt för uppföljningskom- (5) Det gäller följande utvärderingar a) för programperioden 1989–1993: — Bedömningar i förhand av ESGR-mål 1 och 5b (1990–1991). — Utvärderingar (1994–1995). — Utvärderingar (1996–1997). i i efterhand av ESGR-mål efterhand av ESGR-mål 1 2 — Tematiska utvärderingar (små och medelstora företag, telekommunikation). b) för programperioden 1994–1999: — Bedömningar i förhand av regional utvecklingsplan mål 1. — Bedömningar i förhand av mål 5b-programmen. — Bedömningar i förhand av SPD-mål 2 1994–1996 — Bedömningar i förhand av SPD-mål 2 1997–1999 — Kritiska analyser av SPD och EGSR-mål 1 (1995). Utvärderingar per medlemsstat av europeisk strukturpolitiks inverkan på ekonomisk och social sammanhållning inom unionen har även beställts av kommissionen. (6) Anmärkning av GD XXII av den 14 mars 1991. C 347/6 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 mitte´erna att använda den som ett verktyg för en integre- rad förvaltning och således bidra till att utvärderingskul- turen sprids på stor skala. Kommissionen har utarbetat ett system för utvärdering efter halva tiden i flera faser för implementering i medlemsstaterna (7). 4. 6. I detta system finns det emellertid inte närmare angivet på vilket konkret sätt förfarandet skall genomfö- ras (definition av kravspecifikation, kriterier för val av utvärderare, utvärderingsrapportens disposition, datain- samling, erforderliga kvalitetsnormer, tidsplan osv. ). 4. 7. Kommissionen har dessutom anordnat ett antal arrangemang vilka kompletterats med ett flertal publika- tioner (8). Genom att samla ihop utvärderarna och förval- tarna av strukturfonderna har dessa arrangemang bidra- git till att utveckla en utvärderingskultur och en medve- tenhet hos förvaltarna. Utvärderingen har väsentligt pre- senterats som en erfarenhetsbaserad inlärningsprocess. 4. 8. Under maj 1998 lade kommissionen fram arbetsdo- kumentet ”Bilan d’e´valuation 1996/1997” (resultat från utvärderingarna 1996/1997) som ingår i det preliminära förslaget till gemenskapernas allmänna budget för räken- skapsåret 1999. I detta beskrivs utvärderingsverksamhe- ten under 1996-1997, där tas förteckningen upp över utförda och pågående utvärderingar och där ges en (7) a) Utarbetandet 1994 av de första referenstermerna för utvärdering efter halva tiden av EGSR och åtgärdsformer mål 1. Utvärderingens roll efter halva tiden bekräftas som ett styrmedel för stöd för uppföljningskommitte´ernas beslut och dess genomförande inom partnerskapet. Även genomförandet anges närmare, i synnerhet utvärderings- gruppens profil och uppgifter. b) Spridningen 1995 av gemensamma riktlinjer för uppfölj- ning och utvärdering efter halva tiden för gemenskapens strukturfonder, som definierar analysdelarna (globala och specifika mål, indikatorer), samt kopplingen mellan upp- följning och utvärdering efter halva tiden. c) Brevutskick till medlemsstaterna (1995) med påminnelse om krav på utvärdering efter halva tiden och ytterligare precisering av önskade metoder för genomförande. (8) Till exempel följande: a) Konferensen i Bryssel om utvärdering av den europeiska regionalpolitiken (16 november 1995) i synnerhet i fråga om resultaten från utvärderingarna i efterhand av mål 1 åren 1989–1993 och bedömningarna förhand 1994–1999. i b) Europeiska konferensen om utvärderingsmetoder för strukturfondsåtgärder (Berlin, 2–3 december 1996) med inriktning på problemen med utvärdering av inverkan på mikroekonomisk, makroekonomisk och tematisk nivå. c) Konferensen i Sevilla i mars 1998 för främjande av utbyte av erfarenheter om utvärdering inom ramen för partner- skapet. sammanställning av uppnådda resultat från de utvärde- ringar som genomförts 1996–1997. för utvärderingarna kan 4. 9. Utgifterna finansieras antingen direkt av kommissionen eller samfinansieras tillsammans med medlemsstaterna. I tabell 1 och 2 anges de utgifter som finansierats av GD XVI inom området för utvärderingen av de två programperioderna 1989–1993 och 1994–1999. 4. 10. För perioden 1989–1993 var utgifterna för utvär- dering ca 10 miljoner ecu, vilket visas i tabell 1. Omkring två tredjedelar av utgifterna härstammar från två områ- den som direkt omfattas av kommissionens ansvar och som är ett resultat av kommissionens egna initiativ: å ena sidan gemenskapsinitiativen enligt artikel 11 i förordning (EEG) nr 4253/88 som uppgår till ett belopp på 3,1 miljoner ecu och å andra sidan de tvärgående och tema- tiska såsom små och medelstora företag, telekommunika- tion, miljö eller mänskliga resurser som uppgår till ett belopp på 3,2 miljoner ecu. De belopp som var avsedda för utvärdering av mål 1 och 2 av strukturfonderna förblev däremot relativt låga med hänsyn till att partner- skapet under samma period inte har utvecklats nämnvärt inom området för utvärdering. För perioden 1994–1999 är det belopp som avsatts för utvärdering 25,2 miljoner ecu i april 1998, vilket visas i tabell 2. Denna ökning i förhållande till föregående period kan förklaras av utvecklingen av utvärdering efter halva tiden och därtill kopplade metoder inom ramen för partnerskapet. 4. 11. Vad gäller de utgifter som finansierats av kommis- sionen och medlemsstaterna inom detta område och som betydligt ökat sedan 1996 har kommmissionen inte alltid tillgång till fullständig information, särskilt då utvärde- ringarna tas med i åtgärden ”tekniskt stöd” i de opera- tiva programmen som kan omfatta även andra utgifter. Ett belopp som har särskilt avsatts för utvärderingsbeho- ven skulle kunna läggas in i början av programmet. Det skulle ge bättre insyn i kostnaderna för utvärderingarna. Referensram 4. 12. Inom utvecklingsprocessen för utvärderingen har programmet Means (1995–1998) med ett belopp om 2,8 miljoner ecu en särskild plats (9). Det tillvägagångssätt som används syftar till att skapa en metodisk utveckling som är enhetlig och sammanhängande rakt igenom samt- liga de metoder som används av medlemsstaterna samt (9) Detta program förvaltas gemensamt av kommissionen och en extern konsult, vars deltagande finansieras av B2-1820-linjen med ett årsbelopp på 932 000 ecu. 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/7 till att ge goda exempel. Detta tillvägagångssätt, som i grund och botten är stimulativt och empiriskt, gör det inte möjligt för kommissionen att uttala sig om konkreta sätt att använda utvärderingsmetoder eller om val av indikatorer, i synnerhet de indikatorer som är avsedda att mäta de makroekonomiska effekterna inom området regional utveckling. Med hänsyn till komplexiteten av de metodologiska aspekterna i samband med utvärderingen finns det inte en enskild metodik som kan tillämpas på alla situationer. Det är dock viktigt att kommissionen tillhandahåller metodologiska ramar som gör det möjligt att följa lämpliga riktlinjer för att genomföra utvärde- ringar som är anpassade till enskilda situationer. 4. 13. Resultaten från Means-programmet har hittills utgjort grunden till ett nytt tillvägagångssätt inom områ- det utvärdering, i synnerhet genom att införa ett gemen- samt språk, och har gjort det möjligt att förbereda en utvärdering efter halva tiden inom ramen för partnerska- pet. Tabell 3 och 4 visar det allmänt godtagna tillväga- gångssättet för utvärdering. Means-programmet har ännu inte givit tillfredsställande svar på de frågor som uppstår i samband med de praktiska eller operativa aspekter som är kopplade till utvärderingen. På så sätt förblir två grundläggande frågor obesvarade: vilket system av indi- katorer som är lämpligast för att göra en global bedöm- ning av gemenskapens strukturprogram och vilket utvär- deringssätt som är lämpligast för att mäta de socioekon- omiska effekterna av ett visst strukturprogram inom ramen för regional utveckling. Kommissionen kan ännu inte närmare ange några konkreta tekniker som kan tillämpas i den enskilda utvärderingssituationen. Denna brist inverkar i synnerhet på genomförandet av utvärde- ringarna efter halva tiden av åtgärdsformerna under pro- gramperioden 1994–1999. Statistisk bas och information om uppsatta mål 4. 14. Målen för utvärderingarna, oberoende av om det gäller utvärderingar i förhand, utvärderingar efter halva tiden eller utvärderingar i efterhand, är ofta alltför all- mänt angivna, även vad avser målen för åtgärderna. Indikatorer innehålla 4. 16. Förekomsten av tillförlitliga och lämpliga indika- torsystem är en nödvändig del av programplaneringsför- farandet. För att utvärderingen skall kunna genomföras bör strukturprogrammen information om genomförande på finansiell och fysisk nivå samt om åtgärdenas resultat. Indikatorerna bör kunna ge förval- tarna information om de omedelbara och varaktiga effek- terna av vidtagna åtgärder och göra det möjligt att mäta uppnådda framsteg i förhållande till de globala program- målen, exempelvis regional tillväxt och minskning av arbetslöshet. till utgiftsintygens 4. 17. Tillförlitligheten hos de finansiella indikatorerna är nära knuten tillförlitlighet, vilka skickas till kommissionen för ersättning från gemenska- pen för dessa. De fysiska indikatorerna anges ofta som kompletterande information och tillförlitligheten är rela- tiv. De befintliga databaserna tillåter inte alltid registre- ring av genomförandet av den fysiska utvecklingen och de slutliga bidragsmottagarna ger inte alltid förvaltarna löpande information om stadiet för de fysiska genomför- andena. Utvärdering efter halva tiden av det operativa programmet Lissabon och Vale do Tejo i Portugal uppvi- sar fysiska indikatorer som är strikt proportionella mot utgifterna, utan att uppvisa någon variation kopplad till förseningar av genomförandet eller p. g. a. andra orsaker. Medlemsstaterna bör förbättra de egna uppföljningsme- kanismerna och de databaser som stödjer indikatorerna. 4. 18. Mätning av å ena sidan resultat och effekter på delprogramnivå och åtgärder, och å andra sidan inverkan på programnivå, är förknippad med osäkerhet vad gäller fastställandet av orsakssamband mellan olika målnivåer och mellan mål och åtgärder och projekt samt vad avser fastställande av horisontella komplementaritets- och synergisamband mellan åtgärder och mål. Det är sålunda svårt att konkretisera en åtgärds specifika resultat på regional utveckling eller en investerings inverkan på efter- frågan eller desto mer på utbudet. Inom detta område är sökning efter indikatorer ett lämpligt medel för en utvär- dering av resultaten och för EGSR 1994–1999 har man ännu inte sett vilken inverkan detta har fått (se punkt 6. 23). 4. 15. Den statistiska basens utveckling utgör ett hinder för uppföljning och utvärdering av de program och åtgärder som samfinansieras genom strukturfonderna. Huvudsakliga brister är otillräcklig statistisk täckning, som begränsas till de berörda områdena, avsaknad av statistiska data för vissa aspekter och periodicitet i infor- mationsinsamlingen i förhållande till uppföljnings- och utvärderingsbehoven. 4. 19. Bedömningen i förhand av EGSR är nödvändig för senare utvärderingar och denna gör att alla indikatorer för resultat och inverkan fastställs och kvantifieras. På så sätt möjliggörs en bedömning av förväntad inverkan av programmet och en jämförelse med verkliga effekter. I detta sammanhang har tillvägagångssättet med målinrik- tad ledning inte alltid tillämpats på harmoniserat eller tillfredsställande sätt. Detta har haft en viss verkan på C 347/8 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 området för det antal indikatorer som krävs för utvärde- ringen. Sålunda innehåller italienska EGSR 1994–1999 ett lågt antal indikatorer, vilket skulle kunna försvåra senare utvärderingar. Å andra sidan innehåller den portu- gisiska EGSR 1994–1999, vilken godtogs av kommissio- nen utan större ändringar, ett alltför stort antal indikato- rer, ca 300, vilket också skulle kunna försvåra utvärde- ringen. Denna skillnad i antal indikatorer från en EGSR till en annan visar på bristande överensstämmelse inom programmet. Förekomsten av flera allmänna och föga kvantifierbara mål ledde ibland till att man under utvär- deringen efter halva tiden gjorde en översyn av indikator- systemet som godkänts av kommissionen under bedöm- ningens förstadium, eftersom detta system var otillräck- ligt definierat och operativt. 4. 20. De strukturåtgärder och de socioekonomiska situationer som de inverkar på ger upphov till en stor mängd olika indikatorer som ofta fastställs på ett decen- traliserat sätt. Kommissionen har inte utvecklat förteck- ningar över de indikatorer som den anser vara nödvän- diga och representativa för den regionala utvecklingen eller inom ramen för olika typer av åtgärder. Dock har delförteckningar som har lämnats in till vissa nationella eller regionala myndigheter varit föremål för diskussion. 4. 21. Kvantifieringen av indikatorerna för resultat och inverkan borde ökas inom ramen för uppföljning, utan att man gör avkall på tillförlitligheten i denna kvantifie- ring. Det händer att den inte är tillförlitlig och man kan i vissa fall inte undvika att skapade arbetstillfällen räknas två gånger eller att det inte finns möjlighet att urskilja brutto- och nettoeffekter på sysselsättning. Detta har konstaterats vid jämförelse av utvärderingsrapporten för det operativa programmet Brandebourg med statistiska data avseende antalet personer som var inskrivna i för- säkringskassan. Beaktande av utvärderingen 4. 22. Utvärderingens bidrag till ett effektivt utnyttjande av gemenskapsmedel beror i hög grad på innehållets kvalitet, dagen för mottagande av resultat och dagen för beslut om ändring av strategi. Emellertid har ett visst antal utvärderingar efter halva tiden av EGSR, SPD och operativa program för programperioden 1994–1999 avslutats förhållandevis sent, vilket på så sätt försenar eventuella justeringar. 4. 23. Vad avser mål 2-programmet har raden av pro- gramperioder, vilka är kortare än för programplaneringen av mål 1, gjort det svårare att få den dag då utvärderings- resultaten är tillgängliga att sammanfalla för att kunna dra slutsatser på grundval av historiska data och anpassa de kommande åtgärderna och dagarna för programbeslu- ten. Det finns en viss fasförskjutning mellan programcy- keln för mål 2 och dess utvärderingscykel. Sålunda kom- mer slutversionen av rapporten, som innehåller en sam- manställning av utvärderingen i efterhand av mål 2 för perioden 1989–1993, att lämnas in till kommissionen under sommaren 1997, samtidigt som utvärderingen i förhand av programperioden 1997–1999 var på gång och utvärderingen i efterhand av perioden 1994–1996 hade ännu inte påbörjats. 4. 24. Oberoende av de resultat av strukturprogrammen som framgår av utvärderingsrapporterna, förblir budget- anslagen till fördel för dessa program eller kommande program oförändrad. Utvärderingar har beaktats mycket sällan i beslutssystemet under den första programplaner- ingsperioden, eftersom programändringar vanligtvis till stor del hade grundats på graden av finansiellt anspråks- tagande. Sålunda fanns det användbara rekommendatio- ner, vilka hade lämnats in av huvudkonsulten inom ramen för utvärderingen i efterhand av EGSR-mål 1 1989–1993 (se punkt 5. 7). 4. 25. De mest kvalitativa aspekterna i fråga om pro- grammens resultat och effektivitet som identifierades i utvärderingen efter halva tiden eller i rapporter om genomförande, har varken haft tillräcklig inverkan på den operativa förvaltningen av strukturfonderna eller på processen för ansvarsfördelning mellan de parter som berörs av programutvecklingen. 4. 26. Resultaten från utvärdering efter halva tiden av SPD, EGSR och de operativa programmen i mål 2 (1994–1996), samt från uppföljningen, visar på en oba- lans mellan programmerad finansiering och genomfö- rande av programmen. Denna situation leder till att problemet med att krediter tas i anspråk blir domine- rande. Detta kan leda till att utvärderingens roll under- skattas i analysen av det berörda området, i synnerhet vad avser enhetligheten mellan mål, anslagna resurser och strukturåtgärdernas inverkan. 4. 27. Slutsatserna och rekommendationerna av utvärde- ringarna verkar ofta självklara för de som hanterar åtgärdsformerna även om de kan vara av nytta för andra parter. Det gäller lika mycket utvärderingarna i efterhand (se punkt 5. 8) som utvärderingar efter halva tiden inom ramen för partnerskapet. Utvärderingarnas objektivitet 4. 28. Bristen på en exakt referensram motverkar den objektiva tillämpningen av passande och tillämpliga tekniker för specifika utvärderingssituationer. På så sätt kan resultaten lätt kontrolleras och utvärderarens obero- ende garanteras. Det händer dock att en rekommenderad metod inte kan motiveras på ett objektivt sätt, att utvär- 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/9 deraren alltför lätt anpassar sitt tillvägagångssätt efter de svårigheter han stöter på och att han väljer indikatorer med hänsyn till tillgänglig information. 4. 29. Oberoendet gentemot förvaltarna verkar inte alltid vara säkerställt, i synnerhet vad avser information (se punkt 6. 11), samtidigt som utvärderingsrapporterna inte alltid anger den informationskälla på vilken observatio- nerna grundas. Denna brist minskar tillförlitligheten och validiteten hos den information som presenteras i utvär- deringsrapporterna. 4. 30. Medan objektiviteten borde garanteras genom ett kontrollsystem som inriktas på indikatorernas kvalitet (för genomförande, resultat och inverkan), basinformatio- nens tillförlitlighet och metodernas genomförandegrad, avger kommissionens avdelningar analyserar den infor- mation och de resultat som presenteras inom ramen för utvärderingen, men utför dock ingen kontroll på plats eller granskning av att de befintliga utvärderingssystemen i medlemsstaterna fungerar på ett korrekt sätt. Utvärderingskontrakt som tecknats av kommissionen 4. 31. Granskningen av förfaranden för tecknande av kontrakt avseende de utvärderingar som kommissionen har fått till stånd har uppvisat svagheter: otillfredsstäl- lande urvalsförfarande, alltför vaga kravspecifikationer, förseningar och låg kvalitet på rapporterna. 4. 32. De bedömnings- och analysdelar som bestämmer kommissionens val av konsulter finns inte alltid klart uttryckta i mötesprotokollen angående förfarandet för anbudsinfordran. Revisionen som genomförts av revi- sionsrätten har inte kunnat säkerställa att de bästa exper- terna inom det lämpligaste kompetensområdet valts ut. 4. 33. För utvärderingarna i efterhand av samtliga EGSR 1989–1993 för mål 1 och 2 har man valt ut en huvud- konsult biträdd av flera nationella konsulter och samord- ningskonsulter som i sin tur har lämnat granskningarna vidare till andra konsulter. I denna kedja av konsulter kan kommissionen tappa kontrollen över de metoder för genomförande av utvärderingen, vilka garanterar resulta- tens överensstämmelse, homogenitet och kvalitet. 4. 35. Vad avser tidsplanen för överlämnande av rappor- ter har förseningar ofta kunnat konstateras. I fråga om utvärderingen av samtliga EGSR 1989–1999 mål 1 före- skrevs i kontraktsklausulerna att rapporten skulle lämnas in den 28 februari 1995, vilket inte gjordes förrän i november 1995. Kommissionen föreskrev inga påföljder för kontraktsbrott avseende förseningar och betalade i stället ut slutbeloppet på 40 % den 11 juli 1995 med stöd av artikel 4 i kontraktet. 4. 36. Bristen på exakta och klara hänvisningsvillkor i kontraktet vad avser tillämpade metoder och förväntade resultat, gör det möjligt för kommissionens avdelningar att reagera på olika sätt på rapporterna. Sålunda god- känns vissa rapporter även om de endast ger enkla beskrivningar eller vaga analyser av nyttan med genom- förandena, eller är grundade på allmänna uttalanden från tillfrågade personer, eller endast leder till allmänna rekommendationer. I fråga om utvärderingen i efterhand av EGSR 1989–1993 Irland rekommenderar en avdelning att kontraktet med konsulten skall brytas p. g. a. dålig kvalitet, medan den har godkänts av en annan avdelning. För utvärderingen i efterhand av EGSR 1989–1993 Por- tugal är berörda avdelningar ense om att rapporten inte innehåller några utvärderingsinslag utan endast upprepar de fysiska genomförandena som redan presenterats av medlemsstaten. På samma sätt har det betonats att rap- porten med utvärdering i efterhand för EGSR 1989–1993 Spanien är alltför beskrivande och innehåller för få analyser. Rapporten med utvärdering i efterhand för EGSR 1989–1993 Nordirland anses vara ofullständig. För utvärderingen i efterhand av EGSR 1989-1993 Italien anses rapporten som dåligt strukturerad och disponerad. Utvärderingen av EGSR 1989–1993 Grekland saknar den allmänna slutsatsen medan slutsatser finns för varje kapi- tel. 5. UTVÄRDERINGAR I EFTERHAND AV EGSR-MÅL 1 OCH 2 (1989–1993) Inledning 5. 1. Utvärderarna har ofta att göra med följande svårig- heter: a) En preliminär programplanering som ofta utvecklats hastigt och utan en utvärdering på förhand av pro- gammen och särskilt av de relevanta ekonomiska baserna, framför allt vad gäller regionerna i mål 1. 4. 34. Kravspecifikationen är ibland vag vad avser beskrivning av det arbete som skall utföras och skyldig- heterna på förväntade resultat. Kontraktsvillkoren förblir mycket allmänna. Ofta kan metoderna för genomförande av utvärderingen omförhandlas där metodramen måste godkännas av kommissionen. b) Avsaknad av kvantifierade resultatindikatorer. c) Statistiska brister vad avser den ekonomiska situatio- nen omedelbart före strukturfondsåtgärden inom ramen för mål 2 och situationen efter åtgärden, särskilt vad gäller näringsstruktur, investeringar och C 347/10 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 bruttoregionalinkomst. De statistiska medlen överens- stämmer inte alltid med analysparametrarna (kom- mun, arrondissement, sysselsättningsområde). d) Vissa åtgärder fullföljs inte. e) Förekomsten av exogena faktorer som bidrar till att förklara utvecklingen av den socioekonomiska situa- tionen. f) Projektens och målsättningarnas heterogena karaktär när tilldelningen av bidrag inte är tillräckligt bunden till regionala eller lokala behov. g) Inneboende effekter i åtgärder och program är svåra att fastställa på grund av det stora antalet åtgärder som samma region eller område drar nytta av. h) Svårigheter att mäta de indirekta effekterna av ett program (särskilt inom sysselsättningsområdet) efter- som inget därtill kopplat observationselement har upprättats från programlanseringen och ingen fördju- pad undersökning har utförts inom detta område efter programmens slut. Utvärderingar i efterhand av EGSR-mål 1 (1989–1993) 5. 2. Utvärderingen i efterhand av EGSR-mål 1 har sam- ordnats av en huvudkonsult och består av utvärderingar i efterhand av berörda EGSR som förvaltades av nationella konsulter mellan januari 1994 och juni 1995. Den kon- sult som ansvarar för samordningen har utarbetat det metodiska tillvägagångssättet, vilket omfattar analytiska och makroekonomiska metoder samt åtgärder och pro- jekt. Detta tillvägagångssätt inriktas å ena sidan på analysdelen i strategin och den inneboende logiken i EGSR, operativa program och åtgärder, och å andra sidan på en första sammanställning av de fysiska genom- förandena och inverkan samt slutligen på en undersök- ning om mekanismerna för genomförandet. En samman- fattning av detta tillvägagångssätt finns i bilaga I. 5. 3. Den föreslagna metodiken är som helhet samman- hängande men uppvisar dock svagheter. Den föreskriver sålunda att en analys av strategi och inneboende logik i EGSR, operativa program och åtgärder skall grundas på en harmoniserad målstruktur som är kopplad till en standardnomenklatur för verksamheterna. Detta tillvä- gagångssätt tillåter en jämförelse mellan medlemsstaterna men ger inte nödvändigtvis upphov till en rangordning av mål, som är baserad både på prioriteringarna som de uppfattas av medlemsstaterna och på kriterierna för rang- ordning, komplementaritet, utbytbarhet och synergi. Där- för tillåter den inte någon identifiering av alla svagheter vad avser överensstämmelse mellan strategierna för de individuella EGSR och de operativa programmen. Dess- utom ger de fysiska indikatorerna och indikatorerna för inverkan som tas upp i metoddokumentet ofta inte något svar på frågorna om förväntade och icke förväntade effekter, som det var meningen att metoderna skulle svara på. 5. 4. Revisionsrätten har dessutom konstaterat följande brister: a) Utvecklingen av den socioekonomiska omgivningen för EGSR och de operativa programmen har inte alltid legat till grund för en jämförelse mellan den ursprungliga situationen före gemenskapsåtgärderna (1988–89) och situationen efter det att dessa åtgärder har vidtagits (1993–94). Ibland är informationen inaktuell, i synnerhet den som berör de regionala skillnaderna. b) Den rangordning som föreskrivs i metodiken har sällan analyserats tillräckligt, antingen var denna inte etablerad eller bara delvis. Dessutom begränsades den till operativa program och åtgärder som valts ut för en specifik undersökning, eller så tillämpades den inte systematiskt på kriterierna för strukturering. Det hän- der sålunda att rangordningen av målen och medlen inte leder till en förbättrad identifiering av problem avseende enhetlighet och prioriteringars tillämplighet och deras relativa betydelse. c) Ibland låg inte de justeringar som gjorts i EGSR och de operativa programmen till grund för en fördjupad orsaksanalys. d) Medan det finansiella genomförandet, mekanismerna för genomförande och de fysiska genomförandena i allmänhet behandlas i utvärderingsrapporterna har i vissa fall effekterna av programmen eller åtgärderna inte undersökts, med undantag för skapade arbetstill- fällen, eller så är de uttryckta i icke-kvantitativa termer. De enda kvantitativa effekterna tillhandahålls ibland genom tillämpningen av makroekonomiska modeller och berör BNP-tillväxt, skapande av arbets- tillfällen, konkurrenskraft. Detta har visat att de data som tillhandahålls av förvaltarna inom ramen för uppföljningssystemet är otillräckliga. e) Analyserna av bottom up up-typ har vanligtvis inte lett till slutsatser uttryckta i inverkan på program- nivå. f) Förädlingsvärdet för gemenskapen uttrycks ibland endast i kvalitativa termer (exempelvis beaktande av programmets logik, genomförande av en integrerad strategi, effekten på organisationsprocessen). Det har för övrigt inte undersökts på ett systematiskt sätt. 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/11 g) De långsiktiga förväntade effekterna har inte beaktats alls eller endast i kvalitativa termer. 5. 5. EGSR-mål 1 Spanien har blivit föremål dels för en utvärdering i efterhand beställd av kommissionen, dels för en annan undersökning som inletts av de nationella myndigheterna och stöds av en samfinansiering från gemenskapen. De två undersökningarna är utarbetade under samma period och har satt upp samma mål, men de har likväl utvecklats oberoende och separat. 5. 6. Vad avser resultat och inverkan visar utvärdering- arna i efterhand de fysiska genomförandena till följd av EGSR-mål 1, den makroekonomiska inverkan av EGSR, som registrerats av vissa nationella utvärderingar, och framstegen avseende planläggningen, även om tillväga- gångssättet per program har stött på vissa hinder (10) inom detta område. Utvärderingarna understryker också bidragen från EGSR till nyskapande organisatoriska strukturer, finansiell förvaltning, uppföljning, informat- ionssystem, samordning och partnerskap, även om det kvarstår viktiga framsteg som måste förverkligas på alla dessa nivåer. 5. 7. Sammanställningen som upprättats 1995 av huvud- konsulten innehåller användbara rekommendationer som kommissionen inte har kunnat följa fullständigt: exempel- vis skall vid utarbetandet av programmen en klarare avgränsning göras mellan de gemenskapliga strukturåt- gärderna som stimulerar de endogena tillväxtfaktorerna och de som har som mål att återfå den regionala balan- sen eller öka välfärden; eller en balansering mellan priori- teter för investeringar i infrastruktur och de speciella regionala egenskaperna som borde utvecklas, eller mellan kampen mot arbetslöshet och kravet att öka produktivi- tet och konkurrenskraft; eller slutligen ett ökat hänsyns- tagande till sysselsättningen inom regionalpolitiken. (10) Tillvägagångssättet per program har förhindrats av i) korta planeringstider som leder till att ingen utvärdering i förhand genomförs, ii) avsaknad av konkreta mål, kvantifierade indikatorer avseende genomförande, resultat och inverkan, iii) administrativa krav, i synnerhet när delprogrammen av ett program är beroende av olika förvaltningar, eller när sektoriella och regionala tillvägagångssätt överlappar varandra, iv) svagheter i gemenskapens regler som i synnerhet leder till godkännande av projekt inom ramen för gemenskapsini- tiativ som tidigare fått avslag av operativa mål 1- program, tillvägagångssättet per sammanhållningsfondsprojekt, som inte heller leder till någon harmoniserad tillämpning av tillvägagångssättet per program. v) 5. 8. Utvärderingen i efterhand av samtliga EGSR 1989–1993-mål 1 utförd av de nationella utvärderarna har huvudsakligen bidragit till en förbättring av uppfölj- nings- och förvaltningssystemen inom medlemsstaterna, snarare än till en verklig utvärdering av strukturfonder- nas inverkan. Utvärderingar i efterhand av mål 2 (1989–1993) 5. 9. Utvärderingarna i efterhand av mål 2-programmen för perioden 1989–1993 har samordnats av en extern utvärderare inom 60 utvalda regioner. Varje region har blivit föremål för en allmän analys, medan de fördjupade undersökningarna har berört 22 regioner. Dessa utvärde- ringar hade som främsta mål att analysera strukturåtgär- dernas inverkan på processen för industriell omstrukture- ring inom dessa regioner och dra nytta av denna informa- tion inför nästa programperiod. En sammanfattning av tillvägagångssättet för utvärderingen finns i bilaga II. 5. 10. Även om en gemensam ram har föreskrivits är tillvägagångssätten mycket heterogena, i synnerhet vad avser analysens prioriteringar och nivå, dess beskrivande eller kritiska karaktär, de metoder och tekniker som används. 5. 11. Den analys av den strategi och den karaktär som är lämplig för EGSR och de operativa programmen samt de förändringar som har gjorts i förhållande till den socioekonomiska omgivningen har sällan lett till någon omformulering av målen, delprogrammen och åtgärderna med hänsyn till den regionala utvecklingen och omstruk- tureringen och på grundval av kriterier för rangordning, komplementaritet och utbytbarhet. En sådan omformule- ring bör göra det möjligt att fastställa bristerna i strategin för genomförande vad avser enhetlighet, prioriteringarnas relativa vikt, synergieffekterna, komplementariteten, ef- fektiviteten i förhållande till den socioekonomiska omgiv- ningen, medan många strategiska analyser som utgår ifrån strukturen hos EGSR och de operativa programmen är ofullständiga och föga kritiska gentemot denna stra- tegi. strukturfondsåtgärdernas 5. 12. Vad avser inverkan lyckas inte utvärderarna, på basis av ett urval av projekt och en undersökning av resultat av dessa och förädlings- värdet och tillskottet, sammanställa iakttagelser på nivån för mätning och socioekonomisk inverkan av program- met. 5. 13. Vad avser inverkan har få utvärderingar grundats på en kombination av tillvägagångssätten top down och bottom up. Denna kombination har i synnerhet använts för utvärderingen av mål 2-åtgärder till nytta för C 347/12 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 Toscana. I detta fall gjorde tillvägagångssättet top down, med stöd av en biregional ekonometrisk modell både för Toscana och resten av Italien, det möjligt att uppskatta den globala inverkan av en ökning av efterfrågan på produktionen per sektor och på förädlingsvärde, både på toskansk nivå och för resten av Italien. Modellen gör det även möjligt att uppskatta multiplikatoreffekten per åtgärdstyp (infrastruktur, tjänster till företag, bidrag till privata investeringar) och effekterna på sysselsätt- ningen (11). De direkta effekterna på sysselsättningen har uppskattats med hjälp av en teknik med standardkoeffi- cienter för de olika åtgärdstyperna. Detta tillvägagångs- sätt, top down, berör sålunda de direkta effekterna på kort sikt, vilka är kopplade till efterfrågan. Tillvägagångs- sättet bottom up up, som utgår ifrån ett urval av projekt och åtgärder, kan bättre tolka de långsiktiga effekterna, vilka är mer strukturerade och indirekta och berör främst utbud och externa besparingar, vilka gör det möjligt att minska produktionskostnaderna. Även om dessa effekter är svårare att isolera och kvantifiera och detta tillväga- gångssätt inte gör det möjligt att sammanställa effekterna på åtgärds- och programnivå – vilket dock var målet med den fördjupade utvärderingen – utgör de kvalitativa över- vägandena om åtgärdernas effektivitet och om nivån på gemenskapsåtgärdernas förädlingsvärde ett användbart komplement till tillvägagångssättet top down. Kombina- tionen av de två tillvägagångssätten kan ge ett verkligt förädlingsvärde för analyser, i synnerhet om den grundar sig på tekniker för modellutformning och formalisering. 5. 14. Det är lika ovanligt med utvärderingar där man har använt sig av systematiska undersökningar, exempel- vis flera undersökningar om åtgärders förädlingsvärde eller tillämpning av en specifik metod för uppskattning av skapade nettoarbetstillfällen kopplade till åtgärder genom att jämföra en experiment- och en kontrollgrupp. De ger dock ett verkligt förädlingsvärde för utvärdering av inver- kan. Åtgärdernas effektivitet och programmen skulle utvärderats på ett bättre sätt om utvärderarna hade utfört statistiska undersökningar om ett antal resultatindikato- rer – vilka de för övrigt kanske hade önskat utföra. Sålunda finner man inte alltid data om antal etablerade företag i nya industriområden vars etablering får struk- turfondsstöd, eller om tekniköverföring från forskningsin- stitut till företag. Samtalen med åtgärds- och projektle- dare, vilka i allmänhet föreskrivs i tillvägagångssätten för utvärdering, ger endast sällan närmare information om genomförande, resultat och åtgärdernas inverkan. 5. 15. Resultaten avseende skapade arbetstillfällen är osäkra vad avser arbetstillfällenas varaktiga karaktär och den del som specifikt kan räknas till strukturåtgärderna. Dessutom ger utvärderingsrapporterna ibland motsä- gande data. 5. 16. Vad avser inverkan av mål 2-programmen visar utvärderingarna i efterhand följande: a) Även om operativa mål 2-program sällan har förbätt- rat den socioekonomiska situationen så har de åtmin- stone bidragit till att undvika en ny försämring av situationen, i synnerhet vad avser upprätthållande av sysselsättning (12), samt till att lägga grunden till en omställning; de flesta regioner försöker diversifiera ekonomin och det industriella nätverket och eventuellt göra sig av med bilden av ett utpräglat industriom- råde. b) Trots det integrerade tillvägagångssättet, som är base- rat på programkonceptet, utgör de operativa program- men ibland en ändring av den nationella och regionala politik som redan har genomförts och som inte alltid utgör ett programverktyg. c) Den samtidiga förekomsten av operativa mål 2- program och gemenskapsinitiativ har lett till att för- virring uppstått och att dubbla bidrag utbetalats. d) Strukturfondsåtgärder har haft positiva effekter på programutformning, metoder för genomförande, part- nerskap, synergi, samordning och utvärdering. Bristen på synergi och utbyte mellan förvaltare och åtgärder inom ramen för Europeiska regionala utvecklingsfon- den (ERUF) och strukturfondsåtgärder betonas dock ofta. e) Vad avser förädlingsvärde ger strukturfonderna möj- lighet att angripa nya marknadsnischer, genomföra projekt som inte skulle ha genomförts utan gemen- skapsstöd, påskynda förverkligande eller genomföra ambitiösare projekt eller ge en strukturell karaktär åt projektets början. Åtgärdstypernas tillskott (stöd till infrastruktur, tjänster åt företag, stöd till privata investeringar) kan skilja sig åt ganska mycket. (11) Det betyder dock inte att det handlar om skapande av arbetstillfällen, eftersom den ekonometriska modellen grun- dar sig på hypotesen om full sysselsättning och att företagen förfogar över överflödig produktionskapacitet under en period av lågkonjunktur. (12) Den åttonde årsrapporten om strukturfonderna visar på stora hävstångseffekter som hänför sig till bruttoresultat såsom skapande av arbetstillfällen eller företag. 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/13 f) Strukturfonderna underlättar sällan deltagandet av privata medel, åtminstone beaktar inte utvärdering- arna denna aspekt. handling osv. ) och mätning av resultat avseende syssel- sättning samt små och medelstora företag. g) Utvärderingarna betonar att undersökningar, förbere- dande förhandlingar, administrativa förfaranden för antagande och genomförande av vissa projekt samt integrering av en ny nationell politik ofta medför att tidsfrister underskattas. 6. 3. Dessutom föreslog kommissionen att utvärderingen skulle vara global och att de tematiska utvärderingarna av en sektor eller ett geografiskt område skulle utvecklas i en senare fas. 5. 17. Vad avser förvaltning framgår det av utvärdering- arna att vissa metoder för programuppföljning har visat sig vara otillräckliga och att de interna justeringarna under programperioden berodde på ett maximalt utnytt- jande av kreditnivån och inte på en revision av de prioriterade områdena inom regionalpolitiken. 6. UTVÄRDERING EFTER HALVA TIDEN (1994–1999) Utveckling och integrering av principer för utvärdering efter halva tiden 6. 1. Utvärdering efter halva tiden föreskrivs i kapitlet om bestämmelser för genomförande inom varje EGSR, SPD och annan åtgärdsform som syftar till att förbättra uppföljningen. Det betonas att utvärdering efter halva tiden omfattar en kritisk analys av den insamlade infor- mationen inom ramen för uppföljningen och belyser på så sätt eventuella avvikelser i förhållande till uppsatta mål och bedömer de beräknade resultaten av åtgärden. De omfattar även ett yttrande om den pågående åtgärdens giltighet och om målens tillämplighet. 6. 2. I meddelanden riktade till medlemsstaterna under räkenskapsåret 1995 betonade kommissionen att utvärde- ring efter halva tiden borde ge uppföljningskommitte´erna lämpliga signaler om att programmen fungerar på ett bra sätt, föreslå eventuella åtgärder för programändring och lägga fram en oberoende objektiv bild av de uppnådda framstegen. Det föreslogs även att man under en första fas skulle koncentrera sig på villkoren för att åtgärdsfor- merna skall fungera och i synnerhet på indikatorerna, de ansvarigas ledningskapacitet och urvalsförfarandena för projekten. Under en andra fas borde rapporten om utvär- dering efter halva tiden, för att föreslå nödvändiga änd- ringar och anpassa sig till programplaneringen, behandla strategins tillämplighet och om målen för de vidtagna åtgärderna var välgrundade, programmets effektivitet jämfört med genomförandet och de första resultaten i förhållande till målen, programmets effektivitet, korrekt tillämpning av gemenskapspolitik (miljö, offentlig upp- synnerhet Spanien (13), 6. 4. Vissa medlemsstater, Frankrike (14), Irland (15) och Nederländerna (16), har även definierat en ram för utvärdering efter halva tiden. Alla anser att utvärdering efter halva tiden bör behandla i a) utvecklingen av den socioekonomiska omgivningen, b) analys av strategi och av den interna och externa enhetligheten, c) förhållanden för genomförande inklusive programpla- nering och urvalskriterier, administrativ organisation, system för uppföljning och finansiering av projekt, d) genomförande med hänsyn till förväntade resultat, e) de första erhållna effekterna kompletterade med en bedömning av de effekter som kan förväntas, f) kostnader för mätning av effektivitet, dvs. förhållan- det mellan medel och resultat, och, i förekommande fall, leda till ändringsförslag avse- ende prioriteringar och föreskrivna åtgärder. 6. 5. Principen om partnerskap infördes 1988 som ett sätt att garantera strukturfondernas effektivitet, men det var inte förrän 1995 som den kom att spela sin roll fullt ut i systemet för decentraliserad förvaltning med utvärde- ring efter halva tiden av samtliga EGSR 1994–1999. Det fastställdes vid detta tillfälle att det var uppföljningskom- mitte´ernas sak att fastställa målen för utvärderingen, förväntade kvalitetsnormer som garanterar enhetligheten av hela åtgärden, att anpassa kravspecifikationen till respektive regions särskilda egenskaper samtidigt som målen respekteras, att välja ut utvärderare på grundval av begränsade förteckningar som upprättats av utvärderings- ansvariga (medlem av uppföljningskommitte´ och gemen- skapsrapportör) efter offentlig anbudsinfordran. Utvärde- ring efter halva tiden har bidragit till att förstärka (13) Evaluación intermedia de programas operativos regionales del objetivo no 2 (fase 1994–1996). Orientaciones sobre contenidos comunes a recoger en los pliegos de condiciones te´cnicas, 23 mai 1996. (14) DATAR, Tidsplan för lagstiftning och administration. (15) General criteria to underpin Terms of Reference for Mid- Term Evaluation of Operational Programmes / Community Initiatives. (16) Evaluatiekader voor de programma’s van de Europese Struc- tuurfondsen, Terp Advies-CBEA Pieter van Run, de´cembre 1997. C 347/14 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 partnerskapet genom att ta med det i orsaksanalysen av strukturåtgärderna. Tabell 5 och 6 visar det operativa genomförandet av utvärdering efter halva tiden samt medlemsstaternas betydelsefulla engagemang inom ramen för partnerskapet med mål att identifiera strukturfonder- nas inverkan. 6. 6. Tillvägagångssättet för utvärdering efter halva tiden inom ramen för partnerskapet har även starkt inverkat på de institutionella strukturerna och de nationella eller regionala traditionerna inom de ansvariga förvaltning- arna. Det har ökat spridningen av kulturen med flerårig programplanering, vars utvärdering är en oumbärlig del för att kunna göra en kritisk sammanställning av struk- turåtgärderna och förbereda nödvändiga ändringar. Part- nerskapet för utvärdering är särskilt välutvecklat inom ramen för mål 1. 6. 7. För tillfället har ambitionen för arbetet med utvär- dering efter halva tiden varit att ge generella svar till alla parter, från programutformaren till den politiskt ansva- riga via förvaltaren. Arbetet resulterar i mycket tjocka rapporter med information om själva programmet, bedömningen i förhand, årliga rapporter om genomfö- rande, utvärdering efter halva tiden eller utvärderingar i efterhand. Enligt de samtalspartner som påträffats vid kontroller kan endast en del av resultaten eller rekom- mendationerna vara till verklig hjälp för beslut, projekt- ledning, programändring eller för att förbereda framtida åtgärder. Förfarande för genomförande 6. 8. Av de 389 utvärderingarna efter halva tiden behandlade 320 mål 1, 2, 5b och 6 (17). Genomförandet av dessa utvärderingar var ganska mycket försenat i flera medlemsstater. 6. 9. Processen för utvärdering efter halva tiden plane- rades ursprungligen i två olika etapper. Den första behandlade möjligheten till utvärdering och gjorde det möjligt att identifiera de problem som var kopplade till utvärderingen. Den andra etappen var utvärderingen i verklig mening och ledde till utarbetandet av en rapport. I praktiken tillämpades detta schema bara i sällsynta fall. 6. 10. Kommissionen insisterade generellt sett på att utvärdering efter halva tiden skulle genomföras av externa experter för att å ena sidan säkerställa trovärdig- (17) Varav 36 har undersökts på plats och/eller hos kommissio- nen. heten i ett särskilt kunnande, och å andra sidan opartisk- heten i de slutsatser som var kopplade till strategins överensstämmelse, enhetlighet av de socioekonomiska analyserna samt till den objektiva kvantifieringen av de förväntade effekterna. Utvärderingsbehovet inom struk- turfondsområdet har på några år skapat en grupp externa utvärderare som kommissionen och medlemsstaterna känner till. Fördelen är att det skapas en bredare expertis inom detta område, men den begränsas till en specifik marknad. 6. 11. I praktiken påvisar revisionsrättens kontroller på plats de begränsningar som minskar de externa konsulter- nas oberoende. Med hänsyn till den tidsfristen utvärdera- ren har och det beroende som i praktiken finns gentemot programförvaltarna för att få nödvändig information, är avgränsningen mellan funktionerna ej särskilt tydlig. De erhållna resultaten med avseende på effektivitet leder alltför ofta till återskapande och aktualisering av infor- mationen i uppföljningssystemet genom att presentera den som ett externt bidrag. 6. 12. Å andra sidan har det vanliga förfarandet för i Europeiska anbudsinfordran med offentliggörande gemenskapernas officiella tidning inte alltid tillämpats vid val av utvärderingskonsulter. I Nederländerna bestod förfarandet i att bjuda in ett begränsat antal konsulter som fanns på en förteckning över potentiella utvärderare och att be dem att lämna anbud. Urvalet gjordes sedan bland dessa anbud. 6. 13. Eftersom kommissionen regelbundet deltar i upp- följningskommitte´ernas möten och har möjlighet att få igenom sina urvalskriterier för konsulter, är dess inbland- ning i denna process inte alltid identisk. Sålunda deltar kommissionens avdelningar aktivt i Belgien, Grekland och Portugal fr. o. m. förfarandet för val av utvärderare inom ramen för de tekniska grupperna eller den tekniska medföljande tillfälliga kommitte´ som förbereder valet av konsult och följer utvärderingens genomförande. I Frank- rike blir å andra sidan kommissionens avdelningar inte officiellt underrättade förrän efter val av de två bästa anbuden, tillsammans med det slutliga förslaget till vilket regionens prefekt, arbetsledare inom området, begär att få meddela eventuella iakttagelser. För Nederländerna reagerade inte kommissionen, som deltar i den nationella stödkommitte´ns arbeten och leder utvärderingarna i för- hand, utvärderingarna efter halva tiden och utvärdering- arna i efterhand av de regioner som berörs av mål 1 och 2 och i uppföljningskommitte´ns arbete, förrän sent på innehållet i projektrapporten med utvärdering efter halva tiden av SPD-mål 1 Flevoland. 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/15 Prioriterade utvärderingsmål synergier mellan ERUF- och strukturfondsverksamhe- terna. 6. 14. Vad avser genomförandet av utvärdering efter halva tiden varierar prioteringarna av utvärderingsmål, med undantag för undersökningen av fysiska och finan- siella genomföranden på åtgärdsnivå, som upptar en viktig plats i varje utvärdering efter halva tiden. Utveck- lingen av prioriteringar motsvarar ofta ett verkligt regio- nalt behov, som i fallet med Korsika där man främst betonade behandlingen av förvaltningsproblem, uppfölj- ning och koppling mellan utvärdering och uppföljning. Eftersträvandet av vissa utvärderingsmål förhindras för övrigt av tekniska problem, såsom mätning av indikato- rer för utvärdering av inverkan. 6. 15. Ofta ger inte en utvärdering efter halva tiden tillräcklig tyngd åt den kritiska bedömningen av den regionala utvecklingsstrategin, åt genomförbarheten av projekt som finansierats av strukturfonderna, åt urval- skriterier för projekt, åt effekter och inverkan med avse- ende på specifika och allmänna programmål. 6. 16. Förädlingsvärdet för gemenskapen, varav analysen utgör ett mål för utvärderingarna i efterhand av EGSR- mål 1 och 2 för programperioden 1989–1993, behandlas endast i undantagsfall inom ramen för utvärdering efter halva tiden. 6. 17. Utvecklingen av den socioekonomiska omgiv- ningen, på vilken gemenskapsåtgärden inverkar och vars utvärdering och aktualisering i allmänhet föreskrivs i utvärderingskontrakten, behandlas på ett systematiskt sätt i vissa fall (exempelvis med hjälp av avancerade tabellinstrument vad avser den vallonska regionen) och på ett otillfredsställande sätt i andra fall, vilket inverkar direkt på kvalitet och aktualiserar analyser av styrkor och svagheter inom ramen för utvärdering efter halva tiden. 6. 18. Den varaktiga respekten och upprätthållandet av en intern och extern enhetlighet i varje program inom alla delar (mål för program, delprogram och åtgärder, kom- plementära och synergiska samband mellan mål och andra åtgärder) undersöks endast sällan på ett systemat- iskt sätt. För det operativa programmet Brandenburg utgör de finansiella åtagandena till nytta för områdena 1. 1 (produktiva investeringar) och 1. 2 (infrastruktur) för perioden 1994–96 138 % respektive 242 % av den ursprungliga prognosen, utan att utvärderaren har angivit något rättfärdigande vad avser strategier för regional utveckling. Synergierna är ibland föremål för analyser, som för övrigt ofta är ofullständiga. Denna aspekt förtjä- nar en mer systematisk behandling, i synnerhet vad avser 6. 19. Eftersom ändringen av prioriteringarna för pro- grammet och tilldelningen av medel är ett uttryckligt mål för utvärderingen, ger utvärderingsarbetet inte alltid en global och sammanhängande framställning av föreslagna ändringar, och inte heller någon motivering. Följderna av föreslagna utvidgningar och sammandragningar på åtgärdsnivå är inte alltid angivna. 6. 20. Många undersökta utvärderingar visar att utvärde- raren inte har kunnat uppnå alla de mål som föreskrivs i kontraktet, i synnerhet vad avser utvärdering av inver- kan. Den tid och de medel som fanns tillgängliga var inte alltid proportionella mot målen. Tillvägagångssätt, metoder och tekniker 6. 21. Eftersom de utvärderingsmål och de tillvägagångs- sätt som skall tillämpas ofta är allmänt uttryckta i kontraktet, lämnas valet av tillvägagångssätt, metoder och tekniker till utvärderarna, som ibland anpassar dem till svårigheterna under genomförandet. Sålunda händer det att dessa omformar den enda tillgängliga informatio- nen till indikatorer. 6. 22. Teknikerna och metoderna har inte alltid utveck- lats så att de svarar mot utvärderingsmålen. Det finns för övrigt ännu inte något verkligt samförstånd vad avser den operativa metodik som är lämplig för att utvärdera regional utveckling och kommissionen nöjer sig med att sprida ”bästa metoder” uttryckt i generella ordalag utan någon konkret samordning och harmonisering av genom- förandet. Denna vaghet kopplad till skillnader mellan medlemsstaterna i fråga om programplanering, genomfö- rande eller utvärdering genererar utvärderingsrapporter av varierande kvalitet och gör det mycket svårt att jämföra resultaten på europeisk nivå. 6. 23. Mätningen av inverkan visar sålunda på brister i de tillämpade teknikerna, i synnerhet i dem som är kopplade till den specifika karaktären och komplexiteten hos de effekter som skall utvärderas: a) En fördjupad undersökning för att få fram lämpligare indikatorer har ännu inte genomförts och de före- skrivna indikatorerna tjänar ibland endast till att mäta det fysiska och finansiella genomförandet. b) Indikatorerna för inverkan har inte alltid meddelats. c) Utvärderingen av socioekonomisk inverkan eller regional utveckling tycks förhindras av en mångfald olika åtgärder, delprogram (mål 1) medan många program, som syftar till att hjälpa till med omstruktu- C 347/16 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 rering eller effektivisering på nytt av det industriella nätverket (operativa program, gemenskapsinitiativ, nationella program), kan mobiliseras samtidigt. Dess- utom har gemenskapsåtgärder och nationella åtgärder olika täckning och olika tidpunkter för lansering av åtgärder. Slutligen är målen ofta okvantifierade och formulerade på ett alltför generellt sätt (18). I detta sammanhang är kopplingarna inte alltid klara mellan diagnostiken av de socioekonomiska problemen som skall lösas och målen för åtgärderna som helhet, delprogrammen och de genomförda projekten och mellan målen för dessa som helhet. Det beror på att de fysiska indikatorerna och de för inverkan som angivits för de olika nivåerna av ett program inte helt återspeglar programmets utvärderingsbehov. Des- sutom visar det sig svårt att identifiera resultaten av varje program och skilja dem från resultaten av andra privata, regionala eller nationella åtgärder. d) Skapande av modeller som gör det möjligt att bedöma de förväntade effekterna och inverkan på grundval av de genomföranden som är halvvägs och de genomför- anden som är planerade tillämpas inte i stor utsträck- ning. Utvärdering efter halva tiden av vissa nationella EGSR baserades på en input-output-modell (Portugal) eller på en makroekonometrisk modell (Spanien, Irland), medan betydelsen av regionala modeller för- blir marginell. Av denna anledning förtjänar exemplet med den utvecklingsmodell för provinsen Hainut (Bel- gien) som användes inom ramen för utvärdering efter halva tiden att nämnas. Modeller för effekter inom ramen för åtgärderna är inte heller särskilt vanliga, förutom inom området för transportinfrastrukturer. Det är lämpligt att nämna tillämpningen av input- output-modellen i Expo-projektet 1998 (Portugal) inom ramen för utvärdering i förhand och utvärde- ring efter halva tiden även om prognoserna bör betraktas med försiktighet. e) Bedömningen av effekterna på sysselsättningen är fortfarande osäker. Tillämpningen av modeller eller andra analys- och undersökningsmetoder ger inte till- räckligt exakta resultat för, å ena sidan, nettovolymen arbetstillfällen som skapas, särskilt medräknat de nya arbetstillfällena som skapats utanför den berörda åtgärden samt substitutionseffekter och, å andra sidan, arbetstillfällenas varaktighet. Dessutom ger deras tillämpning ingen information om de arbetstill- fällen som skapats och som inte kan tillskrivas pro- grammet. (18) Till exempel: återupplivning av landsbygden, förstärkning av det ekonomiska nätverket i regionen, strukturförändringar kopplade till regional utveckling. 6. 24. Inom ramen för tillvägagångssättet bottom up up tar vissa utvärderingskontrakt upp undersökningar som skall göras avseende partner för lokal ekonomisk utveck- ling och de slutliga bidragsmottagarna, inklusive företag som får bidrag från gemenskapen, för att kvantitativt eller kvalitativt bedöma bidraget från gemenskapspro- grammen. Resultaten från undersökningarna är ibland inte tillräckligt representativa p. g. a. det antal företag och partner som svarat på undersökningen, samt p. g. a. låg tillförlitlighet, eftersom de inte alltid kontrolleras. 6. 25. Följande har konstaterats vad avser indikatorer för resultat och inverkan: a) Det tar ofta för lång tid att få fram data och statistik. b) Befintliga data täcker geografiska områden som inte motsvarar de områden som avsetts. c) Data om företag samlas inte in på företagsnivå, vilket förvränger den lokala statistiken när ett enda företag finns inom området samtidigt som företaget äger flera anläggningar inom landet. d) Flera av de statistiska organen kan inte dela upp globala data på ett mer subtilt sätt för att inriktas på ett visst område eller problem. 6. 26. Om utvärderaren presenterar lämpligare indikato- rer för mätning av inverkan, antingen för att täcka en lucka eller att ersätta dem med föreskrivna indikatorer, meddelar han dem inte, vilket ger upphov till tvekan vad avser indikatorernas operativa karaktär. Dessutom näm- ner han inte de undersökningar som återstår att göra för att konkretisera dem och inte heller uppskattar han deras kostnader. Det betonas även att det är svårt att genom- föra kvantifieringen av de indikatorer som berör pro- grammålen utan någon information om historiska serier. Förverkligande av programmen för mål 2 (1994–1996) 6. 27. Resultaten från utvärderingen efter halva tiden av SPD, EGSR och de operativa programmen för perioden 1994–1996, samt av uppföljningen, visar på en obalans mellan den budgeterade finansieringen och programmens genomförande. Trots många programanpassningar under den sista programfasen 1994–1996, vilka syftar till att beloppen från de finansiella bidragen tas i anspråk, har kreditöverföringar på i genomsnitt 12 % gjorts från pro- gramperioden för 1994–1996 till programperioden för 1997–1999. Denna situation kan leda till att problemet 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/17 med att krediter tas i anspråk tar överhanden och till att utvärderingens roll underskattas, i synnerhet vad avser enhetlighet av målen, tilldelade resurser och strukturåt- gärders inverkan. 7. INVERKAN AV STRUKTURFONDER OCH MODELLER FÖR UTVÄRDERING Inverkan på EGSR- och programnivå Resultat av modeller för strukturfonders inverkan 7. 1. De modeller som används inom ramen för den makroekonomiska utvärderingen inom strukturfondsom- rådet (se bilaga III) ger, med hänsyn till deras utmär- kande karakteristiker, en differentierad uppskattning av strukturfondernas inverkan i fråga om a) förverkligandet av strukturfondernas mål för BNP- tillväxt, verklig konvergens av BNP per capita, syssel- sättning och arbetslöshet, b) efterlevnaden av de villkor som är kopplade till utnyttjandet av strukturfonderna, såsom synergieffek- ter, en hållbar utveckling, i synnerhet med hänsyn till en kontroll av statsskulden och betalningsbalansen, inkomstfördelningen samt respekt för miljön, c) effekterna uttryckta i tillgång och efterfrågan, d) effektiviteten hos strukturfondernas medel, exempel- vis offentliga investeringar, investeringar i mänskliga resurser och stöd till privata företag. BNP-tillväxt 7. 2. Enligt tabell 7 framgår det av tillvägagångssättet för bedömning av strukturfondernas inverkan att resultaten från de viktigaste använda modellerna (HERMIN, OGM och DIO) anger en positiv BNP-tillväxt för sammanhåll- ningsländerna och följaktligen en förbättring av konver- gensen. Uttryckt i reala tal för BNP skulle sålunda den kumulativa ekonomiska tillväxten för sammanhållnings- länderna från 1994 till 1999, till följd av de strukturåt- gärder som är inskrivna i EGSR, uppgå till 5,5 % för Portugal, 5,9 % för Grekland, 2,6 % för Spanien och 3,3 % för Irland. Dessa resultat utgår ifrån att tillskotts- principen respekteras fullt ut och de kan följaktligen ändras om denna inte respekteras (se punkt 8. 11 till 8. 13). Dessutom har de olika makroekonomiska model- lerna givit tillräckligt sammanhängade resultat för att inverkan av EGSR 1994-1999 på den årliga reala BNP- tillväxten kan anses vara trolig. Emellertid förblir effek- terna kopplade till efterfrågan dominerande på kort sikt och effekterna på utbuden visar sig inte förrän mycket senare. Enligt den regionala HELM-modellen, som används för regionen Hainaut, är inverkan av SPD uttryckt i årlig tillväxt av det totala förädlingsvärdet en ökning från 1,7 % till 2,5 % om man beaktar perioden 1994–2002. I fallet med Mezzogiorno förefaller å andra sidan strukturfondernas inverkan på tillväxten vara begränsad, t. o. m. näst intill obefintlig. Kommissionens modell, QUEST, ger en uppskattning av effekterna på tillväxt och sysselsättning som är lägre än de föregående modellerna genom att införa förutsättningar om företa- gens och konsumenternas förskott. Fördelarna som anges i denna modell vad gäller tillväxtpotentialen och minsk- ningen av arbetslösheten uppenbarar sig inte förrän på längre sikt. 7. 3. Uttryckt i genomsnittlig ökning av den årliga till- växten till följd av strukturåtgärder inskrivna i EGSR, visar tabell 8 att multiplikatoreffekterna av en BNP- tillväxt på 1 % för EGSR under perioden 1994–1999 leder till en extra ökning av den årliga tillväxten från 0,2 % till 0,3 % på effekterna av efterfrågan och från 0,2 % eller mer på effekterna på utbudet. På det eko- nomiska planet bidrar den dominans, som åskådliggjorts av HERMIN-modellen, till effekterna på efterfrågan, vilka skulle försvinna om gemenskapsbidraget drogs in, till att uppnå målen i artikel 130a i fördraget endast om effekterna på utbudet utvecklar sig på ett varaktigt sätt och stärker produktionskapaciteten inom de berörda regionerna. Om effekterna på utbudet utvecklas senare än effekterna på efterfrågan, är det möjligt att motsvarande multiplikatoreffekter underskattas. Reell konvergens uttryckt i BNP per capita 7. 4. De modeller som används inom ramen för struktur- fonderna visar att konvergensprocessen inte alltid kan garanteras och att vissa programplaneringar inom EGSR i bästa fall kan minska divergensen snarare än att utveckla konvergensen. 7. 5. Vad gäller Irland, Bradley (HERMIN 1994) och Honohan (HERMIN 1997) anger modellen en möjlig från EGSR 1989–1993 och effekt av bidragen 1994–1999 på BNP per capita. Den första uppskattar att bidraget från EGSR 1994–1999 till denna återhämtning är ringa, medan enligt den andra så spelar EGSR en viktig roll i konvergensprocessen. Beutel (1997) förutser att Irland återhämtar sig i förhållande till resten av Europa även utan EGSR 1994–1999, som skulle öka den årliga tillväxten om 0,6 %. På samma sätt skulle Spani- ens, Portugals och Greklands årliga tillväxt öka om 0,4 C 347/18 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 respektive 1,1 % och 1 % perioden 1994–1999 tack vare strukturfonderna, vilket i samtliga fall har haft en positiv verkan på den verkliga konvergensen vad gäller BNP per capita. 7. 6. De prognossimuleringar som gjorts med OGM- modellen, och som inriktades på konvergens av real BNP per capita i förhållande till genomsnittet i unionen visar uppskattningar som understryker att även om de tenden- ser som förutspåddes 1995 är alltför pessimistiska för Irland (se tabell 9), förblir nettobidraget från EGSR till konvergensen oansenligt för sammanhållningsländerna. 7. 7. I fråga om Hainaut beaktas i HELM-modellen de verkliga konvergensaspekterna vid utvärdering efter halva tiden och den förutspådda årliga tillväxten bedöms skulle ligga ca 1,4 % till 1,6 % över det europeiska genomsnit- tet tack vare strukturfonderna, vilket skulle ge möjlighet till en verklig återhämtning. 7. 8. Dessa uppskattningar visar att, med hänsyn till skillnader i de regionala och sektoriella produktionsstruk- turerna inom mål 1-medlemsstater, ger stödet från struk- turfonderna varierande effekter. Dessa uppskattningar bekräftar även att kvaliteten på strukturfondernas pro- gramplanering bör förbättras för att strukturfondsåtgär- derna i konvergenssyfte skall göra det möjligt att öka produktionskapaciteten i ekonomin. till BNP-tillväxten än investeringarna i mänskliga resur- ser. Tillämpningen av OGM-modellen (Pereira 1991) för en utvärdering av effekterna av ett utbyte av stöd till privata investeringar eller investeringar i mänskliga resur- ser mot ytterligare stöd till investeringar i infrastruktur visar på en förbättring av BNP-tillväxten och konvergens- processen till följd av strukturfonderna. Krav på tillskott och samfinansiering 7. 11. Modellerna har även gjort det möjligt att utvär- dera betydelsen av tillskott och statlig samfinansiering. Honahan (HERMIN, 1997) bedömer sålunda att, utan krav på statlig samfinansiering, skulle tillväxten i den irländska ekonomin varit 1 % lägre vid inverkan av EGSR, och sysselsättningen skulle ha ökat i mindre grad. Å andra sidan förespår Honahan en större minskning av förhållandet mellan statsskuld och BNP och överskottet i betalningsbalansen utan krav på statlig samfinansiering. Enligt en HERMIN-utvärdering för Portugal leder kravet på samfinansiering till en ytterligare BNP-tillväxt på 1,3 %, men det ger inte en lika positiv utveckling av statsskulden. Sysselsättning och arbetslöshet 7. 9. Tabell 10 sammanfattar resultaten från utvärde- ringar i fråga om strukturfondernas inverkan på syssel- sättning och arbetslöshet. Enligt alla undersökningar genererar EGSR nettoarbetstillfällen. Dessa nya arbetstill- fällen skapas ofta inom sektorn för icke-kommersiella tjänster, medan produktivitetseffekterna av EGSR främst koncentreras inom industrisektorn. Slutligen visar vissa undersökningar på en minskning av sysselsättningen inom industrin till följd av en ökning av arbetsproduktivite- ten. 7. 12. HELM-utvärderingen för Hainaut fäster stor vikt vid tillskott. Den genomsnittliga tillväxten av förädlings- värdet för perioden 1994–1999 för tre scenarier – regio- nalpolitik inklusive SPD, fullföljande av regionalpolitik utan gemenskapsstöd, regionalpolitik exklusive SPD – uppgår enligt HELM-utvärderingen till 2,5 %, 1,7 % och 0,1 % för respektive scenario, på samma gång som tillväxten av sysselsättningen skulle falla från 0,8 % till 0,2 %. Situationen inom industrin skulle även försämras på ett betydande sätt. Genom att variera bidragsnivån kan man med hjälp av HELM-utvärderingen även konstatera att stöd till investeringar inte stimulerar dessa i samma utsträckning och att många investeringar inte skulle ha kunnat genomföras med lägre bidragsnivåer. EGSR-instrumentens effektivitet 7. 10. HERMIN-utvärderingarna för Spanien, Irland och Portugal visar att stödet till offentliga investeringar, i synnerhet i infrastruktur, är produktivare uttryckt i till- växt än investeringar i mänskliga resurser (med undantag för Spanien) och stödet till privata investeringar. Detta åskådliggörs i tabell 11 som visar den nationella BNP- tillväxten för varje instrument till följd av en ökning med 1 % av EGSR-delen av ackumulerad BNP under perioden 1994–1999. HERMIN-undersökningen för Grekland kommer även till slutsatsen att investeringarna i infra- struktur (hard infrastructure) inom EGSR bidrar mer Hållbar utveckling 7. 13. Tabell 10 visar att strukturfondernas effekter på handelsbalanssaldot, kapitalbalansen eller budgetunder- skottet inte alltid utvärderas. De olika undersökningarna leder för övrigt till olika slutsatser. Sålunda leder en ekonomisk expansion till följd av EGSR i vissa fall till en förbättring av de offentliga finanserna via skatterna, medan EGSR skapar budgetunderskott enligt andra modeller. 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/19 Utvärderingens roll på makroekonomisk nivå i besluts- processen för strukturfonderna 7. 14. Med hänsyn till strukturfondernas kortsiktiga eff- ekter på efterfrågan har utvärdering efter halva tiden en tendens att övervärdera problemen med att gemenskaps- medel tas i anspråk inom politiska myndigheter och att undervärdera effekterna på utbudet på längre sikt. En reorientering och ändringar i programplaneringen för operativa program eller EGSR kan sålunda vinklas. I själva verket finns det en risk för att åtgärder eller projekt där krediterna från gemenskapen inte tillräckligt snabbt tas i anspråk dras in, i synnerhet inom områden som är komplicerade att genomföra, såsom nyskapande eller nya tekniker, till fördel för redan befintliga struktu- rer med mycket lägre produktivitet, utan att de makro- ekonomiska aspekterna för en hållbar utveckling alltid beaktas. I detta sammanhang är de kompletterande 7. 15. makroekonomiska utvärderingar som omfattar aspekter- nas hållbarhet, tillväxt eller konvergens oumbärliga, innan det kan fattas något beslut på den inledande nivån för programplaneringen och dess omstrukturering. I flera fall, exempelvis i Spanien, Grekland eller i de nya län- derna i Tyskland, har omplaneringar redan genomförts i program inom ramen för en utvärdering efter halva tiden utan någon seriös global makroekonomisk analys. Vad avser mål 1-regionerna i Tyskland har ingen makroeko- nomisk analys av inverkan genomförts vid en utvärdering efter halva tiden. Inverkan på delprogramnivå, åtgärds- och projektnivå 7. 16. På delprogram- och åtgärdsnivå finns mycket få utvärderingar, trots att delprogrammen eller åtgärderna utgör motorn i programplaneringen för strukturfonderna. Spridningen, bristen på definition och enhetlighet i många delprogram eller åtgärder, samt den otillräckliga kvanti- fieringen av de specifika målen kan bidra till att förklara svårigheten att mäta inverkan. 7. 17. Denna brist försvårar alla ansträngningar att iden- tifiera och mäta synergi och komplementaritet mellan åtgärderna och mellan olika program. Dessutom är kopp- lingarna mellan de allmänna målen för programmet och de specifika målen för delprogrammen eller åtgärderna ofta oklara. Sålunda har man vid utvärdering efter halva tiden noterat många sammanhållningsproblem i EGSR 1994–1999-mål 1-programmen. modeller gör det endast möjligt att tillhandahålla en utvärdering av effektiviteten hos de viktigaste EGSR- instrumenten – offentliga investeringar, privata investe- ringar och investeringar i mänskliga resurser – i fråga om deras bidrag till BNP-tillväxten. Utgifterna för infrastruk- tur, som är ett komplement till privat kapital, verkar öka avkastningen av den senare och skulle ha en påskyndande effekt på konvergensen överstigande de andra investe- ringsformerna (se tabell 11). 7. 19. Valet av de åtgärder eller de delprogram som utgör programmet och dess finansiering är emellertid inte neutralt vad avser inverkan av regional utveckling uttryckt i varaktig endogen tillväxt. Det utvärderingsar- bete som inom ramen för partnerskapet utförts av kom- missionen eller medlemsstaterna på delprogram- eller åtgärdsnivå är för övrigt fortfarande otillräckliga för att göra det möjligt att undersöka konsekvenserna av en specifik åtgärd på andra områden och sektorer eller för att jämföra åtgärden med andra åtgärder med liknande mål. Dessutom bör en analys av åtgärders och delpro- grams inverkan även beakta den inledande motsättningen mellan tillväxt och jämlikhet mellan regioner, vilken har förutbestämt valet att väga förväntade och uppnådda effektivitetsvinster. 7. 20. På projektnivå är analysen av kostnader och förde- lar med projekten i princip utarbetad för godkännandet av projektets finansiering. Denna analys är obligatorisk enligt artikel 5 i förordning nr 2083/93 (ERUF) för de stora projekten vars totalkostnad överstiger 25 miljoner ecu för investeringar i infrastruktur och 15 miljoner ecu för produktiva investeringar. Dessa bedömningar i för- hand av de stora projekten utgör en del av handlägg- ningen av förfrågningar om gemenskapsbidrag och bestämmer det totala beloppet för finansiering, men kom- missionen kan inte kräva utvärderingar i efterhand därav, eftersom de inte föreskrivs i strukturfondernas regelverk, för att kontrollera att de socioekonomiska fördelarna verkligen uppnås med hänsyn till de gemenskapsresurser som har mobiliserats för detta ändamål. Denna brist i utvärderingsprocessen avseende stora projekt gör att själva utvärderingsbegreppet inte fungerar på denna nivå, eftersom en bedömning i förhand endast kan rättfärdigas om det genomförs en utvärdering i efterhand. Dessutom skulle dessa mikroekonomiska och sektoriella undersök- ningar även kunna uppskatta strukturfondernas poten- tiella inverkan på produktiviteten och på så sätt bli ett fungerande medel för den kort- och medellångsiktiga analysen av denna inverkan. 7. 18. Å andra sidan är de tekniker sällsynta som är anpassade för att mäta inverkan av ett delprogram eller en specifik åtgärd. Ovan beskrivna makroekonomiska 7. 21. Vid utvärderingen av projekten bör även synergi och komplementaritet beaktas. Dessa utvärderas fortfa- rande på ett otillräckligt eller ytligt sätt. En balans mellan C 347/20 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 komplementaritet och synergi mellan projekt är oumbär- lig för att inte försvaga den förväntade inverkan. 8. 4. Det är på samma sätt med den otillräckliga statis- tiska basen som ifrågasätter indikatorernas giltighet och starkt påverkar uppföljnings- och utvärderingsprocessen. 7. 22. Utvärdering efter halva tiden angriper ofta proble- men med programmens förvaltning, men beaktar sällan de kriterier som har bestämt valet av projekt, såsom projektets hållbarhet och projektets bidrag till den regio- nala utvecklingen. Systemen för programmens förvaltning bör kunna garantera att urvalskriterierna för projekten används för att på bästa sätt utveckla programresultaten. I synnerhet måste man undvika projekt med lågt föräd- lingsvärde med hänsyn till utveckling, även om dessa har den fördelen att krediterna kan förbrukas mycket snabbt. Det bör finnas mer insyn i systemet för val av projekt för att göra det möjligt att kontrollera och säkerställa att det går att utvärdera. 8. SLUTSATS 8. 1. Tillvägagångssättet med utvärdering av gemenskaps- finansierade strukturåtgärder härrör från rättsliga skyl- digheter enligt rådsbeslut och används för tillfället mycket inom ramen för partnerskapet. Utvärderingen har blivit ett system för hjälp vid utformning och förvaltning av åtgärder och bidrar till en bättre kännedom om åtgärdernas effekter och nytta. För perioden 1994–1999 har mer än 250 utvärderingar efter halva tiden genom- förts på nivån för uppföljningskommitte´er (19) under 1997. 8. 2. Med revisionen av strukturfondsreformen går utvär- deringen in i en mognadsfas som från och med nu måste konsolideras via en bättre metodikinramning. En betydel- sefull insats måste fortfarande inriktas på de utvärde- ringsmetoder som är lämpligast för att mäta program- mens socioekonomiska inverkan, inom ramen för regio- nal utveckling, då Means-programmet inte har kunnat ge något tillfredsställande svar. 8. 3. En annan insats borde göras inom området för indikatorer på alla nivåer i fråga om lämplighet, infor- mationsssätt och därmed förknippade kostnader. En insats för formalisering borde även inriktas på de kvalita- tiva aspekterna. Utan nya framsteg inom dessa områden riskerar utvärderingsprocessen att stagnera. (19) Uppföljningskommitte´erna omfattar företrädare för berörda nationella instanser och kommissionen. 8. 5. Den nuvarande mängden indikatorer, som är mer eller mindre lämpliga, sänker kvaliteten på utvärderingen och gör att den inte kan användas. Ett litet antal oumbär- liga indikatorer för inverkan för att rättfärdiga eller omdirigera strukturpolitiken borde omsorgsfullt väljas ut med beaktande av kraven på regionalisering av data och de materiella möjligheterna till informationsinsamling. Tillförlitligheten hos dessa indikatorer borde kontrolleras. Jämförbarheten mellan indikatorer och sammanställ- ningen av dessa på europeisk nivå borde förbättras. 8. 6. För att utvärderingen skall kunna beaktas fullt ut i beslutsprocessen och i den operativa förvaltningen av strukturfonderna måste insynen i och objektiviteten hos utvärderingarna, anpassningen av målen till behoven och en lämplig dag för slutförande säkerställas. 8. 7. För att garantera utvärderingsresultatens objektivi- tet bör utvärderarnas oberoende bevaras i förhållande till berörda förvaltare och offentliga myndigheter. 8. 8. Användningen av en gemensam referensram skulle underlätta läsbarheten och jämförbarheten i utvärderings- rapporterna samt utbytet av erfarenheter. 8. 9. För varje utvärdering måste mer operativa mål definieras. I referensvillkoren och i kravspecifikationen, som i allmänhet godkänts av kommissionen, bör den lämligaste metodiken klart anges beroende på om den inriktar sig på de regionala, sektoriella eller nationella aspekterna, eller beroende på om den bör inrikta sig speciellt på kort- eller långsiktiga effekter. All annan metodik bör bli föremål för en analys av styrkor och svagheter i jämförelse med kommissionens metodik. På samma sätt bör referensramen för varje utvärdering omfatta en minimiförteckning med de indikatorer som föreslagits av kommissionen för att mäta att programmå- len uppfylls, i syfte att säkerställa den oumbärliga enhet- ligheten i analysen. Andra socioekonomiska och struktu- rella lägesindikatorer kan naturligtvis användas för att komplettera och förfina denna analys. 8. 10. Med hänsyn till den mångfald tillvägagångssätt som är kopplade till utvärderingen bör kommissionen kräva att utvärderarna ger en mycket bättre förklaring av tillvägagångssätten vid anbudsinfordran, i synnerhet den 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/21 typ av effekter eller inverkan som de avser att mäta och under hur lång tid, för att kunna bedöma hur uttöm- mande de använda metoderna är. Dessutom borde utvär- deringen innehålla en detaljerad analys av kopplingarna mellan program- och områdesmål samt vidtagna åtgärder för att uppfylla dessa mål, samt ett flödesschema över sammanlänkning av mål, resultat och genomförande av program, områden och åtgärder. 8. 15. I den makroekonomiska modellutformningen görs en grundläggande skillnad på de kortsiktiga effekterna på efterfrågan och de strukturella justeringarna av utbudet. Programplaneringen av strukturfondsåtgärderna borde mer inriktas på produktionskapaciteten inom ekonomin, för att garantera effekternas varaktighet och för att undvika ett alltför markerat beroende av efterfrågan, vilket skulle leda till en situation där gemenskapsstöd skulle vara oumbärligt på lång sikt. 8. 11. I detta sammanhang är det nödvändigt med en bättre segmentering av utvärderingen beroende på motta- gare för att öka effektiviteten och för att bättre motsvara deras specifika förväntningar, i synnerhet inom området för utvärdering efter halva tiden. På samma sätt bör en bättre kostnadskontroll eftersträvas, eftersom kommissio- nen inte alltid känner till kostnaderna för utvärdering inom ramen för partnerskapet. 8. 16. Efersom effekterna på utbudet endast slår igenom efter en längre period lägger utvärdering efter halva tiden vanligtvis mer vikt på effekterna på efterfrågan. Kommis- sionen borde driva en åtgärd som syftar till att utveckla de nödvändiga metoderna för uppföljning och utvärde- ring av strukturella effekter på ekonomin. 8. 12. Kommissionen bör även ange de regionalpolitiska aspekter som måste bli föremål för särskild utvärdering: tillskott, konvergens, partnerskap, koncentration, syssel- sättning, endogen ekonomisk utveckling eller social väl- färd. Mätning av BNP per capita bör inte vara den enda referensen för att bedöma strukturåtgärdernas effektivi- tet. 8. 17. Det framgår även av de makroekonomiska model- lerna att en politik för ekonomisk tillväxt inte alltid är förenlig med en hållbar utveckling. Man måste bättre analysera förhållandet mellan inverkan på tillväxt och effekterna på en hållbar tillväxt och systematiskt beakta denna tudelning i programplaneringen av strukturfonds- åtgärderna. 8. 13. Uppskattningen av effekter, inverkan och föräd- lingsvärde inom gemenskapen borde kunna stödjas på modeller för nationell och regional utveckling på pro- gramnivå, samt på modeller för åtgärdernas inverkan. 8. 18. Effekterna av kravet på tillskott och samfinansie- ring är inte alltid enkla att definiera och har inte alltid undersökts. Mer systematiska och fördjupade analyser borde genomföras av dessa effekter. 8. 14. De makroekonomiska resultaten av strukturåtgär- derna bör förfinas med hänsyn till bristfälligheter i de modeller som de grundas på, samt bieffekter förorsakade av dessa åtgärder samt alla effekter av dessa på den sociala välfärden. 8. 19. Det går inte att påstå att utvärderingen i sig kan ersätta den politiska beslutsprocessen, vilken omfattar ett bredare område, men bör utgöra ett oumbärligt medel för en sund och effektiv förvaltning av strukturåtgärderna inom gemenskapen, vilka medför att hänsyn tas till de socioekonomiska resultaten. Denna rapport har antagits av revisionsrätten i Luxemburg vid dess sammanträde den 23 september 1998. På revisionsrättens vägnar Bernhard FRIEDMANN Ordförande Utvärderingskostnad som finansieras direkt av kommissionen (GD XVI) för EGSR 1 Tabell 1 Land Mål 1 1989–1993 Mål 2 EU-initiativ Tematiska Övriga Totalt I förhand I efterhand I förhand I efterhand I förhand I efterhand (i ecu) Belgien Danmark Tyskland Grekland Spanien Frankrike Irland Italien Luxemburg Nederländerna Portugal Förenade kungariket Europeiska kommissionen 35 000 31 000 42 000 35 000 35 000 35 000 53 000 150 172 207 372 97 662 109 572 150 552 193 022 72 572 17 500 35 000 17 500 70 000 35 000 35 000 17 500 35 000 122 500 69 040 25 520 138 570 117 090 253 185 96 580 15 880 47 925 131 500 14 815 65 963 10 514 143 480 526 347 739 274 197 228 201 915 395 955 15 128 46 816 452 706 223 428 98 400 35 395 25 000 593 350 260 977 104 371 464 064 390 156 25 000 625 169 626 694 77 500 151 845 30 000 151 845 151 845 35 000 550 256 187 898 96 034 299 550 1 456 714 1 455 713 881 291 810 551 1 255 088 48 508 154 741 1 340 897 1 229 694 740 971 Totalt 266 000 980 924 385 000 910 105 3 117 154 3 227 676 1 070 791 9 957 650 Källa: Europeiska kommissionen. C 3 4 7 / 2 2 S V E u r o p e i s k a g e m e n s k a p e r n a s o f f i c i e l l a t i d n i n g. 1 6 1 1. 9 8 Utvärderingskostnad som finansieras direkt kommissionen (GD XVI) för EGSR 2 fram till 1 april 1998 Tabell 2 Land 1994–1999 Mål 1 1994–1996 1997–1999 1994–1999 Mål 2 Mål 2 EU-initiativ Tematiska I förhand Efter halva tiden I förhand Efter halva tiden I förhand I förhand (i ecu) Undersökningar om sammanhåll- ning Metodisk utveck- ling och övriga Totalt Belgien Danmark Tyskland Grekland Spanien Frankrike Irland Italien Luxemburg Nederländerna Österrike Portugal Finland Sverige Förenade kungariket Europeiska kommissionen 24 000 352 527 38 940 108 303 68 995 86 841 56 000 83 809 19 000 17 671 60 000 71 774 49 150 1 030 037 4 171 941 1 382 117 481 092 1 067 557 1 514 311 37 499 11 827 1 631 604 339 214 281 295 70 885 26 530 23 312 94 784 85 102 186 122 105 287 9 143 46 431 33 000 16 750 27 000 154 591 127 300 611 348 9 278 128 450 209 078 807 462 722 690 61 741 104 924 171 201 326 614 247 636 10 600 9 600 29 200 19 000 45 600 31 169 10 600 10 600 30 000 1 559 39 702 23 286 29 725 36 091 4 326 33 185 460 4 406 245 35 247 35 845 4 314 127 986 2 576 126 19 417 33 357 62 217 55 167 48 367 56 967 52 317 49 417 14 597 46 817 38 417 52 122 90 000 4 030 438 1 045 981 75 547 1 551 316 4 358 697 1 842 384 1 700 175 1 180 200 2 539 868 96 541 269 677 233 944 1 765 268 682 578 555 931 415 217 6 877 328 Totalt 684 483 12 371 906 935 352 3 400 422 196 369 248 391 2 704 112 619 179 4 030 438 25 190 652 Källa: Europeiska kommissionen. 1 6. 1 1. 9 8 S V E u r o p e i s k a g e m e n s k a p e r n a s o f f i c i e l l a t i d n i n g C 3 4 7 / 2 3 C 347/24 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 Tabell 3 Sammankoppling av kontroll, uppföljning och utvärdering Medel RR Genomförande RR Inverkan Indata Utdata Utfall rr Kontroll RR rr Uppföljning (av förvaltning) RR rr Utvärdering (av effekter) RR Källa: MEANS Tabell 4 Bedöma värdet av ett program Referenter Överensstämmelse med administrativa texter Normer för god förvaltning Medborgarnas tillfredsställelse Inverkan qq QQ QQ Samhälle Behov Insatser QQ QQ Resultat qq QQ QQ Offentlig åtgärd QQ Specifika globala mål Tillämplighet RR Medel Resurser RR Åtgärder Genom- föranden Utvärdering Ekonomisk effektivitet Effektivitet Nytta Källa: MEANS 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/25 Tabell 5 Antal utvärderingar efter halva tiden per land och per mål Land Mål 1 Mål 2 Mål 3 Mål 4 Mål 5a Mål 5b Mål 6 Totalt Belgien Danmark Tyskland Grekland Spanien Frankrike Irland Italien Luxemburg Nederländerna Österrike Portugal Finland Sverige Förenade kungariket Totalt 1 8 28 27 6 11 24 1 1 25 12 144 4 2 9 9 27 11 1 5 4 1 5 13 91 5 1 1 2 1 1 1 1 1 4 1 5 1 13 12 1 1 1 1 1 4 1 1 42 19 1 1 1 1 1 1 1 1 8 3 1 8 7 20 13 1 5 7 2 5 11 83 19 6 40 28 58 55 11 50 4 13 15 25 13 14 38 389 1 1 2 På EGSR-nivå har fem utvärderingar efter halva tiden utförts — Spanien, Grekland, Irland, Italien och Portugal — och en sammanställning av utvärderingarna har utarbetats för mål 1 — åtgärder Tyskland. Källa: Europeiska kommissionen. Framsteg inom utvärdering efter halva tiden av mål 1, 2 och 6 Tabell 6 Medlemsstat Uppföljningskommitte´ Anbudsinfordran Utvalt organ Antal inlämnade eller planerade rapporter Mål 1 Sammanhållningsländerna Spanien Grekland Irland Portugal 1 EGSR-kommitte´ 12 regionala underkom- mitte´er 7 sektoriella ERUF- underkommitte´er 1 regional/central (Canta- bria) 1 EGSR-kommitte´ 13 regionala underkom- mitte´er 17 sektoriella underkom- mitte´er avslutad 12 avslutade 1 extern 12 externa 1 rapport planerad för juli 1997 12 rapporter planerade för maj 1997 ; 1 inlämnad rapport 7 avslutade 7 externa 7 rapporter planerade för maj–juni 1997 ; 1 inlämnad rapport 1 avslutad 1 extern rapport planerad maj 1997 urval pågår 13 avslutade 6 anbud mottagna 13 externa — 13 inlämnade rapporter juni 1997 7 avslutade 3 publi- cerade Utnämning pågår — 1 EGSR-kommitte´ 9 sektoriella kommitte´er påbörjad 1996 1 EGSR-kommitte´ 7 regionala underkommit- te´er 3 multiregionala under- kommitte´er 7 sektoriella kommitte´er avslutad avslutad avslutad avslutad 1 extern 9 externa 1 extern 7 externa 3 externa 14 externa 1 halvtidsrapport inlämnad mars 1997 9 halvtidsrapporter inlämnade mars 1997 planerad rapport för slutet av 1997 7 rapporter inlämnade under första kvartalet 1997 3 rapporter inlämnade under första kvartalet 1997 12 rapporter inlämnade under första kvartalet 1997 — 1 rapport planerad juli 1997 — 1 rapport planerad september 1997 Mål 1 Andra länder Tyskland 1 EGSR-kommitte´ 6 regionala underkommit- te´er 3 EGSR-EUGFJ-FFU- underkommitte´er 1997 (begränsad) 1996 1 extern 6 externa 1 slutrapport planerad augusti 1997 6 rapports inlämnade maj 1997 — — — Belgien 1 SPD-kommitte´ 3/9 1994 1 extern slutrapport inlämnad maj 1997 C 3 4 7 / 2 6 S V E u r o p e i s k a g e m e n s k a p e r n a s o f f i c i e l l a t i d n i n g. 1 6 1 1. 9 8 Medlemsstat Uppföljningskommitte´ Anbudsinfordran Utvalt organ Antal inlämnade eller planerade rapporter Frankrike 6 SPD-kommitte´er 6 avslutade 6 externa Korsika: halvtidsrapport inlämnad december 1996 Hainaut: rapport planerad för juli 1997 Martinique/Guadeloupe: rapporter planerade juni 1997 Re´union/Guyana: rapporter planerade för slutet av 1997 Italien 1 EGSR-kommitte´ 8 regionala underkommit- te´er 12 flerregionala under- kommitte´er kort lista tillgänglig, urval planerat no- vember 1997 påbörjade 0 intern utvärdering: rapport planerad för juli 1997 extern utvärdering: rapport planerad för juni 1998 2 av 8 externa rapporter planerade i början av 1998 publicering pågår, urval planerat (som- maren 1997) 0 — Nederländerna 1 SPD-kommitte´ mars 1996 1 extern rapport planerad i slutet av 1997 Förenade kungari- ket 2 SPD-kommitte´er 1: februari 1996 (Merseyside 2: 1996 (H och I) 1 extern 1 extern 1 rapport inlämnad i början av 1997 1 extern 1 rapport planerad under sommaren 1997 Nordirland 1 EGSR-kommitte´ 9 sektoriella underkom- mitte´er 1: juni 1996 maj 1996 1 extern 9 externa rapport inlämnad maj 1997 9 rapporter inlämnade under första kvartalet 1997 Österrike 1 kommitte´ avslutad 1 extern rapport planerad under hösten 1997 Mål 6 Finland 1 SPD-kommitte´ avslutad 1 extern rapport planerad för oktober 1997 Sverige 1 SPD-kommitte´ avslutad 1 extern rapport inlämnad juni 1997 Källa: Europeiska kommissionen. 1 6 1 1 9 8. S V E u r o p e i s k a g e m e n s k a p e r n a s o f f i c i e l l a t i d n i n g C 3 4 7 / 2 7 C 347/28 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 EGSR-2-programmens inverkan (inklusive nationell samfinansiering) på BNP-tillväxten Tabell 7 EGSR i procent av BNP HERMIN (1) (genomsnittlig årlig tillväxt i procent för 1994–1999) Efterfrågan Utbud Totalt OGM (2) (genomsnittlig årlig tillväxt i procent för 1994–1999) DIO (3) (genomsnittlig årlig tillväxt i procent för 1994–1999) Grekland Spanien(4) Portugal Irland 5,9 2,6 5,5 3,3 0,9 0,6 1,6 0,5 0,9 0,3 0,2 0,2 1,8 0,8 1,8 0,7 0,6 0,2 0,4 0,1 1 0,5 1 0,6 (1) HERMIN: Ekonometrisk modell som baserar på den tidigare modellen HERMES (Harmonised Econometric Research for Modelling Economic Systems), men som är av minimumstorlek (Min), därför HER(MIN). Se kapitel 7 och särskilt punkt 7. 2, 7. 5, 7. 10, 7. 11, samt bilaga III punkt 5. (2) Pereiras (1991 och 1995) Optimal Growth Model (OGM). Se kapitel 7 och särskilt punkt 7. 2, 7. 6, 7. 10, samt bilaga III punkt 7. (3) Beutels (1995, 1996 och 1997) Dynamic Input-output Model (DIO). Se punkt 6. 23 samt bilaga III punkt 9. (4) Avseende Spanien kommer inte alla regioner i fråga för mål 1. Källa: Utvärderingar baserade på berörda makroekonomiska modeller, samfinansierade av kommissionen. Multiplikatorer för årlig tillväxt i EGSR-programmet 1994–1998 Tabell 8 HERMIN Efterfrågan Utbud Totalt OGM DIO Grekland Spanien Portugal Irland 0,2 0,2 0,3 0,2 0,2 0,1 0 0,1 0,4 0,3 0,3 0,3 0,1 0,1 0,1 0 0,2 0,2 0,2 0,2 Källa: Utvärderingar baserade på berörda makroekonomiska modeller, samfinansierade av kommissionen. Reell konvergens uttryckt i BNP per capita i OGM-modellen Tabell 9 9 0 90 8 0 80 7 0 70 60 6 0 50 5 0 40 4 0 e d r ä v l e d e m U E v a % - Grekland G r e e c e I r e l a n d Irland P o r t u g a l Portugal S p a i n Spanien 30 3 0 1993 1 9 9 3 1995 1 9 9 5 1997 1 9 9 7 1999 1 9 9 9 2003 2 0 0 3 2007 2 0 0 7 Anm. : Av dessa prognossimuleringar som gjorts på grundval av icke helt aktuella data, finns det anledning att beakta endast ten- densernas utveckling och ej projektionernas absoluta värden som särskilt för Irland visar sig vara alltför pessimistiska. Källa: Utvärderingar baserade på OGM-modellen (Pereira, 1995). 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/29 Inverkan av EGSR-program på sysselsättning och upprätthållande av jämvikt under perioden 1989–1999 Tabell 10 Författare Sysselsättning och arbetslöshet Upprätthållande av jämvikt Offentliga finanser Betalningsbalans Bradley m. fl. [HERMIN] — Total sysselsättning ökar — Det offentliga upplå- Handelsbalansen försämras — Sysselsättning inom tillverkningsindustrin faller delvis beroende på produktivitetsökningar — Sysselsättning i den icke-kommersiella sek- torn ökar Honohan (ed. ) [HERMIN] — Total sysselsättning ökar Herce och Sosvilla- Rivero [HERMIN] — Total sysselsättning ökar — Arbetslösheten minskar ningsbehovet ökar vid programmets start och minskar sedan när ut- budseffekterna uppträ- der — Tillväxteffekterna är mindre med oförändrat upplåningsbehov inom offentlig sektor — Se tidigare undersök- ning — Skuld/BNP-förhållandet minskar kraftigt — Se undersöknigen av Bradley m. fl. — Skuld/BNP-förhållandet minskar Betalningsbalansen förbättras så länge EU-finansieringen fortsätter Handelsbalansen försämras till följd av efterfrågeeffek- terna Christodoulakis och Kalyvitis [HERMIN] Sema Group [HELM] Pereira (1995) [OGM] Lolos och Zonallas [BBM] — Total sysselsättning ökar — Primärt underskott min- Ej beaktad skar — Arbetslösheten minskar i städerna — Total sysselsättning ökar Ej beaktade Ej beaktad — Sysselsättningen inom tillverkningsindustrin minskar — Sysselsättning inom den kommersiella tjänste- sektorn ökar Modell med full sysselsättning Sysselsättningen ökar och arbetslösheten minskar Primärt budgetunderskott i procent av BNP-ökningar Budgetunderskottet ökar under 1989–1993 och min- skar under 1994–1995 Underskottet i kapitalbalan- sen ökar förutom för Spa- nien under 1997–1999 Kapitalbalansen försämras Beutel [DIO] — Sysselsättningen ökar i Portugal, Grekland och Ej beaktade Spanien Export-import ökar i Portu- gal och Grekland men min- skar i Irland — I Irland minskar den första EGSR sysselsätt- ningen medan den andra EGSR skapar nya ar- betstillfällen FIDIMS Sysselsättningen ökar i Nord- och Syditalien Ej beaktade Ej beaktad C 347/30 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 Ackumulerad BNP-tillväxt i procent till följd av en ökning med en procentenhet av EGSR-andelen i BNP (1994–1999) Tabell 11 Fysiskt kapital Mänskligt kapital Privat kapital Spanien Irland Portugal 2 1,4 1,9 3,3 1,2 1,3 1,5 1,1 Ej tillgängligt Källa: HERMIN-utvärderingar. 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/31 BILAGA I SAMMANSTÄLLNING AV DEN METODIK SOM SKALL ANVÄNDAS INOM RAMEN FÖR UTVÄRDERINGEN I EFTERHAND AV EGSR-MÅL 1 1989–1993 1. Utvärderingen i efterhand av EGSR-mål 1 1989–93 hade följande uttryckliga mål: a) Bedöma den strategi och de mål som anges i EGSR och dra lärdom därav inför framtida åtgärder. Analysera följderna för de i början uppsatta målen av en omdefiniering och anpassning av åtgärder under genomförandeperioden. b) Göra en första sammanställning på EGSR-nivå och nivån för operativa program av de fysiska förverkligandena av de betydelsefulla åtgärderna och genomföra en första bedömning av deras inverkan. c) Analysera effektiviteten i mekanismerna för genomförande och samla kunskap för eventuella framtida anpassningar. 2. Metodik för tillvägagångssätt har utarbetats av den huvudkonsult som ansvarar för samordningen av de utvärderingar som genomförts av andra konsulter för berörda medlemsstater: a) För det första målet, i syfte att utvärdera den inneboende logiken i EGSR och operativa program och i justeringarna av dessa sedan 1989 — och mer specifikt för att analysera orsakerna till justeringarna, förädlingsvärdet för gemenskapen, intern enhetlighet, extern enhetlighet, strategins tillämplighet i förhållande till problem och balansen mellan olika typer av finansieringar — bör följande uppgifter utföras, som utgår ifrån tillvägagångssättet top down: — Insamling av information och nyckeldata: finansiella data, förhandsmål, förväntade resultat/ effekter, målgrupper och målområden, viktigaste använda medel, antal godkända projekt/ åtgärder, antal utförda projekt. — Beskrivning av programmets omgivning och utveckling (utgångssituation — nuvarande situa- tion); identifiering av externa faktorer som påverkar programmets utveckling och dess fram- gång/misslyckande; analys av problem och grundorsaker; åskådliggörande av nyckelindikato- rerna för regional utveckling, inklusive indikatorer för förändring av skillnader. — Identifiering av politiska medel (lån, subventioner, tekniskt stöd). — Rangordning av mål, identifiering av rangordnade nivåer och kopplingar mellan mål och medel. b) För det andra målet utgår analyserna som skall utvecklas från båda tillvägagångssätten top down och bottom up: — Analys av resultat och effekter på operativa program, åtgärds- och projektnivå, med beaktande av ”rena förluster” och substitutions- och multiplikatoreffekter. — Analys av den relativa effektiviteten av åtgärder och kombinationer av åtgärder; analys av orsaksfaktorer för framgångar/misslyckanden. — Jämförelse av utdata och indata. Det handlade även om att åskådliggöra nyckelindikatorerna och de valfria indikatorerna. c) För det tredje målet inriktade man sig på att analysera effektiviteten hos mekanismerna för genomförande på EGSR-nivå och av operativa program och av ett begränsat antal åtgärder, samt att identifiera de förbättringar som gjorts eller bör göras i programplaneringsprocessen, genomfö- rande, uppföljning och utvärdering; man skulle för varje medlemsstat undersöka mekanismerna för beslutsfattande, planering, finansiell kontroll, genomförande, uppföljning, kontroll, finansiella system, partnerskap, tillskott, samordning av medel, processen för förenkling, harmonisering, högre flexibilitet, och bättre insyn; man skulle genomföra en djupgående analys av genomförandet och uppföljningen för ett litet urval av åtgärder och stora projekt. d) Ett urval av program från fall till fall, åtgärder och projekt gjordes för att å ena sidan få information om ett begränsat antal fysiska indikatorer och indikatorer för inverkan, och å andra sidan utföra fördjupade analyser. C 347/32 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 BILAGA II SAMMANFATTNING AV TILLVÄGAGÅNGSSÄTTET FÖR UTVÄRDERINGEN I EFTERHAND AV MÅL 2 1989–1993 Utvärderingen i efterhand av gemenskapsåtgärderna inom ramen för mål 2 för programplaneringsperioden 1989–1993, vilken vanligtvis omfattade ERUF:s och strukturfondernas beståndsdelar, innefattar följande: a) Allmänna analyser om alla regioner och mål 2-områden: de inriktade sig på jämförelse av den socioekonomiska situationen precis innan strukturfondsåtgärden inom ramen för mål 2 och den socioekonomiska situationen efter dessa åtgärder; de skulle även ge upphov till en analys av den genomförda strategin, rangordningen av mål, prioriteringar och åtgärder, indikatorer, planerade och oplanerade effekter, synergier mellan delar av programmet, integrering av olika fonder. Dessa analyser baserades på innehållet i EGSR och i operativa program, på rapporterna om årliga genomföranden eller på rapporter inlämnade till uppföljningskommitte´n och på utvärderingar i förhand och i efterhand, i de fall dessa finns tillgängliga. b) Fördjupade studier som berör 22 regioner med syfte att — genomföra djupgående undersökningar av EGSR, operativa program och de anpassade åtgärdsty- perna, — analysera de institutionnella strukturerna och de sätt på vilka programmen förvaltas, — utvärdera inverkan och effekterna av det ”förädlingsvärde” som kan tillskrivas EGSR och operativa program, — utvärdera kostnaden och inverkans effektivitet, — undersöka bidragen från åtgärden i mål 2-program till processen för regional utveckling. De fördjupade utvärderingarna utgår ifrån tillvägagångssättet bottom up och målet är att – med utgångspunkt från en undersökning av urvalsprocessen för verksamheter, dess typologi, av förvaltnings- processen, dess inverkan och effekter på förädlingsvärdet, synergier och tillskott – gå tillbaka och sammanställa på åtgärdsnivå och slutligen på programnivå. BILAGA III EGENSKAPER HOS DE MAKROEKONOMISKA MODELLER SOM ANVÄNTS INOM RAMEN FÖR UTVÄRDERINGEN AV STRUKTURFONDERNA 1. De viktigaste modeller som används inom ramen för en makroekonomisk utvärdering inom ramen för strukturfonderna består av a) ekonometriska modeller, såsom HERMIN (1), HELM (2) och QUEST II (3), b) allmänna beräknade jämviktsmodeller såsom OGM (4) och BBM (5), c) input-output-modeller såsom DIO (6) och FIDIMI (7), d) strukturella-residuella analyser. (1) HERMIN: Ekonometrisk modell som grundar sig på den ursprungliga HERMES-modellen (”Harmonised Econometric Research for Modelling Economic Systems”) med skillnaden att den är av minimal storlek (Min), därav (”HER”)MIN. (2) HELM: Hainaut Economic Lead-in Model. (3) ”QUEST II: A Multi Country Business Cycle and Growth Model – Economic Papers no 123 – October 1997”. GD II – Ekonomi och finans. (4) ”Optimal Growth Model” (OGM) av Pereira (1991 och 1995). (5) Bourguignon, Branson och de Melo-modellen (BBM) av Lolos och Zonzilas (1992). (6) ”Dynamisk indata-utdata-modell (DIO)” av Beutel. (7) FIDIMI Consulting Company, utvärdering av makroekonomisk inverkan av EGSR-mål 1 – Italien och mekanismer för genomförande. 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/33 Särdragen i tillämpningen av dessa modeller i de fall som undersöks visas schematiskt i tabell III 1 och III 2. Tabell III 3 anger en modellisering av särdragen hos EGSR. 2. Möjligheten att simulera den ekonomiska utvecklingen i mål 1-länderna under ett tidsintervall på mer än tio år på grundval av data från flera sektorer gör det dessutom möjligt att förstå den strukturella förändring som genererats av strukturfonderna och utvärdera hållbarheten i den återhämtningsprocess som gemenskapsstödet skall understödja och förstärka. 3. Inom ramen för sin undersökning har revisionsrätten genomfört en analys (8) för att bedöma i vilken grad dessa tekniker är tillämpliga på makroekonomisk nivå för att mäta inverkan av strukturåtgär- derna och på ett effektivt sätt bidra till beslutsprocessen och den strategiska processen av programpla- neringen. 4. Det framgår av denna analys att klargörandena avseende de endogena eller exogena faktorerna, vilka påverkar utgången av strukturprogrammen, varierar beroende på den metodik och det begreppsliga tillvägagångssätt som tillämpas. De makroekonomiska modellerna inriktar sig på att framställa mekanismerna i ett lands eller en regions ekonomiska system och att fånga upp eller simulera effekterna av en exogen chock, exempelvis den som framkallas av en åtgärd från strukturprogrammen. Sålunda existerar det ingen unik och fullständig framställning av den ekonomiska verkligheten. 5. Den ekonometriska modellen HERMIN, som beaktar varje medlemsstats specifika egenskaper och sammanställer effekterna på nationell nivå, utgår ifrån hypotesen att ekonomierna inte utnyttjar hela sin produktionskapacitet och därav följer att multiplikator- och acceleratoreffekterna kopplade till investeringsökningar skapar en expansion av produktion och sysselsättning och verkar ge tillfredsstäl- lande resultat vad avser effekterna på efterfrågan. I fråga om effekterna på utbudet leder enligt modellen minskningen av arbetslösheten till löneökningar enligt Philipsförhållandet, samtidigt som effekten på inflationen begränsas; å andra sidan beaktas effekterna på produktiviteten uttryckligen vid modelliseringen av effekterna av de externa besparingar som ökningen och förbättringen av det mänskliga och fysiska kapitalet har på produktiviteten. Detta beaktande skiljer sig dock från ett land till ett annat. Modellen ger ingen partiell information vad avser stadig utveckling och beaktar i synnerhet inte aspekterna av variationer i växelkursen för att garantera jämvikt i betalningsbalansen eller variationer i skattetransfereringar. 6. Den ekonometriska modellen HELM, som har använts för utvärdering efter halva tiden av SPD 1994–1999 mål 1 för provinsen Hainaut (Belgien), är en av de få som specifikt beaktar tillvägagångs- sättet för regional utveckling med hänsyn till effekterna av endogen tillväxt kopplad till produktivitet på lång sikt, även om förbättringen av produktiviteten till följd av strukturfondsåtgärder är i stort sett begränsad till industrisektorn och endast berör arbetsproduktiviteten. Med utgångspunkt från samma typ av förutsättningar som HERMIN-modellen vad avser utnyttjande av produktionskapacitet och multiplikator- och acceleratoreffekter av investeringar på efterfrågan, anger den de globala och sammanlagda effekterna av SPD på Hainuts ekonomi såsom genererad ackumulerad investering, förädlingsvärde eller sysselsättning inom de tillverkande industrisektorerna och kommersiella tjänsterna under perioden 1994 till 2002 eller 2005. Det bör noteras att HELM-modellen beaktar den regionala exporten, men inte importen från andra regioner och riskerar på så sätt att övervärdera effekterna på efterfrågan. Denna efterfrågan förstärks ytterligare av det faktum att varken lönejusteringar kopplade till en minskning av arbetslösheten eller de ökade kostnaderna och kapacitetsbegränsningarna har beaktats. HELM-modellen ger även få indikationer om utvecklingen av arbetslösheten eller arbetsplats- utbudet. Slutligen grundar den sig på historisk statistisk information, men denna har inte blivit föremål för ett validitetstest med andra lämpliga informationsserier. 7. De allmänna beräknade jämviktsmodellerna tillämpas i synnerhet på nationell nivå. De åskådliggör utbudseffekterna på lång sikt med utgångspunkt från gemenskapsfinansierade strukturåtgärder. Enligt OGM-modellen som har antagit en ram för intertemporal endogen tillväxt, anses att marknaderna för produktionsfaktorerna är i jämvikt och att ekonomin utnyttjar hela sin produktionskapacitet. Föränd- (8) Revisionsrätten har använt sig av en extern utvärderare som är mycket specialiserad inom området makroekonomiska modeller och europeisk ekonomi. C 347/34 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 ringar i efterfrågan har ingen effekt på produktion och sysselsättning och strukturfondsprogrammen kan endast stimulera tillväxten genom att öka produktiviteten. Dessa produktivitetseffekter är klart specificerade i produktionsfunktionen. Modellen är avsedd att bestämma ett bästa möjliga tillstånd för landet genom att maximera en funktion för intertemporal social välfärd. Med utgångspunkt från hypotesen om en situation med perfekt information kan de ekonomiska aktörerna förutsäga vilka medel som kommer att tilldelas dem och förväntas sålunda att fatta bästa möjliga beslut i fråga om konsumtion och investeringar i förhållande till dessa data. Slutligen förutspår OGM-modellen en långsiktig jämvikt i betalnings- och budgetbalansen. 8. BBM-modellen anger att för vissa sektorer kommer arbetsmarknaden att vara i jämvikt och därför kommer inte efterfrågan att inverka på produktion och sysselsättning. I andra sektorer anses en ökning av efterfrågan skapa tillväxt. Modellen omfattar även produktivitetseffekter kopplade till tekniska förändringar som minskar indata. 9. Indata-utdata-modellen DIO strävar efter att framställa kopplingarna mellan alla resurser som en ekonomi förfogar över samt alla former av slutlig konsumtion. Den bestämmer på så sätt det inbördes förhållandet mellan de olika sektorerna i ett land, vilka är sammankopplade på basis av intermediär konsumtion. Tillvägagångssättet indata-utdata maximerar effekterna av strukturåtgärder på efterfrågan och bortser ifrån effekterna på utbudet (effekter på produktivitet, löner, inflationsjusteringar). Stadig tillväxt behandlas inte. FIDIMI-modellen är en kombination av en allmän jämviktsmodell och en indata-utdata-modell och gör det möjligt att analysera effekterna på Norditalien av att gemenskapsåt- gärder vidtagits i Syditalien. 10. Bland de andra befintliga teknikerna för att utvärdera regionalpolitik använder Eurostat främst strukturanalyser – restvärdesanalys för utvärdering av strukturfondernas inverkan inom vissa valbara områden av mål 1 eller 2. Denna analys bestämmer restvärdet, som är skillnaden mellan den verkliga situationen och den teoretiska situationen, som härstammar från tillämpningen av uppskattade nationella tendenser. En så begränsad inverkan får dock till följd att resultaten från den pågående programutvärderingen, andra politiska nationella och europeiska åtgärder och den regionala politiska utvecklingen blandas ihop. Dessutom omfattar de undersökningar som genomförts av Eurostat under 1997 data om indikatorer, varav de senaste härstammar från 1993, vilket minskar slutsatsernas värde. 11. Modellen QUEST II söker att analysera medlemsstaternas ekonomi och deras interaktioner med resten av världen, särskilt med Förenta staterna och Japan. Modellen är speciellt inriktad på överföringar av ekonomipolitiska effekter på nationell och internationell nivå. Modellen har ursprungligen utformats som ett medel för simulering snarare än för förutsägning. QUEST II integrerar numera flera av anbudens effekter än den föregående modellen och tar större hänsyn till interaktioner avseende lager. Emellertid tar QUEST II för lite eller otillräcklig hänsyn till följder av beteendeförändringar hos de ekonomiska aktörerna. Tabell III. 1 Grundläggande egenskaper av de makroekonometriska modellerna Författare Modell Land eller region Effekter på efterfrågan Upprätthållande av jämvikt Löner Produktivitet Effekter på utbud Bradley m. fl. (1994) HERMIN Irland och Portugal Honohan (ed. ) (1997) HERMIN Irland — Traditionell keynesiansk uppställning där efterfrå- gan på investeringar sti- mulerar total efterfrågan — Arbetslösheten ökade. Phil- lipskurvan sammankopplar arbetslöshet, löner och in- flation — Arbetsmarknaderna är inte automatiskt i jämvikt — Inget fullt kapacitetsut- nyttjande i ekonomin — Den monetära sektorn och växelkurser beaktas inte i modellen — Inverkan på inflationen av ökning av efterfrågan är begränsad — Stigande löner ger upphov till inflöde av arbetskraft till Irland — Investering i mänskligt ka- pital har inga effekter på lönerna — EGSR-relaterade investe- ringar ökar totala faktor- produktiviteten på Irland — I Portugal inga produktivi- tetseffekter av privata in- vesteringar och vissa kost- nader för infrastruktur — Det är diskutabelt att be- akta produktivitetseffekter i modellen, i synnerhet för det mänskliga kapitalet — Produktivitetseffekter kan sänka sysselsättningen Herce och Sosvilla- Rivero (1994) HERMIN Spanien Se modell för Irland men ingen förflyttning av arbets- kraft Se modell för Irland Se modell för Irland men: — Investeringar i mänskligt kapital ökar arbetskraftens produktivitet i stället för den totala produktivitets- faktorn — Stöd till privata investe- ringar minskar kapitalkost- naden för användaren Betalningsbalans: — Effekter på efterfrågan ökar importen — Produktivitetseffekter ökar exporten och lockar ut- ländska direktinvesteringar till Irland — Exogen växelkurs tillåter inte fullständig bedömning av betalningsbalansen Offentliga finanser — Offentlig sektor beaktas i begränsad utsträckning i modellen — Upplåning inom offentlig sektor ökar till följd av EGSR — Simulering med oföränd- rad upplåning inom offent- lig sektor beaktas Se modell för Irland men ingen koppling mellan pro- duktivitetseffekter och direkt- investeringar 1 6. 1 1. 9 8 S V E u r o p e i s k a g e m e n s k a p e r n a s o f f i c i e l l a t i d n i n g C 3 4 7 / 3 5 Författare Modell Land eller region Effekter på efterfrågan Upprätthållande av jämvikt Löner Produktivitet Effekter på utbud Christodoulakis och Kalyvitis (1995) HERMIN Grekland — Se modell för Spanien — Växelkurser beaktas i modellen Se modeller för Irland Sema Group (1997) HELM Hainaut — Keynesisk/Kaldor-upp- Inga löne- och priseffekter ställning — Efterfrågan på investe- ringar stimulerar total efterfrågan — Efterfrågan på arbetskraft beaktas i modellen — Utbud av arbetskraft och arbetslöshet beaktas ej i modellen — Import från andra regio- ner beaktas ej i modellen Se modell för Spanien men: — Nominella växelkurser ändras så att en konstant real växelkurs bibehålls — Styrning av skatter antas stabilisera statsskulden Ingen bedömning av konse- kvenserna för statsskuld och betalningsbalans Se modell för Spanien och Ir- land men: — Investeringar i mänskligt kapital minskar enhetspri- set för arbetskraft — Stöd till privata investe- ringar har ingen effekt på produktiviteten — Investering i mjuk infra- struktur ökar offentlig sys- selsättning — EGSR-relaterade program ökar främst arbetskraftens produktivitet inom tillverk- ningssektorn — I rapporteringen av resulta- ten har ingen skillnad gjorts mellan effekter på utbud och efterfrågan C 3 4 7 3 6 / S V E u r o p e i s k a g e m e n s k a p e r n a s o f f i c i e l l a t i d n i n g 1 6. 1 1. 9 8 Grundläggande egenskaper av allmänna beräknade jämviktsmodeller och indata-utdata-modeller Tabell III. 2 Författare Modell Land eller region Effekter på efterfrågan Upprätthållande av jämvikt Löner Produktivitet Effekter på utbud Pereira (1991) Pereira (1995) Optimal tillväxt- modell (Optimal Growth model, OGM) Portugal — Inga keynesiska efterfrågeeffekter — Löner ändras för att — Alla faktormarknader är i jäm- vikt återställa jämvikten på arbetsmarknaden Portugal, Grekland, Irland och Spanien — Ekonomin utnyttjar hela sin kapacitet Lolos och Zonzilas (1992) Bourguignon, Branson och de Melo-modellen (BBM) Grekland — Keynesiska efterfrågeeffekter — Löner ändras för att — Arbetsmarknader i jämvikt i vissa sektorer och inte i andra — Fasta och rörliga växelkurser beaktas återställa jämvikten på arbetsmarknaden i vissa sektorer — Arbetslöshet flyttade upp Phillipskurvan i andra sektorer Produktivitetseffekter eftersom offentligt, mänskligt och privat kapital är i produktio- nen — Intertemporal maxime- ring av välfärden gar- anterar optimal dyna- misk lösning — Krav av betalningsba- lans och offentliga fi- nanser är uppfyllda — Ingen begränsning in- förs på offentlig upplå- ning — Åtgärder för inkomst- utjämning beaktas — Investering i offent- ligt och privat kapi- tal ökar den totala produktivitetsfak- torn för sektorn på ett diskutabelt sätt — Investering i mänsk- ligt kapital ökar in- satsen av utbildad arbetskraft och off- entlig sysselsättning Beutel (1995, 1996, 1997) Dynamisk indata- utdata (Dynamic Input-output, DIO) Grekland, Portugal och Spanien Keynesiska efterfrågeeffekter Inga effekter på löner Inga effekter på pro- duktiviteten Ingen modell med begräns- ningar på betalningsbalans och offentlig upplåning 1 6. 1 1. 9 8 S V E u r o p e i s k a g e m e n s k a p e r n a s o f f i c i e l l a t i d n i n g C 3 4 7 / 3 7 Tabell III. 3 Modeller av EGSR-programmens egenskaper Författare EGSR-program Inriktning på sektorer Styrmedel Samfinansiering och tillskott Utgångspunkter och utfall Bradley m. fl. (1994) 1994–1999 Honohan (ed. ) (1997) Herce och Sosvilla-Rivero (1994) [HERMIN] — 4 sektorer: konkurrensut- satt, icke-konkurrensut- satt, offentlig och agrikul- turell sektor — Den konkurrensutsatta sektorn är avgörande för utbudseffekter — Den icke-konkurrensut- satta och den offentliga sektorn är avgörande för effekter på efterfrågan — Investeringar i fysisk infrastruk- tur (offentlig) — Investeringar i mänskligt kapital — Investerings- och produktionstöd till den privata sektorn — Vissa undersökningar jämför full- ständig inhemsk samfinansiering med ingen eller delvis inhemsk samfinansiering — Prognoser för 1991–2020 förutom Honohan (1993–2010) — Scenarier för ”hard lan- ding” och ”soft landing” beaktas Christodoulakis och Kalyvi- tis [HERMIN] 1994–1999 Samma som föregående undersökningar — Hård infrastruktur — Mjuk infrastruktur — Simuleringar antar att projekterad andel samfinansiering är uppnådd — Prognoser för 1991–2010 — Scenario för ”hard lan- — Stöd till produktiva investeringar — Utbildning Sema Group [HELM] 1994–1999 — 6 sektorer: jordbruk, till- verkning, energi, kon- struktion, kommersiella tjänster, icke-kommersiella tjänster — Investering i offentligt och privat fysiskt kapital — Investering i mänskligt kapital — Investering i FoU-kapital ding” — Prognoser för 1994–2005 — Scenario där EU- och regionalstöd från 1989–1993 är oförändrade i framtiden — Scenario där ytterligare EU-stöd plus inhemsk samfinansiering för 1994–1999 läggs till — Scenario där inget EU-stöd ges un- der 1989–1999 Lolos och Zonzilos [BBM] 1989–1993 Nio sektorer: jordbruk, energi och gruvdrift, livsmedelsindu- stri, lätt industri, medeltung industri, konstruktion, han- del, transport och telekom- munikation, andra tjänster (inklusive statliga tjänster) — Offentliga investeringar inom ut- valda sektorer Tillskott behandlas inte, men införs troligen i modellen — Prognoser för 1988–1995 — ”Hard landing” — Investeringar i mänskligt kapital ökar offentlig sysselsättning, anta- let välutbildade arbetare, transfere- ringar till hushåll — Stöd till privata företag C 3 4 7 / 3 8 S V E u r o p e i s k a g e m e n s k a p e r n a s o f f i c i e l l a t i d n i n g. 1 6 1 1. 9 8 Författare EGSR-program Inriktning på sektorer Styrmedel Samfinansiering och tillskott Utgångspunkter och utfall Beutel [DIO] 1989–1999 25 sektorer baserade på in- data-utdata-tabeller — Sektoriellt fokuserad modell av of- fentliga och privata investeringar samt investeringar i mänskligt ka- pital — Investeringar i utbildning påverkar löner i ekonomin Tillskott införs i modellen — Prognoser för 1989–1994 FIDIMI (1991) 1989–1993 16 sektorer baserade på in- data-utdata-tabeller Pereira (1991) [OGM] 1989–1993 2 sektorer: konkurrensutsatt och icke-konkurrensutsatt — Sektoriellt fokuserad modell av — Tillskott är en avgörande del av — Endast totaleffekter rap- EGSR-program undersökningen — Scenarier skiljer sig i mängden ka- pital som skulle investeras i Sydita- lien med eller utan EGSR-program porteras utan årlig uppdel- ning — Ingen diskussion om scena- rier av ”hard landing” och ”soft landing” — Investeringar i offentlig infrastruk- — Samfinansieringskrav är införda — Prognoser för 1990–2006 tur — Modellen ger möjlighet att bedöma — Scenarier för ”soft lan- — Investeringar i mänskligt kapital om tillskott föreligger — Stöd till privata investeringar ding” och ”hard landing” beaktas Pereira (1995) [OGM] 1994–1999 och jämförelse med 1989–1993 Se föregående modell Se föregående modell — Samfinansieringskrav är införda — Prognoser för 1993–2007 — Simuleringar jämför fall av: — Scenario för ”hard lan- i) icke-tillskott ii) officiell och iii) intertemporal definition av till- skott ding”. 1 6 1 1 9 8. S V E u r o p e i s k a g e m e n s k a p e r n a s o f f i c i e l l a t i d n i n g C 3 4 7 / 3 9 C 347/40 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 SVAR FRÅN KOMMISSIONEN I ALLMÄN KOMMENTAR Kommissionen medger att utvärderingsarbetet, som är nytt för många parter, fortfarande är approximativt både till innehåll och tillämpning, men vill dock påminna om att anmärkningsvärda framsteg gjorts bara på några år. Kommissionen är medveten om de svårigheter som åter- står och har mångdubblat sina ansträngningar både orga- nisatoriskt och metodiskt för att nå en så tillfredsstäl- lande situation som möjligt. Kommissionen för kontinu- erliga diskussioner med alla de som i EU:s olika medlems- stater ägnar tankemöda åt detta område och bedriver forskning. Utvecklingen av utvärderingen av strukturfondsåtgär- derna har skett i tre omgångar knutna till de tre pro- gramplaneringsperioderna: Perioden 1989–1993: De första förordningarna som reformerade strukturfon- derna antogs inte av rådet förrän i december 1988. De nationella planerna som inlämnades i början av 1989 avspeglade endast delvis kraven på strategisk vision, precisare målsättningar och kvantifiering av förväntade effekter. Med efterhandsutvärderingar försökte man därför kom- pensera dessa brister genom att jämföra uppnådda resul- tat med de omarbetade målen. Detta omfattande arbete har sina egna naturliga begränsningar vilket framgår i rapporterna om åtgärder i mål 1- och mål 2-områdena. Det utgör emellertid ett första försök till sammanhäng- ande analys av effekterna av denna reform för den ekonomiska och sociala sammanhållningen. Perioden 1994–1999: Efter de första erfarenheterna begärde flera medlemssta- ter, och också kommissionen, att reglerna för uppföljning och utvärdering skulle stärkas genom fastställande av tre faser: förhands-, halvtids- och efterhandsutvärdering. Tvi- velsutan har halvtidsutvärderingen blivit en succe´. De gick t. o. m. utöver en strikt tillämpning av reglerna och organiserades och utfördes för första gången av var och en av uppföljningskommitte´erna, vilket minskade avstån- det mellan de utvärderingsansvariga och stödmottagarna. Rapporterna har sedermera framlagts och diskuterats i varje kommitte´, något som gett detta tillvägagångssätt en både pedagogisk och operationell funktion, vilket svårli- gen kan uppnås i det arbete som organiseras och leds av kommissionen. Bristande överensstämmelser kan förekomma mellan de tillämpade metoderna, valet av utvärderingsansvariga, kostnaderna för arbetet och slutresultatets detaljrikedom, även om samordningen och den övergripande ledningen sköttes av kommissionens enhet för utvärderingssamord- ning och dess nationella kontaktperson i fackutvärde- ringsgruppen. Trots vissa skillnader som beror på med- lemsstaternas manöverutrymme i enlighet med subsidiari- tetsprincipen anser kommissionen ändå att detta tillvä- gagångssätt spelat en väsentlig roll i spridandet av en veritabel ”utvärderingskultur”. Stödmottagarna fick där- igenom klart för sig att de hade tillgång till ett praktiskt verktyg för att förbättra förvaltningen av åtgärder som finansieras både med nationella medel och gemenskaps- pengar. Framtida utvärderingar har allt att vinna på en sådan inställning eftersom kvaliteten på utvärderingsslut- satserna i lika hög grad beror på kvaliteten hos den information som finns hos och sprids av programhand- läggarna som på de oberoende utvärderingsexperternas sakkunskap. Perioden 2000–2006: De nya förordningsförslagen syftar särskilt till att ytterli- gare minska de faktorer som begränsar utvärderingsarbe- tets räckvidd, detta främst för att effektivisera använd- ningen av strukturfonderna. Därför föreslås bl. a. föl- jande: — Att förhandsutvärderingarna verkligen skall ingå i medlemsstaternas inlämnade planer med noggrann kvantifiering av målen. — Att resultaten från föregående periods utvärderingar – både tematiska och för specifika program – skall beaktas. — Att en nära länk upprättas mellan förändringar i programplaneringen efter halva tiden och slutsatserna från halvtidsutvärderingen. För att effektivisera strukturfondsanvändningen har kom- missionen föreslagit att 10 % av strukturfondsbeloppet skall utgå efter halva tiden med utgångspunkt i de resultat som uppnåtts, eftersom resultatbedömningskrite- rierna är nära förbundna med kvaliteten i programplaner- 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/41 ing, uppföljning samt förhands- och halvtidsutvärde- ringar. II SÄRSKILDA KOMMENTARER Vad slutligen mer specifikt gäller metodiken avser kom- missionen att senast i höst publicera det arbete som gjorts inom Means (1) för att öka harmoniseringen av utvärde- ringsarbetet inom unionen. Innehållet kommer att bestå av: — En ingående beskrivning av hur kravspecifikationerna skall se ut och hur förhands-, halvtids eller efter- handsutvärderingarna skall göras. — En presentation av de olika förekommande utvärde- ringsmetoderna och förutsättningarna för tillämpning av dem. — En analys av indikatorsystemen efter åtgärdsområde. En harmonisering av begreppen och en vägledande förteckning över indikatorer. — En metodik för tematiska utvärderingar och planering av dem. — En flerspråkig ordlista över de viktigaste utvärderings- begreppen. — En presentation av de mest nydanande erfarenheterna i medlemsstaterna och på gemenskapsnivå. Kommentarerna nedan visar att kommissionen i vissa fall delar revisionsrättens iakttagelser. Dock bör hänsyn alltid tas till de svårigheter och begränsningar som finns inbyggda i allt utvärderingsarbete även om de gradvis kan lösas och läggas till handlingarna. Man bör dock aldrig glömma att en utvärdering först och främst är ett tekniskt hjälpmedel för beslutsfattandet eller handläggningsarbetet och alls inte är avsedd att ersätta de politiska beslutsfattarna. Utvärderingen skall belysa – om än partiellt – följderna av de val som kommer att eller redan har träffats. Den måste dessutom vara tillräckligt flexibel vad gäller metod för att hänsyn skall kunna tas till de skiftande utvärderingssituationerna. Kommissionen vill slutligen påminna om att de nationella förvaltningarnas och kommissionens ömsesidiga ansvar för handläggning av strukturfonderna, och främst då utvärderingen av dem, har definierats allt tydligare sedan strukturfondsreformen inleddes år 1988. Medlemssta- terna uppmanas i allt ökande grad att ta på sig huvudan- svaret och att göra egna utvärderingar. (1) Flerårigt program för analyser och förslag rörande utvärde- ringsmetoder 2. GRANSKNINGENS OMFATTNING 2. 3 Revisionsrätten har i sin granskning utelämnat länder som Tyskland och Förenade kungariket som har en mycket annorlunda inställning till utvärderingar. 3. SAMMANFATTNING AV DE VIKTIGASTE IAKTTAGEL- SERNA Enligt kommissionen är de utvärderingar för vilka den saknar budgetsiffror marginella rent kostnadsmässigt. Då halvtidsutvärderingarna är ett nytt och växande område som utförs på decentraliserad nivå är utgiftsvolymen som avsatts för detta ändamål stadd i stark förändring. Belopp som avsatts till utvärderingar är uppdelade per land, mål och typ av åtgärd. Uppgifterna publiceras även i kommissionens årliga utvärderingsöversikt. Kommissionen skall fortsätta försöka skapa en systemat- isk överblick över utvärderingsutgifterna bland de belopp som anslagits till tekniskt bistånd och som förvaltas i partnerskap. 3. 3 Varken förordningarna eller subsidiaritetsprincipen ger kommissionen behörighet att sätta några klara grän- ser för utvärderingsmetoder och indikatorer. Som ett led i sin strävan att utveckla medlemsstaternas praxis och att förbättra utvärderingskvaliteten har kom- missionen: — infört programmet ”Means” och distribuerat åtta broschyrer som tar upp metodfrågor, — arrangerat tre EU-konferenser om utvärderingsteknik och -praxis, — distribuerat dokument, t. ex. en referensram för för- handsutvärderingar och en vägledning för utvärde- ringar av stora projekt, — tillsatt fackutvärderingsgrupper där deltagande av medlemsstaterna deltar samt även arrangerat flera seminarier. 3. 5 En objektiv svårighet består i att säkra kopplingen mellan efterhandsutvärderingen och de olika faserna i planeringen av strukturåtgärderna. En reell efterhandsut- värdering måste utföras två till tre år efter det att programplaneringen slutförts. C 347/42 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 För att lösa denna svårighet har kommissionen verkat för att införa halvtidsutvärderingar och tematiska utvärde- ringar. Så har t. ex. tematiska utvärderingar från 1992 och 1993 bidragit med information till förberedelserna av programplaneringen för 1994–99. Halvtidsutvärderingarna kommer att vara tillgängliga då programplaneringen för åren efter 2000 förbereds, efter- som de redan är klara, och en utvärderingsöversikt (som fördjupar och aktualiserar halvtidsutvärderingarna) utar- betas f. n. för vart och ett av målen. Dessutom har fyra tematiska utvärderingar också redan inletts. Kommissionen har f. ö. tagit med denna bestämmelse i ändringsförslagen till förordningarna. 3. 6 Det finns anledning att skilja mellan utvärderingar- nas objektivitet och frågan om uppgifterna är tillräckliga och tillförlitliga. Uppgiftsfrågan har ofta belysts i utvär- deringarna. De rapporter är sällsynta som inte berör denna komplikation. En avsevärd förbättring av situatio- nen kan dock främst tack vare utvärderingskraven note- ras i detta hänseende. Kommissionen är inte tillfredsställd med uppgiftsläget, men detta bör inte tas som en kritik av utvärderingen utan snarare av uppföljningssystemen. Kommissionen betonar f. ö. att problemet med kontrolluppgifternas och indikatorernas relevans är något som först och främst skall undersökas vid uppföljningen. Kommissionen fortsätter sitt förbättringsarbete och kom- mer att ta fasta på revisionsrättens iakttagelse om beho- vet av en mer systematisk utvärdering av uppgifternas tillförlitlighet. Gransknings- och kontrollverksamheten gör det även möjligt att föra vidare den förbättringen som konstaterats ute på fältet sedan några år. 3. 7 Berörda enheter inom kommissionen respekterar kontraktsskrivningsförfarandena i de relevanta direktiven samt det förfarande som fastställts av Rådgivande kom- mitte´n för inköp och avtal. Det är dock inte möjligt att förhandla om mandatet innan kontraktet skrivs under. Detta fordrar i vissa fall klargöranden som gör det svårt att hålla tidtabellen, dock är detta problem marginellt. samma referensramar har vissa rapporter i ett land blivit utmärkta medan de i andra fall varit otillfredsställande. 3. 8 Kommissionen delar revisionsrättens åsikt om svå- righeterna vid de första utvärderingarna som utfördes i ett föga entusiastiskt klimat i medlemsstaterna. Efterhandsutvärderingarna av mål 1 och 2 gjordes av internationellt renommerade konsultföretag och av exper- ter på hög nivå med en gemensam metodik. I den andra delen av punkt 3. 7 bekräftas både tillvägagångssättet och att utvärderingen varit till nytta, trots dessa begräns- ningar. Revisionsrättens kritik gäller utvärderingarna från 1993–94, men sedan dess har mycket gjorts på initiativ av kommissionen för att utveckla metoderna. Revisions- rättens kritik av efterhandsutvärderingen för mål 2 är också delvis relevant. Man måste emellertid vara mer realistisk när det gäller möjligheten att uppnå exakta kvantitativa mått på effekterna eller ”mervärdet” för gemenskapen. 3. 9 Halvtidsutvärderingen byggde på analysen av genomförandet av åtgärderna. Utvärderingen av effek- terna ligger snarare inom ramen för utvärderingsöversik- terna och efterhandsutvärderingarna. Dessa utvärderingar är dock inte alltid kopplade till – ofta mycket kostnads- krävande – ekonometriska modeller och är heller inte alltid de mest lämpade för att mäta effekterna. Utvärderingen är ett hjälpmedel för handläggningen och som sådant enbart till för att underlätta beslutsproces- sen. 3. 10 Kommissionen har konstaterat att uppdelningen i två perioder av programplaneringen för mål 2 inte på ett tillfredsställande sätt svarar mot de berörda områdenas behov och komplicerar genomförandet av programmen. I kommissionens förslag i mars 1998 till reform av struk- turfonderna införs en enda programplaneringsfas för mål 2, liksom är fallet för andra mål. 3. 11–3. 12 För att undvika en svårförvaltad mångdubb- ling av program- eller delprogramsutvärderingarna kan ett mer selektivt tillvägagångssätt inom vissa nyckelområ- den ibland vara en mer lämpad lösning. Kommissionens enheter kan emellertid inte ensamma göras ansvariga för detta. Både konsulternas kompetens liksom kvaliteten på tillgängliga uppgifter kan vara roten till svagheterna i vissa utvärderingsrapporter. På basis av Kommissionen delar revisionsrättens åsikt om det lämp- liga i att minska antalet åtgärder och delprogram eller t. o. m. antalet program. Den har som ett led i struktur- fondsreformen redan lagt fram konkreta sådana förslag. 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/43 4. ALLMÄNNA PROBLEM Inledning 4. 1 Kommissionen har upprepade gånger beklagat att vissa medlemsstater inte kvantifierar sina mål i tillräcklig omfattning. Avsaknaden av en målrelaterad förvaltning av nationella offentliga utgifter försvårar även vidareut- vecklingen av indikatorbaserade förvaltningssystem. Föl- jaktligen är problemet inte så mycket metodiska eller analytiska brister utan snarare programutformningen och den aktuella utformningen av statistiken i medlemssta- terna. och 15 samlade programplaneringsdokument för mål 2 i början av perioden. Förutom de tematiska utvärderingar som även avser perioden 1989–93 gjorde kommissionen dessutom en efterhandsutvärdering av gemenskapens alla stödramar och samlade programplaneringsdokument för mål 1 och 2 avseende perioden 1989–93. 4. 11 Frågan om kostnadsmedvetenheten togs upp i punkt 3. 2. Bara sådana utvärderingar som inletts på initiativ av en medlemsstat och som finansieras med tekniskt bistånd kan hamna utanför kommissionens bal- ansräkning. Dock handlar det då endast om marginella summor i jämförelse med totalbeloppen för övriga utvär- deringar. 4. 3 Kommissionen erinrar om att den Referensram — redan 1994 tillställde medlemsstaterna gemensamma vägledningar för riktlinjer och halvtidsutvärderingar; — i december 1994 inför fackutvärderingsgruppen som är ansvarig för medlemsstaternas utvärderingar – framlade ett ramdokument om syfte, innehåll och tillvägagångssätt vid halvtidsutvärderingar. Denna första överläggning följdes av fyra andra sammanträ- den i samma grupp. — 1995 tillställde förvaltningarna en Means-broschyr om hur halvtidsutvärderingar skall organiseras inom ramen för partnerskap. Tre av fem kapitel behandlar utarbetandet av specifikationer och anbudsinford- ringar, urval av utvärderingspersoner och övervakning av utvärderingskvaliteten. — 1996, innan de första utvärderingarna inkommit, till- sändes förvaltningarna en Means-broschyr om be- dömning av utvärderingskvaliteten med en detaljerad skala. 4. 5 Här kan det dock erinras om att vissa utvärderingar har gjorts i partnerskap, t. o. m. under perioden 1989–93. Både medlemsstaterna och uppföljningskommitte´erna har aktivt deltagit i flera utvärderingar – såväl tematiska utvärderingar som efterhandsutvärderingar – som initie- rats av kommissionen. 4. 10 Revisionsrätten noterar de knappa belopp som öronmärkts för utvärdering av mål 1 och 2 under den första programplaneringsperioden. Eftersom nästan ingen av medlemsstaterna hade gjort någon utvärdering initierade kommissionen själv en första utvärdering av gemenskapens alla stödramar för mål 1 4. 12–4. 13 Means-dokumenten har tillkommit som för- klaringar för förvaltningarna som ofta är i färd med att utveckla sin kompetens inom området. Kommissionens prioritering var att höja genomsnittsnivån på utvärdering- arna och inte på experterna som redan är specialiserade. Statistisk bas och information om uppsatta mål 4. 14–4. 15 Kommissionen instämmer i revisionsrättens konstaterande. Indikatorer 4. 16–4. 21 Revisionsrätten noterar erkännsamt kommis- sionens ansträngningar att utveckla indikatorsystemet. Förordningsbestämmelserna stärktes 1993 och en kvanti- fiering av skillnaderna har inletts med varje medlemsstat. Under förhandsutvärderingen har frågan om kvantifie- ringen av målen varit prioriterad och framsteg har gjorts – kvantifieringen av åtgärderna för 1994–99 är klart bättre jämfört med tidigare. Den första uppgiften vid halvtidsutvärderingen var att förbättra indikatorerna och deras effektivitet. Kommissionen understryker att problemet inte bara handlar om att komplettera eller minska antalet indikato- rer, utan snarare om de svårigheter som uppföljningssys- temen haft att regelbundet kvantifiera de överenskomna och redan befintliga indikatorerna i programmen. Det handlar heller inte om någon bristande sammanhållning i programplaneringen, utan på att regionala och lokala myndigheter i enlighet med subsidiaritetsprincipen inom sina länder har rätt att bestämma sina egna prioriteter och omfånget på programplaneringen. C 347/44 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 Framsteg är dock på gång p. g. a. de påtryckningar och krav som uppstår genom utvärderingen. Utvärderingarnas objektivitet Kommissionen anser det inte vara tillräckligt med att fastställa en metodisk ram varför den vid strukturfondre- formen kommer att ta initiativ som går längre. 4. 28–4. 30 I dessa punkter verkar revisionsrätten inte ta tillräcklig hänsyn till komplexiteten i partnerskapen, trots de positiva åsikter som kommer till uttryck i punkterna 6. 5–6. 7. Beaktande av utvärderingen 4. 23 De båda programplaneringsfaserna har i realiteten inte underlättat koordineringen av utvärdering och pro- gramplanering och bl. a. därför har kommissionen föresla- git att programplaneringen i framtiden skall bestå av en enda fas. Dock har man i programplaneringen 1997–99 dragit nytta av efterhandsutvärderingen för perioden 1989–93 och en förhandsbedömning på kommissionens initiativ av de samlade programplaneringsdokumenten gällande frågor inom kommissionens kompetens och EU:s prioriteringar. Vad gäller efterhandsutvärderingen för perioden 1994–96 anser kommissionen att utvärderingar som gjorts vid ändringar av programplaneringen samt tematiska utvär- deringar av små och medelstora företag samt FoTU täcker in en stor del av området. För närvarande för kommissionen diskussioner med medlemsstaterna om att under senare hälften av 1998 påbörja en utvärderings- översikt för perioden fr. o. m. 1994. Denna översikt skulle tas i beaktande vid den framtida programplanering. 4. 24–4. 27 Kommissionen är i färd med att samman- ställa en rapport för varje land över kvaliteten på utvär- deringarna och hur de bidragit till anpassningen av åtgärderna. I en sammanfattande rapport kommer väsent- ligheterna i halvtidsgranskningen att rekapituleras. De uppgifter som kommissionen förfogar över styrker inte revisionsrättens påståenden, vilka rör mycket skiftande situationer och hundratals program. Kommissionen tänker göra en översikt när halvtids- granskningsrapporten har presenterats. För tillfället ver- kar revisionsrättens ståndpunkt förhastad. Kommissionen påminner även om att utvärderingarna är till gagn inte bara för programhandläggarna, utan att de också underlättar redovisningen för den budgetansvariga myndigheten samt för Europaparlamentet och allmänhe- ten. Utvärderingarnas objektivitet och oberoende hänger sam- man med fler faktorer än exakta metodiska tillämpnings- referensramar och uppgiftskontroll på plats. Kvaliteten på utvärderingen beror mer på graden av professionalism, yrkesetik samt påverkan från medlemsstaternas intressen etc. Revisionsrätten nämner inte att Means-broschyr nr 5 om kvalitetsbedömning av utvärderingsrapporter uttryckligen tar upp (tre kriterier av åtta) metodens ändamålsenlighet, uppgifternas tillförlitlighet samt resultatens trovärdighet. Kommissionen bemödar sig ständigt att förbättra normer och krav samtidigt som hänsyn tas till verkligheten ute på fältet. Kommissionen kommer därför också att engagera sig mer i bedömningen av hur utvärderingsystemen funge- rar på fältet. Utvärderingskontrakt som tecknats av kommissionen 4. 31–4. 32 Kommissionen tillämpar de normer och upp- handlingsförfaranden som fastställts inom Rådgivande kommitte´n för inköp och avtal. Experterna väljs på basis av urvals- och tilldelningskriterier som offentliggörs i Europeiska gemenskapernas officiella tidning. Tillämp- ningen och resultatet av detta ingår i den rapport som lämnas till denna kommitte´. Vad gäller graden av precision i kontrakten bör man hålla i minnet att kommissionen köper expertkunnande och har allt intresse av att kontrakten är formulerade på ett sätt som tillåter de anlitade experterna att till fullo använda sig av sina kunskaper inom området. 4. 33 Uppföljningsmetoden för mål 1 är inte lämplig för mål 2 som består av 60 program. Den skulle med tanke på beloppen i fråga och antalet grupper leda till en fragmentisering av anbudsinfordringarna som strider mot direktivets bokstav och anda om förfaranden vid tilldel- ning av offentliga upphandlingskontrakt för bygg- och anläggningsarbeten. Kommissionen har i detta fall respekterat reglerna och har varit angelägen om att inte förlora överblicken över 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/45 de praktiska arrangemangen vid genomförandet av utvär- deringen. Därför bildades ”ledningskommitte´er” som följde utvärderingen och återkommande möten hölls med utvärderingsgrupperna. Rapporterna gicks efteråt igenom med ansvariga tjänstegrenar. 4. 34 Definitionen av kravspecifikationerna beror på uppdragsgivarens informationsbehov och andra krav. Uppdragsgivaren fastställer kraven och utvärderingsenhe- terna prövar innehållet i dem. Kontraktsvillkoren (utom innehållet i uppdragsbeskrivningen) har standardiserats på initiativ av Rådgivande kommitte´n för inköp och avtal. Som redan understrukits finns ingen allmänt accepterad programutvärderingsmetod. För att inte förlora över- blicken över de förfaringssätten som använts, diskuterar kommissionen metodiken och dess ändamålsenlighet i förhållande till de frågor som ställs och tillämpligheten för de föreslagna teknikerna. De generella metodiska greppen är en del av kravspecifikationerna, men enskild- heter i dem och de tekniska instrumenten kan diskute- ras. 4. 35 I detta konkreta fall ville kommissionen i samför- stånd med utvärderingskonsulterna förbättra kvaliteten på rapporten genom att arrangera en sammankomst där rapportens innehåll och lärdomar som dragits diskute- rades av samtliga berörda enheter och tjänstemän. Slutrapporten lämnades in i maj 1995 (tre månader efter planerat datum) och efter formellt samråd och godkän- nande i juni 1995 skickades betalningen i juli 1995. Den rapport som revisionsrätten avser med sin kritik är bara ett klarläggande från konsulten som inte involverade några ytterligare medel. 4. 36 Kommissionen understryker att referensvillkoren strukturerades kring tre viktiga och väl definierade frå- gor: strategins ändamålsenlighet, resultat och effektivitet i termer av genomförda åtgärder samt effektiviteten hos genomförandemekanismerna (sid. 2–4 i dokumentet). Kommissionen har i punkt 4. 12 förklarat sin ståndpunkt angående metodfrågan. De olika tjänstegrenarna rådfrå- gas och beslut om godkännande av rapporten fattas sedan av den ansvariga enheten. Utvärdering i efterhand av EGSR-mål 1 (1989–1993) 5. 4 Vissa av revisionsrättens anmärkningar vid denna punkt förtjänar att nyanseras något. a) Ifall uppgifterna om de regionala skillnaderna var ”inaktuella” gäller kritiken statistikkontoren och inte utvärderingsmetodiken. b) De utvärderingsansvariga har använt sig av brukliga stickprov samt fallstudier för särskild fördjupning. Dessa utbredda tekniker leder till tillförlitliga slutsat- ser. e) Revisionsrätten konstaterar att analyser av ”bottom- up”-typ inte alltid gör det möjligt att dra slutsatser om hur stora effekterna blir på programnivå. Effekter på gemenskapspolitiken, förbättringen av förvalt- ningen, på insynen etc. kan emellertid varken göras med ”top down”-analyser eller på grundval av eko- nometriska modeller. g) Revisionsrätten kritiserar saker som inte utgör någon del av utvärderingsuppdraget. 5. 7 Kommissionen bekräftar att den till fullo utnyttjat de aktuella utvärderingarna när den fullgjort sin rapp- ortskyldighet gentemot den budgetansvariga myndigheten liksom då den utarbetat rapporten om ekonomisk och social sammanhållning. 5. 8 Ett av de tre målen med utvärderingsuppdraget var att föreslå förbättringar av uppföljnings- och förvalt- ningssystemet. Ändamålsenligheten i strategin har analy- serats och en genomförandeundersökning har även gjorts vilket gör det möjligt att analysera effektiviteten i åtgär- derna. Utvärdering i efterhand av EGSR-mål 2 (1989–1993) 5. UTVÄRDERING I EFTERHAND AV EGSR-MÅL 1 OCH 2 (1989–1993) 5. 13 En systematisk användning av ekonometriska modeller är inte motiverad i samtliga fall, antingen därför att stödet inte är så omfattande eller därför att det inte finns någon regional statistik. Inledning 5. 1 Kommissionen delar revisionsrättens iakttagelser om svårigheterna vid utvärderingar knutna till utformningen av den första generationen program. Större delen av de politiska bedömningarna återfinns i rapporten om ekonomisk och social sammanhållning. Kommissionen har föreslagit anpassningar inom ramen för det nya förslaget till en reform för strukturfonderna fr. o. m. år 2000. C 347/46 SV Europeiska gemenskapernas officiella tidning 16. 11. 98 5. 16 Kommissionen har i sina nya förordningsförslag redan tagit hänsyn till en rad rekommendationer från denna utvärdering. Utvärderingen av effektivitet och verkan görs genom ”bottom-up”-analys. I Irland, Spanien, Grekland, Portu- gal och Italien används förfaranden baserade på eko- nometriska modeller för gemenskapens större stödramar då totaleffekten av ändringarna i programplaneringen skulle identifieras. 6. UTVÄRDERINGAR EFTER HALVA TIDEN (1994–1999) Utveckling och integrering av principer för utvärderingar efter halva tiden 6. 22 Kommissionen uppbådade den förnämsta experti- sen i Europa och USA för att bästa möjliga tillvägagångs- sätt skulle komma till bruk i programutvärderingen. 6. 1–6. 20 Kommissionen i revisionsrättens bedömning i denna del av rapporten. Dock önskar kom- missionen göra några förtydliganden: instämmer — Punkt 6. 15: Kommissionen anser att den kritiska bedömningen av utvecklingsstrategin, effekterna för målen och projektens genomförbarhet mer hör hemma under förhandsutvärderingen eller efterhands- utvärderingen. förbättra — Punkt 6. 16: Uppgiften för halvtidsutvärderingen är att anpassa åtgärderna och förvaltningen. ”Mervärdet” på gemenskapsnivå kommer att analyse- ras i utvärderingsöversikten och i efterhandsutvärde- ringarna. Analysen av effekterna av gemenskapens prioriteringar på anpassningen av åtgärderna ger ändå i många fall användbar information om ”mervärdet” på gemenskapsnivå. — Punkt 6. 18: Kommissionen har i möjligaste mån med hjälp av halvtidsutvärderingarna försökt få en bild av samverkanseffekterna mellan åtgärder finansierade från olika fonder, detta främst i länder med separat programplanering, som är fallet med de tyska samlade programplaneringsdokumenten för mål 1. Därför har de utvärderingsansvariga för ERUF-åtgärder gjort en sammanfattning av utvärderingen för var och en av fonderna. Kommissionen medger att utvärderingen av den region som anförs av revisionsrätten är särskilt svag, men att den inte är representativ för alla utvär- deringar som gjorts i detta land. Det är t. ex. riktigt att konstatera att man i halvtidsutvärderingen inte har analyserat ändringarna i den vägledande finansierings- planen, som var resultatet av en begäran om änd- ringar av operativprogrammet för delstaten Branden- burg. När det gäller det höga anslagsutnyttjandet kan man konstatera att de aktuella åtgärderna successivt anpassades under uppföljningskommitte´ns möten den 12 juni 1996 och 5 augusti 1996. Tillvägagångssätt, metoder och tekniker Objektiva metodiska svårigheter och ofta otillräckliga uppföljningssystem begränsar resultatens jämförbarhet på gemenskapsnivå. 6. 23 Generellt har halvtidsutvärderingarna inte syftat till att mäta effekterna av programmen. Detta är ett avsikt- ligt val eftersom effekten inte är kvantifierbar i den första logiska ordningsföljden är: fasen av åtgärden. Den genomförande av åtgärden därefter resultat och slutligen effekter. Frågan om bedömningen av de totala effekterna av gemenskapens större stödramar tas upp i punkt 6. 21. 7. INVERKAN, STRUKTURFONDER OCH MODELLER FOR UTVÄRDERINGAR Inverkan på EGSR- och programnivå 7. 1–7. 15 I denna del av rapporten presenterar revisions- rätten resultaten av olika ekonometriska och makroekon- omiska modeller utan att lämna någon förklaring varken om deras räckvidd eller kännetecken, vilket riskerar att skapa en viss förvirring. Dessa uppgifter återfinns redan i rapporten om ekonomisk och social sammanhållning på ett mer strukturerat sätt och med lämpliga kommenta- rer. Inverkan på delprogramnivå, åtgärds- och projektnivå 7. 16–7. 19 Revisionsrätten verkar kritisera avsaknaden av utvärderingar av delprogram eller åtgärder. Men pro- gramutvärderingar av ”bottom-up”-typ måste av nödvän- dighet bygga på åtgärds- och delprogramsutvärderingar. 6. 21 Revisionsrätten kritiserar en vag formulering av målen i kontrakten för halvtidsutvärderingarna. Dock har kommissionen gett instruktioner som vissa fall inte följts på decentraliserad nivå. På liknande sätt berör de pågående tematiska övergri- pande utvärderingarna som inletts av kommissionen mer specifikt vissa kategorier av åtgärder eller delprogram, som är fallet för åtgärderna för små och medelstora företag, FoTU och miljön etc. 16. 11. 98 SV Europeiska gemenskapernas officiella tidning C 347/47 8. SLUTSATS 8. 1–8. 19 Kommissionen ser revisionsrättens slutsatser som konstruktiv kritik av frågor som kommissionen sedan åratal arbetat med och som den även fortsättnings- vis tänker uppmärksamma. steg har skett. De åtgärder som kommissionen vidtagit i strukturfonderna och som ytterligare stärks genom SEM 2000-programmet innebär att en aldrig tidigare skådad ”utvärderingskultur” har kunnat utvecklas. De regioner är lätt räknade som inte har gjort några utvärderingar och som inte varit inblandade i denna process. Kommissionen medger att revisionsrätten kan peka på svagheter samtidigt som rätten dock konstaterar att fram- Såväl subsidiaritetsprincipen som geografisk och tematisk problematik och heterogenitet är faktorer som det också finns anledning att ta under beaktande