Sjekklister og eksempler for bruk av evalueringer i styring

Norges forskningsråd

Fagevalueringene kan kort oppsummeres som en måte å beskrive «helsetilstanden» i norsk forskning på. Formålet med denne type evalueringer er å foreta en kritisk gjennomgang av forskningen med hensyn til kvalitet relatert til internasjonalt nivå, styrker og svakheter, rammebetingelser for forskningen og rekrutteringssituasjonen. I tillegg innhentes råd om hva som skal til for å styrke forskningen og hvilke prioriteringer som peker seg ut. 

Evalueringenes funksjon er således å:

• bidra til fagutvikling og kvalitet i forskningen
• bidra til økt kunnskap i forskningsmiljøene om egne styrker og svakheter, som grunnlag for eget endringsarbeid
• utvide og styrke forskningsmiljøenes og Forskningsrådets kunnskapsgrunnlag og gi viktige innspill til forskningspolitiske avveininger 

Norad

Evalueringsvirksomheten skal dokumentere i hvilken grad departementets, utenriksstasjonenes og Norads arbeid for å realisere fastsatte mål i norsk utviklingspolitikk er effektivt, relevant og oppnår resultater som forutsatt.

Evalueringsvirksomheten skal bidra dels til å lære og samle erfaringer fra norsk deltakelse i internasjonalt utviklingssamarbeid, dels til å holde aktørene i norsk utviklingspolitikk forvalt­ningsmessig ansvarlig. Den enkelte evaluering kan vektlegge disse to formål forskjellig. 

Kunnskapsdepartementet

Formålet med evalueringer er å fremskaffe styrings- og kontrollinformasjon, for å sikre tilfredsstillende måloppnåelse og effektivitet i departementet og underliggende virksomheter.

Norad

Evalueringer skal utføres av eksterne fagmiljøer som er nøytrale og uavhengige av kontroll fra dem som har ansvar for planlegging og gjennomføring av vedkommende tiltak.

Norads evalueringsvirksomhet skal bygge på vil også forholde seg til OECD DACs retnings­linjer (OECD DAC Evaluation Quality Standards, 2006) hovedprinsipper for evaluering:

• Bistandsorganisasjoner skal ha en evalueringspolitikk med klart etablerte retningslinjer og metoder og med en klar definisjon av dets rolle og ansvar og dets plass i organisasjonens bistandsstruktur.
• Evalueringsprosessen skal være upartisk og uavhengig av prosesser for utforming av politikk og utføring og forvaltning av bistand.

I Statens Vegvesen, hvor evaluering inngår i den samlede satsingen på forskning og utvikling (FoU), er det opprettet et eget FoU-sekretariat for koordinering og oppfølging, inkludert for­slag til fordeling av midler. En intern FoU-gruppe bistår sekretariatet og skal sikre effektiv informasjonsflyt til avdelingene og regionene. I den interne gruppa deltar en representant fra hver avdeling og hver region. Et eksternt FoU-råd, med relevant fagekspertise, bistår Statens vegvesen med utveksling av informasjon og erfaringsoverføring på nasjonalt og internasjonalt plan. Rådet bistår også med samordning av budsjetter og prosjekter for felles økt utbytte. Koordineringsansvaret er lagt til teknologidirektøren.

Kunnskapsdepartementet

Departementet skal som hovedregel bruke eksterne til å gjennomføre evalueringene. Mindre evalueringer kan gjennomføres internt, under ledelse av avdeling for økonomi og styring. Ansvarlig avdeling skal i samarbeid med avdeling for økonomi og styring og controllerenheten utarbeide evalueringsoppdrag og konkurransegrunnlag. Avdeling for økonomi og styring skal i samarbeid med ansvarlig avdeling følge opp ekstern evaluator, og påse at evalueringsrap­porten svarer på spørsmålene i bestillingen.

Avdeling for økonomi og styring skal samtidig med det halvårlige fremleggingen (15. april og 15. september) om måloppnåelse og resultater, gi en status for løpende og avsluttede evalueringer. Avdeling for økonomi og styring skal i samråd med ansvarlig avdeling presentere hovedresultatene av avsluttede evalueringer sammen med forslag til videre oppfølging.

Ansvarlig avdeling har sammen med avdeling for økonomi og styring ansvar for at den informasjonen evalueringen gir, brukes i utformingen av tiltak og aktiviteter og i styrings-prosessen. Ledermøtet skal orienteres om status for oppfølgingen av tidligere evalueringer samtidig med de halvårlige presentasjonene av evalueringsresultater.

Avdeling for økonomi og styring skal ved utgangen av hvert år sende Riksrevisjonen en oversikt over avsluttede evalueringer av tilskuddsordninger, jf. Bestemmelsene pkt. 6.5.

Statens vegvesen skal ha et sentralt forsknings- og utviklingsbudsjett fordelt på postene 1320.23 og 1320.30. Utover dette vil FoU-oppgaver knyttet til drift, vedlikehold og anleggs­virksomhet kunne finansieres over det enkelte prosjekt eller anlegg. De sentrale FoU-midlene dekker virksomheten både i Vegdirektoratet og i regionene. Budsjettet deles i prinsippet inn i to deler der den ene parten går til Etatsprosjekter (se kap. 6.4) mens den andre delen benyttes til rene utviklingsoppgaver. Størrelsesorden på fordelingen kan variere fra år til år avhengig av aktivitet og behov, men som utgangspunkt benyttes minst 50 % av budsjettet til Etatsprosjekter.

Norad

Kommentarinnhenting og forhåndsvarsel

Avdelingen innhenter kommentarer både til fakta, faglige vurderinger, konklusjoner og anbe­falinger fra berørte avdelinger i departementet, utenriksstasjoner, Norad og fra andre berørte parter. Kommentarer til fakta skal bidra til å rette opp eventuelle feil og misforståelser i for­hold til mandatet. Faglige vurderinger gjelder innholdet, inklusive vurderinger og tilrådinger i utkastet.

Fremsendelse av notat med forslag til oppfølging

På bakgrunn av endelig rapport og innhentede substansielle kommentarer utarbeider Evalueringsavdelingen et notat med forslag til punkter som bør følges opp i norsk utviklings­politikk. Notatet sendes via Norads direktør til Utenriksdepartementet v/utenriksråden. Notatet oppsummerer erfaringene med gjennomføringen av evalueringen, rapportens innhold og anbefalinger, samt berørte parters synspunkter på rapporten. [..] Norads direktør kan ved framsendelsen tilføye egne kommentarer. Evalueringsavdelingens notat vil inngå som en del av dokumentasjonen i den videre interne saksgang i departementet knyttet til evalueringen.

Departementets oppfølging

Departementet v/utenriksråden beslutter, på grunnlag av notat fra den avdeling, etat eller utenriksstasjon som er ansvarlig for det tiltak eller den virksomhet som er evaluert, hvilke saker som skal følges opp, innen hvilke tidsrammer, og av hvem. Denne oppfølgingsplanen meddeles innen seks uker berørte parter, Evalueringsavdelingen og Norads direktør. Beslutningen gjøres offentlig under hensyn til offentlighetsloven.

Intern oppfølging og tilbakerapportering

Den saksansvarlige enhet skal senest innen ett år rapportere til utenriksråden eller for Norads vedkommende, til Norads direktør, med kopi til evalueringsavdelingen, om hvilke tiltak som er iverksatt for å følge opp beslutninger i forbindelse med evalueringen.

Virksomheter med egne flytdiagram og prosessbeskrivelse for evalueringer

Norad: Norad bruker et eget fast flytdiagram for hele evalueringsprosessen med en egen rutinebeskrivelse for kvalitetssikring og rapportering av evalueringer.

Direktoratet for økonomistyring (DFØ): DFØ har laget en rutine og et eget flytdiagram for prosjektevalueringer. Både rutinen og diagrammet inngår i prosjektrammeverket som er forankret hos direktøren.

Innovasjon Norge: Innovasjon Norge har laget en prosessbeskrivelse for virksomheten som beskriver hva og hvordan planleggingen, gjennomføringen og oppfølgingen av evalueringer skal foregå. Prosessen er en delprosess i virksomhetens styringshjul.

Norad

Offentliggjøring av evalueringsrapporter

I tiden før evalueringsrapporten blir offentlig tilgjengelig i trykket form, behandles spørsmål om innsyn i samsvar med gjeldende rutiner for praktisering av offentlighetsloven.

I forbindelse med trykking og offentliggjøring av rapporten vil Evalueringsavdelingen utarbeide og sende ut pressemelding i samråd med informasjonsansvarlige. Rapportene legges ut på internett.

Læring og resultatoppfølging (kvalitetssikring)

En sentral målsetting med evalueringsvirksomheten er at systematisk innhentede erfaringer blir brukt i fremtidig politikkutforming og legges til grunn for den operative virksomheten. Den saksansvarlige enhet skal påse at beslutninger om oppfølging av en evaluering blir fulgt opp.

Årsrapport for evalueringsvirksomheten

Evalueringsavdelingen utarbeider en årsrapport som sammenfatter resultatene av årets evalueringer med utgangspunkt i målene for evalueringsvirksomheten, jfr. pkt. 1.1. Denne rapporten sendes via Norads direktør til Utviklingsministeren.

Kunnskapsdepartementet

Avdeling for økonomi og styring skal ved utgangen av hvert år sende Riksrevisjonen en oversikt over avsluttede evalueringer av tilskuddsordninger, jf. Bestemmelsene pkt. 6.5.

Kunnskapsdepartementet

Avdelingene skal innen 1. november hvert år fremme forslag til Avdeling for økonomi og styring om hvilke temaer, ordninger eller områder som kan være aktuelle for evaluering kommende år, utover de evalueringene avdelingene selv setter i verk. Utvalget av tema skal grunngis med vurdering av risiko og vesentlighet etter det felles system for risikovurderinger som er fastsatt i departementet. Avdelingene skal også gi en kort orientering om evalueringene avdelingene selv har igangsatt.

Avdeling for økonomi og styring skal i samråd med Controllerenheten, på grunnlag av innspill fra avdelingene og egne vurderinger, gi tilråding til ledermøtet om valg av emner for evaluering. Forslagene skal inneholde:

1. Begrunnelse for evalueringen, herunder risiko- og vesentlighetsvurderinger.
2. Mål for evalueringen og presentasjon av problemstillinger som ønskes belyst.
3. Forslag til hvem som skal gjennomføre evalueringen.
4. Presentasjon av hvordan man vil følge opp evalueringsprosessen (referansegruppe, styringsgruppe, møtehyppighet etc.).
5. Tidsplan for evalueringen. Avdelingene bør tilstrebe å innrette evalueringer slik at resultatene foreligger hensiktsmessig i forhold til budsjettprosessen.
6. Anslåtte kostnader og forslag til finansiering

Avdeling for økonomi og styring utarbeider i samråd med fagavdelingene og Controllerenheten et beslutningsnotat til ledermøtet innen 31. desember som gir en samlet vurdering forslagene og gir en tilrådning om hvilke evalueringer som skal igangsette

Norad

Evalueringsavdelingen kan selv ta initiativ til og fatte beslutning om gjennomføring av evalueringer. I samråd med relevante avdelinger i departementet, utenriksstasjoner og Norad utarbeider Evalueringsavdelingen årlig en rullerende plan som via Norads direktør oversendes Utenriksdepartementet. Både departementet og Norads direktør kan beslutte at det skal gjennomføres evalueringer i tillegg til de som framgår av planen.

Statens Vegvesen

Alle gjennomførte Etatsprosjekter skal avsluttes med en egenevaluering. Egenevalueringen har først og fremst som mål å evaluere om man har nådd prosjektets definerte målsetting. Dernest evalueres prosjektets gjennomføring både praktisk og økonomisk. Evalueringen innarbeides som en del av prosjektplanen og prosjektet anses ikke sluttført før evalueringen foreligger.

Utvalgte etatsprosjekter settes ut for ekstern evaluering der evalueringen gjennomføres av et forskningsinstitutt eller et miljø som har høy kompetanse innen evaluering av forsknings­prosjekter. En ekstern evaluering har først og fremst som mål å undersøke om prosjektets målsetting i henhold til prosjektplanen er nådd, men like viktig er å kartlegge om resultater og funn i prosjektet har kommet til anvendelse (er implementert). Evalueringen ser også på prosjektets gjennomføring med hensyn til kontrakter, regelverk og etikk. En ekstern evaluering gjennomføres to til fire år etter at prosjektet er avsluttet.

Statens Vegvesen

Strategiske forskning og utviklingsområder

• Mobilitet av mennesker og transport av gods
  • Næringslivets transporter
  • Intelligente transportsystemer og tjenester – ITS
  • Miljøvennlig bytransport

• Sikkerhet og beredskap
  • Trafikksikkerhet
  • Risiko og sårbarhet
  • Miljø, energi og ressurser
  • Virkningsberegninger

• Konkurransedyktig planlegging og produksjon
  • Vegtunneler
  • Vegteknologi
  • Samfunnsmessige effekter av drift og vedlikehold

Norad

Strategiske føringer i perioden 2006 – 2010

Prioriteringer:

1. Kvalitetssikre hele utviklingssamarbeidet.
2. Styrket fokus på resultater i norsk bistand.
3. Tilpasse evalueringsvirksomheten til nye samarbeidsformer.
4. Bedre formidling av evalueringsresultater og mer læring.
5. Styrke evaluering som grunnlag for politikkutvikling.
6. Styrket kvalitet på evalueringsvirksomheten

Kunnskapsdepartementet

Retningslinjene omfatter evaluering vedrørende styringen av underliggende virksomheter (jf. Bestemmelsene om økonomistyring i staten, pkt. 1.5.3), den interne styringen (Bestemmelsene pkt. 2.6), tilskuddsordninger (Bestemmelsene pkt. 6.5) og forvaltningen av departementets eierinteresser (Reglement for økonomistyring i staten § 10).

Norad

Ifølge Reglementet for økonomistyring i staten skal alle virksomheter sørge for at det gjennomføres evalueringer for å få informasjon om tilskuddsordninger er effektive i forhold til ressursbruk, organisering og fastsatte mål. Begrepet evaluering og det beslektede begrepet gjennomgang er i samsvar med internasjonale standarder for evaluering av utviklingstiltak, jfr. DACs retningslinjer.

Norad

Utarbeider et treårig evalueringsprogram. Evalueringsprogrammet rulleres en gang i året. Programmet beskriver hvilke evalueringer som skal gjennomføres innenfor de uliketypene, for eksempel landevalueringer, sektorevalueringer og resultatevalueringer. Norads evalueringsprogram, med beskrivelse av hver enkelt evaluerings formål og ansvarligperson i Norad, publiseres i papirformat og på deres nettsider.

Kunnskapsdepartementet

Utarbeider årlige planer for hva som skal evalueres, samt en rapport for de evalueringene som er utført siste år. Deres prosess for utarbeidelse av planen står i retningslinjene: Avdeling for økonomi og styring skal i samråd med Controllerenheten på grunnlag av innspill fra avdelingene og egne vurderinger gi tilråding til ledermøtet om valg av emner for evaluering. Forslagene skal inneholde:

1. Begrunnelse for evalueringen, herunder risiko- og vesentlighetsvurderinger
2. Mål for evalueringen og presentasjon av problemstillinger som ønskes belyst
3. Forslag til hvem som skal gjennomføre evalueringen
4. Presentasjon av hvordan man vil følge opp evalueringsprosessen (referansegruppe, styringsgruppe, møtehyppighet etc.)
5. Tidsplan for evalueringen. Avdelingene bør tilstrebe å innrette evalueringer slik at resultatene foreligger hensiktsmessig i forhold til budsjettprosessen
6. Anslåtte kostnader og forslag til finansiering

Avdeling for økonomi og styring utarbeider i samråd med fagavdelingene og Controllerenhetenet beslutningsnotat til ledermøtet innen 31. desember som gir en samlet vurdering av forslagene og gir en tilrådning om hvilke evalueringer som skal igangsettes.

Innovasjon Norge

Utarbeider en liste over gjennomførte og pågående evalueringer, samt en prioritering og begrunnelse på sentralt nivå av hvilke evalueringer som planlegges igangsatt. Listen utarbeides på bakgrunn av en kartleggings- og prioriteringsprosess. Selve gjennomføringen er delegert til de ansvarlige avdelingene. Innovasjon Norge har avsatt egne dedikerte budsjettmidler til evalueringer som fordeles etter prioriteringen på sentralt nivå.

Norad

Norad har alltid to personer fra evalueringsavdelingen som jobber med kvalitetssikringen av hvert evalueringsoppdrag. Ut fra mandatet vil de ha svar på følgende spørsmål:

• Er funnene og resultatene presentert ut fra de kriterier man har valgt?
• Er det forhold som bør begrunnes bedre?
• Har evaluator dekning for konklusjonene i data?
• Er språkbruken generelt for uklar og dårlig?
• Foreligger det konkrete faktafeil?

Etter å ha kvalitetssikret rapporten internt sender evalueringsavdelingen rapporten på en kommentarrunde til berørte partene. Formålet med høringen er å innhente skriftlige kommentarer på fakta, funn, konklusjoner og anbefalinger i rapporten for å synliggjøre eventuelle uenigheter og alternative tolkinger av rapporten. Innhentede synspunkt blir så oversendt til konsulentene som blir bedt om å rette opp faktafeil og ta stilling til kommentarene. I denne omgang godkjenner de ikke rapporten.

Norad

Her er eksempel på hva Norad som bestillere ser på når de kvalitetssikrer den endelige rapporten:

• Sjekke om evaluator har tatt hensyn til eller besvart deres kommentarer til utkastet.
• Sende rapporten tilbake til evaluator for utbedring eller godkjenne den for trykking.

Evalueringsavdelingen kvalitetssikrer sine rapporter i henhold til OECD DACs standarder (OECD DAC Evaluation Quality Standards, 2006). Kvalitetssikringen legger blant annet vekt på følgende:

• Funn, konklusjoner, anbefalinger og «lessons to be learnt» skal presenteres hver for seg i rapporten.
• Hver anbefaling skal rettes mot en konkret adressat.
• Det stilles strenge krav til at informasjon ikke bare skal komme fra en type datakilde og validering av funn.
• Berørte parter og interessenter må få anledning til å tilkjennegi sitt syn på kvaliteten på dataene, analysen og vurderinger. Der det er vesentlig avvik i synet mellom evaluerings­teamet og berørte parter i forvaltningen eller samarbeidspartner, skal dette reflekteres i rapporten.
• Fremstillingen i rapporten skal være balansert og upartisk.
• Datagrunnlaget for analysen skal være etterprøvbart.
• Rapporten skal inneholde praktiske og nyttige anbefalinger rettet mot identifiserte problemer.

I instruksen for Norad fra Utenriksdepartementet står det at en oppfølgingsplan skal foreligge senest seks uker etter mottatt notat fra Norad. Oppfølgingsplanen skal godkjennes av utenriksråden. Her følger et eksempel på en plan fra en konkret evaluering:

I samråd med Kulturdepartementet og Norad foreslås følgende plan for oppfølging av evalueringen:

• Evalueringens anbefalinger følges opp i forbindelse med utviklingen av et nytt program fornorsk bistand til høyere utdanning og forskning. Programmet skal ferdigstilles i løpet av2010/første halvdel av 2011.
• I tråd med evalueringens anbefalinger legges det opp til at det nye programmet slår sammen dagens NUFU og NOMA program, med en fleksibel tilnærming til valg av programkomponenter.  i de tiltakene som støttes.

Følgende prinsipper, basert på evalueringsfunn og forslag til endringer, skal ligge til grunn for det nye programmet:

• Hovedformålet skal være å bidra til økt kapasitet innenfor høyere utdanning og forskning i Sør. Internasjonalisering av norsk forskning og forskningsproduksjon er viktige delmål.
• Partnerskapsmodellen mellom norske institusjoner og institusjoner i Sør bør videreføres.
• Nytt program må tilpasse seg endrede forhold i Sør, og svært ulike utfordringer og behov knyttet til samarbeid med relativt sterke mot relativt svake institusjoner.

Spørsmål knyttet til framtidig administrasjon av disse ordningene må vurderes i forhold til innhold.

• Norad ved avdeling for utdanning og forskning får ansvar for å utvikle et nytt program for bistand til høyere utdanning og forskning som bygger på erfaringer fra NUFU/NOMA, og som i løpet av 2011 erstatter disse ordningene.
• Programutviklingen skal baseres på innspill fra sentrale aktører innen norsk universitets og instituttsektor, Norges Forskningsråd, representanter fra universitet og institutter i Sør, berørte ambassader, Senter for internasjonalisering av høgere utdanning (SIU), andre likesinnede bistandsgivere innen høyere utdanning og forskning, samt tett dialog med Departementet (SUP) og Kunnskapsdepartementet.
• Seksjon for Utviklingspolitikk vil opprettholde god kontakt med Norad og Kunnskapsdepartementet i programutviklingsfasen.

Det bes om godkjenning for denne oppfølgingsplanen.

Kunnskapsdepartementet har i en evaluering fått resultater om at deres styrings- og rapporteringsrutiner for underliggende virksomheter opplevdes som omfattende. Dette har resultert i at ledelsen i departementet har bestilt en egen evaluering for å konkretisere hvordan de kan og bør endre rapporteringen.

Les evalueringsrapporten “Rapportering til besvær?” (regjeringen.no)