Hvordan bør evaluering tas i bruk som verktøy i styringen hos dere? Hvordan bør dere gjennomføre enkeltevalueringer? På denne siden får dere informasjon om hva evaluering er, hvordan dere kan bruke den i styring, og veiledning for hvordan dere bestiller enkeltevalueringer.
Aktuelt om evaluering
Hva er evaluering?
Formålet med evaluering er å få god informasjon om hvordan tiltak og virkemidler virker. Det er også et viktig verktøy for å oppdage uforutsette konsekvenser, som dere ikke fanger opp gjennom løpende måling og rapportering.
Enten dere velger å utføre evalueringen selv, eller bruker ekstern evaluator, må den være forankret i ledelsen på alle nivåer. Det sikrer at funnene fra evalueringen tilbakeføres i organisasjonen, og kommer til konkret nytte. På den måten kan evaluering sikre behov for kontroll, og gi kunnskap som bidrar til læring og utvikling.
Evaluering er en systematisk datainnsamling, analyse og vurdering av en planlagt, pågående eller avsluttet aktivitet, virksomhet, et virkemiddel eller en sektor. Evalueringer kan gjennomføres før et tiltak iverksettes, underveis i gjennomføringen, eller etter at tiltaket er avsluttet. Evalueringer kan utføres av interne eller eksterne fagmiljøer (Finansdepartementet, 2005)
Hva kjennetegner evaluering?
Evalueringer
- vurderer verdien av noe, i tillegg til å beskrive
- stiller krav om systematikk og metode som må begrunnes og dokumenteres
- handler om at noen observerer og stiller seg «utenfor» det som skal evalueres, med mer eller mindre avstand
- forutsetter et faktagrunnlag, for eksempel en utredning
Det stilles krav om evaluering i staten
Det er et krav at statlige virksomheter skal gjennomføre evalueringer (Reglement for økonomistyring i staten §16). Dere har likevel et stort handlingsrom når dere skal vurdere hva slags evaluering det er behov for.
I tillegg må bruk av evaluering være i tråd med det overordnede kravet om oppfølging og kontroll. Det er basert på stor grad av delegering, tillit og enighet mellom nivåene, altså virksomhet, departement og Stortinget.
Alle virksomheter skal sørge for at det gjennomføres evalueringer for å få informasjon om effektivitet, måloppnåelse og resultater innenfor hele eller deler av virksomhetens ansvarsområde og aktiviteter. Evalueringene skal belyse hensiktsmessighet av eksempelvis eierskap, organisering og virkemidler, herunder tilskuddsordninger. Frekvens og omfang av evalueringene skal bestemmes ut fra virksomhetens egenart, risiko og vesentlighet.
Når bør dere evaluere?
Dere kan gjøre en evaluering i forkant av, underveis og i etterkant av tiltak. En slik inndeling er nyttig for å velge riktig evalueringsmetodikk, selv om mange oppgaver i staten ikke har en så tydelig begynnelse og slutt.
Kort informasjon om forhåndsevaluering
En forhåndsevaluering, også kalt ex-ante evaluering, er en vurdering eller analyse av et tiltak dere gjør før det faktisk gjennomføres. Dette gjør dere når dere skal finne det tiltaket som virker best.
Utredningsinstruksen gir føringer for denne typen evaluering.
Kort informasjon om underveisevaluering
En underveisevaluering, også kalt ex-durante, gjennomfører dere for å kunne endre kurs og justere på tiltaket, ordningen eller prosessen.
En underveisevaluering kan gi grunnlag for å få svar på noe av dette:
- Om organiseringen av tiltaket er god
- Om prosesser er effektive
- Om tiltaket ser ut til å virke som forventet
Underveisevaluering er dermed viktig for læring og utvikling i en prosess for kontinuerlig forbedring.
Følgeevaluering er én type underveisevaluering.
En annen type er midtveisevaluering.
I forbindelse med gevinstrealisering eller nyttestyring, vil underveisevaluering egne seg som verktøy.
Kort informasjon om etterevaluering
Etterevalueringer, også kalt ex post-evaluering, kan dere gjennomføre for å finne ut om
- tiltak har gitt effektene dere forventet
- ressurser er effektivt brukt
- mål er nådd
I en etterevaluering vil dere blant annet vurdere om tiltaket skal fortsette eller endres, eller om det skal gjøres permanent.
Hva kan tema for evaluering være?
Her finner du en lang liste over temaer som kan evalueres. Den kan dere bruke som inspirasjon for å bedre forstå hvor dere «hører hjemme» i forvaltningen avhengig av
- hva dere har ansvar for
- hva dere skal bruke evalueringen til
- hvilke valgmuligheter dere har når det gjelder evalueringstype og evalueringsspørsmål
Hvordan organisere evalueringsarbeidet?
Hvis dere skal få god kunnskap som dere kan bruke i styring, må virksomheten rigges for det. OECD anbefaler at evaluering institusjonaliseres. Det kan handle om å ha riktig kapasitet, kompetanse og organisering for å koordinere evalueringsarbeidet.
Bruk vår veileder «Strategisk og systematisk bruk av evaluering i styring», som viser hvordan dere går frem for å
- forankre og integrere evaluering i styringen av virksomheten
- prioritere hvilke evalueringer dere skal gjennomføre
- gjennomføre enkeltevalueringer
- formidle og bruke evalueringsresultater i styring
Skal du bestille en enkeltevaluering?
Enten dere skal gjennomføre en ekstern eller intern evaluering, så er det en del dere må huske på og ta hensyn til når dere bestiller den.
Våre sjekklister hjelper dere å holde tunga rett i munnen gjennom hele prosessen, som i grove trekk er delt inn i fire faser:
Dere bør kjenne til evalueringskriteriene
OECD har utviklet et rammeverk for evaluering. Det inneholder seks kriterier som hjelper dere med å prioritere og tydeliggjøre hva en evaluering skal gi svar på.
Kriteriene gir et godt utgangspunkt for å definere databehov og velge analysemetode. Husk at du ikke nødvendigvis trenger å bruke alle seks i en evaluering, men du må forstå hvordan de utfyller hverandre. Ofte handler det om å vurdere dem mot hverandre og finne balansen mellom ulike behov.
Under får du en forenklet presentasjon av de seks kriteriene i form av spørsmålene dere kan stille for å bruke dem. For å forklare forskjellen på de seks kriteriene er det lagt ved et gjennomgående fiktivt eksempel.
Relevans: Hvor godt egnet er tiltaket til å løse problemet?
OECDs engelske begrep for relevans: Relevance
Spørsmålet om relevans skal avklare om tiltakets mål og utforming er tilpasset brukerens behov og samfunnets prioriteringer. Det handler om å forstå hvorfor tiltaket er nødvendig.
Relevans handler også om tilpasning over tid, hvis samfunnsutfordringer endrer seg. Har vi valgt riktig virkemiddel og tiltak for å løse et problem? Er det verdifullt?
Eksempel på relevans
Problemet er for høy dødelighet i trafikken. En viktig del av problemet skyldes møteulykker. Å etablere midtdelere vurderes å være den mest relevante løsningen.
Formålseffektivitet: Hvor godt bidrar tiltaket til måloppnåelse?
OECDs engelske begrep: Effectiveness
Der relevans handler om dere har valgt det beste tiltaket for å løse problemet eller treffe brukerbehov, handler formålseffektivitet om det gjennomføres på en slik måte at det gir forventede resultater og dermed måloppnåelse.
Eksempel på formålseffektivitet
Det er besluttet å etablere midtdelere for å avverge møteulykker. Det finnes ulike typer midtdelere. Betongklosser virker bedre enn riller malt i veien. Derfor har betongklosser høyere formålseffektivitet.
Kostnadseffektivitet: Hvor god er ressursbruken?
OECDs engelske begrep: Efficiency
Der formålseffektivitet handler om hvor god effekt et tiltak har, handler kostnadseffektivitet om tiltaket gjennomføres på en effektiv måte, eller om det er mulig å oppnå samme mål med lavere ressursbruk.
Eksempel på kostnadseffektivitet
For å avverge møteulykker er det rimeligere å male riller, enn å sette opp fysiske barrierer i metall eller betong. Her må det gjøres en avveining mellom formålseffektivitet og kostnadseffektivitet når tiltak velges.
Samfunnsnytte: Hvilken forskjell utgjør tiltaket?
OECDs engelske begrep: Impact
Samfunnsnytte handler om hvor stor verdi tiltaket gir og om det gir negative, utilsiktede konsekvenser. Det kan dreie seg om miljømessige, økonomiske eller bredere sosial virkning. Vurdering av samfunnsnytte skal altså fange opp mer enn vurdering av formålseffektivitet.
Eksempel på samfunnsnytte
Etableringen av faste, fysiske barrierer gir en langsiktig og varig nedgang i møteulykker. Likevel reduseres ikke dødeligheten tilsvarende. Over tid oppdager man at redusert fremkommelighet over lange strekninger i et rasutsatt område, har større betydning enn forventet med hensyn til fremkommelighet for uttrykningskjøretøy, og andre typer ulykker i trafikken.
Bærekraft: Gir tiltaket varige endringer?
OECDs engelske begrep: Sustainability
Bærekraft handler om tiltaket vil gi varig samfunnsnytte. Hvor robust er det i møte med andre prioriteringer og behov? Eksempler på spørsmål i vurdering av bærekraft:
- Er det gjort tilstrekkelige risikovurderinger?
- Er det gjort tilstrekkelig avveininger av målkonflikter?
- Er det etablert systemer og prosesser for vedlikehold over tid?
Eksempel på bærekraft
I valget mellom betongklosser og riller i vei for å avverge møteulykker kan analysen handle om:
- Hvor godt er mulige negative konsekvenser for trafikkavvikling og fremkommelighet vurdert?
- Er det gjort vurderinger av hva fremtidig vedlikehold vil koste, og hvilket av alternativene som har størst negative konsekvenser for miljøet?
Sammenheng: Hvor godt passer tiltaket sammen med andre tiltak?
OECDs engelske begrep: Coherence
Dette kriteriet handler om å se tiltaket i en større sammenheng. Det kan ha stor betydning når dere står overfor komplekse samfunnsutfordringer. Sammenheng kan handle om virkemidler og tiltak som til sammen skal løse samfunnsoppdraget til en virksomhet, eller det kan handle om å løse sektorovergripende behov.
Eksempel på sammenheng
I lys av vurderingene på de andre kriteriene, gjøres det en ny analyse av helheten i tiltakene som skal gi redusert dødelighet i trafikken.
Tiltakene som velges skal til sammen gi høyest mulig reduksjon og lavest mulig miljøavtrykk. Ny helhetlig tilnærming innebærer avveining mellom ulike typer midtdelere, hvilken betydning de har for fremkommelighet og andre avbøtende tiltak, som for eksempel å utvide veien der det er mulig. Materialvalg og produksjonsløsning vurderes også med tanke på miljøavtrykk. Kanskje blir valget å kombinere bruken av betongklosser og riller.