Definisjon av evaluering

I Finansdepartementets veileder om evaluering defineres evaluering som «En systematisk datainnsamling, analyse og vurdering av en planlagt, pågående eller avsluttet aktivitet, en virksomhet, et virkemiddel eller en sektor». Evalueringer kjennetegnes ved at de beskriver og vurderer verdien av noe. De kjennetegnes også ved at det som regel stilles krav til en viss systematikk og metode og at evalueringen er dokumenterbar. 

Evalueringer forutsetter i tillegg at det finnes et faktagrunnlag, eventuell annen tilstrekkelig konkret informasjon, som definerer hva som skal måles og hva som er godt eller dårlig. I praksis defineres evalueringsbegrepet relativt vidt og omfatter så vel større eksterne forskningsbaserte evalueringer som relativt små interne analyser og kvalitative vurderinger.

Viktig verktøy i etatsstyringen

Evaluering er et viktig verktøy i etatsstyringen, og må gis et konkret innhold i hver enkelt styringsrelasjon. Evalueringer bidrar med viktig informasjon om for eksempel effekter av politikk, virkemiddelbruk og tiltak. Gjennom evalueringer kan departementet få tilgang på mer helhetlig og balansert informasjon, blant annet som grunnlag for læring, endringsbeslutninger og justering av styringskursen. Evalueringer kan, sammen med informasjon fra den løpende mål- og resultatstyringen, bidra til bedre rapportering fra og kontroll med underliggende virksomheter. 

Evalueringer og andre former for kvalitative vurderinger gjennomføres blant annet for å få bedre oversikt og mer dybdekunnskap. Det bidrar til å heve nivået på departementenes styringsinformasjon, noe som er nyttig både i styringsdialogen mellom et departement og dets underliggende virksomheter og når det gjelder Regjeringens informasjonsplikt overfor Stortinget.

Øker kvaliteten på styringen

Både evalueringer og risikovurderinger kan brukes for å øke kvaliteten på styringen av underliggende virksomhet. Innenfor mål- og resultatstyringsregimet kan evalueringer blant annet brukes for å sannsynliggjøre, eventuelt avkrefte, årsaksforhold på områder med uklar sammenheng mellom tilgjengelige virkemidler og antatte effekter.

Evalueringer er også en viktig del av etatsstyringen når den underliggende virksomheten forvalter virkemidler som skal virke ute i en betydelig videre definert sektor. I slike situasjoner kan ikke overordnet departement holde virksomheten ansvarlig for effekter utenfor virksomhetens rimelige kontrollspenn. Det kan likevel ha behov for å følge opp at virkemiddelbruk og ressursinnsats er effektive i forhold til målene på området. 

Dersom en evaluering for eksempel viser at det er en klar sammenheng mellom tilgjengelig informasjon om regelverket og kvaliteten på tjenestene som ytes/tilbys, vil prioritering av informasjon og informasjonstiltak sannsynligvis kunne bidra til bedre og mer målrettede tjenester i neste omgang.

6.1 Informasjon fra evalueringer for en balansert og helhetlig rapportering

Evaluering som verktøy

For at et mål- og resultatstyringssystem skal kunne fungere godt, må styrende myndighet ta utgangspunkt i kunnskap om hvordan virksomheten eller sektoren virker. Departementet må vite noe om hvilke effekter ulike tiltak har og om hvilke indikatorer som kan si noe om virksomheten har nådd målene.

Evaluering som verktøy bør derfor være tett knyttet til mål- og resultatstyringen. Evalueringer kan fokusere på ulike forhold, blant annet bruk og sammensetning av innsatsfaktorer, beslutnings- og gjennomføringsprosesser, resultatoppnåelse eller samfunnseffekter. 

Dersom evalueringene initieres og tenkes brukt i etatsstyringen, er det imidlertid viktig at overordnet departement tenker gjennom i forkant både hva det ønsker å evaluere og også hvordan resultatet av evalueringen kan brukes inn i styringen.

Typer evalueringer

Et kunnskapsbasert styringssystem bør inkludere bruk av både forhånds-, underveis-, og etterevalueringer. 

Forhåndsevaluering

En forhåndsevaluering kan bidra til å gi et utgangspunkt for å lage et styringsopplegg. I praksis vil samfunnsøkonomiske analyser og konsekvensvurderinger, herunder statens kvalitetssikringsregimer (KS 1 og KS2), være varianter av forhåndevalueringer.

Underveisevalueringer

Underveisevalueringer kan brukes som et kunnskapsgrunnlag for endring eller justering og kan resultere i at styringsparametere blir byttet ut, tatt vekk eller lagt til. Evalueringsverktøyet tilfører et bredere perspektiv og en dypere forståelse enn styringsinformasjon som kun er basert på utvalgte styringsparametre. 

Evalueringer kan gi en helt annen bakgrunn for å vurdere virkemiddelbruk, organisering, arbeidsprosesser m.v. og kan derfor være nyttige bidrag med hensyn til å dimensjonere og justere mål- og resultatstyringen. Departementet kan dermed få et bedre og mer kunnskapsbasert, balansert og helhetlig grunnlag for å vurdere måloppnåelse, eventuelt også for å fastsette nye/endrede mål for virksomheten eller sektoren.

Etterevaluering

Mange oppfatter etterevaluering og evaluering som synonyme begreper. Etterevaluering er en evaluering som foregår etter at en reform, et tiltak, et prosjekt eller lignende er gjennomført, eventuelt avsluttet. Et eksempel kan være evaluering av oppnådde gevinster etter innføringen av et nytt IT-system. 

DFØs og andres gjennomgang av tildelingsbrev og årsrapporter indikerer at etatsstyrende departementer i liten grad etterspør denne typen etterevalueringer i styringsdialogen. Overordnede departementer bør ha rutiner for å etterspørre og bruke resultat- og effektinformasjon fra evalueringer. Informasjon fra evalueringer vil blant annet kunne føre til en tydeliggjøring av ansvar der flere virksomheter forvalter virkemidler, og er avhengige av hverandre for å oppnå de ønskede bruker- og samfunnseffektene.

6.2 Gjennomføring og oppfølging av evalueringer

Oppfølging etter omfanget på evalueringen

Det gjennomføres en rekke større og mindre evalueringer i statsforvaltningen hvert år. Mange av dem inngår ikke i styringsdialogen. Noen av de større inngår, men det er ikke alltid like lett å se hvordan resultatet av disse følges opp. Oppfølgingen vil selvfølgelig måtte avhenge av den enkelte evaluerings innretning og omfang. 

Dersom det er en større evaluering som peker på viktige forbedringspunkter, kan det være aktuelt for overordnet departement å vurdere egne styringsparametere med tilhørende resultatkrav på ett eller flere områder. Alternativt kan det være aktuelt å definere ett eller flere konkrete oppdrag – «lag en plan for hvordan...» – og/eller be underliggende virksomhet rapporter på oppfølgingen av evalueringen. 

Det kan også være aktuelt å varsle en ny, tilsvarende, evaluering etter noen år når det er rimelig å forvente at endringer og tiltak som iverksettes, har hatt tilsiktet effekt, jf eksempelvis en gevinstrealiseringsplan eller lignende.

Evaluering som en del av styringen

En måte å nærme seg økonomiregelverkets formulering om bruk av evalueringer kan være å la bruk av evalueringer inngå som ledd i departementets styring av virksomheten. Det bør de være tydelig angitt hva som skal evalueres, når det skal evalueres, samt ha en kort begrunnelse for hvorfor det skal evalueres. Det må være tydelig når evalueringene skal være ferdig, og hvordan de skal behandles i departementet for å sikre at relevante funn brukes videre i en konkret styringsrelasjon. 

Et eksempel kan være at en målstruktur med tilhørende styringsparametere blir evaluert med definerte mellomrom, både for å vurdere hvordan mål og styringsparametere henger sammen og for å vurdere om målstrukturen bidrar til den ønskede effekten av politikken. Tilsvarende kunne en tenke seg at et departement – med mellomrom – kunne ønske å evaluere sammensetningen og effektiviteten til noen eller alle virkemidlene sine, herunder også organiseringen av og innretningen på underliggende virksomheter, foretak m.v.

6.3 Spørsmål til refleksjon

• Hvordan er evalueringer, kvalitative vurderinger og analyser i etatsstyringen integrert i etatsstyringen?
• På hvilken måte har departementet formalisert bruk av evalueringer i styringen av underliggende virksomhet(er)?