Her finner du veiledning om å vurdere måloppnåelse for tilskuddsordningen som helhet, rapportere til overordnet departement og til Stortinget, og om å evaluere tilskuddsordningen. Både departementet og tilskuddsforvalteren har ansvar for dette steget.
Oppfølgingen og evalueringen av tilskuddsordningen kan føre til ny utredning og endringer i utformingen av tilskuddsordningen.
Vurdere måloppnåelse for tilskuddsordningen
Å vurdere måloppnåelse innebærer å vurdere om målet for en tilskuddsordning er nådd. Det er som regel flere kilder til informasjon. I tillegg kan sammenhengen mellom tiltak og virkning være kompleks.
Målet for tilskuddsordningen og kriteriene for måloppnåelse er utgangspunkt for vurderingen. Kriteriene for måloppnåelse skal beskrive hvilken informasjon tilskuddsforvalteren skal innhente for å belyse om målet for ordningen er nådd. Eksempler på slik informasjon kan være endring i antall trafikkulykker i løpet av et år, eller hvor mange som har fått veiledning og opplever nytte av en hjelpetelefon.
Kriteriene er også utgangspunkt for rapporteringskrav overfor tilskuddsmottakerne. Rapportene fra tilskuddsmottakerne blir dermed en av kildene til informasjon som kan belyse måloppnåelsen. Andre kilder til informasjon om måloppnåelse kan være evalueringer eller offentlig statistikk.
§ Fra bestemmelsene om økonomistyring i staten
6.2.1 Hovedelementene i en tilskuddsordning
…
b) Kriterier for måloppnåelse
For å følge med på måloppnåelsen i tilskuddsordningen, skal departementet utarbeide kriterier for måloppnåelse. Måloppnåelsen kan belyses kvalitativt eller kvantitativt, jf. pkt. 6.3.6.
…
6.3.6 Informasjon om måloppnåelse
Tilskuddsforvalteren skal, med utgangspunkt i de fastsatte kriteriene for måloppnåelse jf. pkt. 6.2.1 bokstav b, innhente informasjon fra tilskuddsmottakere eller andre kilder som gjør det mulig å vurdere graden av måloppnåelse for ordningen.
Kravene til rapportering fra tilskuddsmottakere skal ikke gis større omfang enn at de står i rimelig forhold til tilskuddet. Det skal også tas hensyn til de praktiske mulighetene mottakerne har for å skaffe informasjon.
Bruk resultatkjeden
Det kan være nyttig å bruke resultatkjeden i arbeidet med å vurdere måloppnåelse:
Målet for en ordning ligger som regel til høyre i resultatkjeden, på brukereffekter og samfunnseffekter. Tilskuddsmottaker mottar typisk tilskudd til å gjennomføre aktiviteter eller levere produkter eller tjenester – som ligger til venstre i resultatkjeden.
Figuren viser resultatkjeden.
Komplekse sammenhenger
Hvis det er kjente årsaksforhold mellom stegene, altså fra aktiviteter, produkter og tjenester til mål og effekter, er det enkelt å vurdere måloppnåelse. Men ofte er det snakk om komplekse sammenhenger. Når målet er bredt eller omfattende, er gjerne sammenhengene komplekse, og da er det vanskeligere å se hvordan aktiviteter, produkter og tjenester bidrar direkte til målet i form av brukereffekter og samfunnseffekter. Kompleksiteten øker ytterligere hvis tilskuddsordningen bare er ett av flere tiltak for å nå målet.
Det er derfor viktig å planlegge hvordan tilskuddsforvalteren kan vurdere måloppnåelsen allerede når ordningen utformes. Mål og kriterier for måloppnåelse bør innrettes slik at informasjonen som skal innhentes, gjør det mulig å vurdere måloppnåelsen.
Hvis et mål innebærer komplekse sammenhenger, kan det være mer hensiktsmessig å beskrive eller sannsynliggjøre måloppnåelse, framfor å forsøke å måle den.
Departementet og tilskuddsforvalters ansvar
Departementet og tilskuddsforvalter har felles ansvar for å sikre god måloppnåelse i ordningen når de utformer ordningen, vurderer søknader og følger opp effektene.
Forvalteren har vurdert søknaden og antatt at tilskuddsmottakeren vil bidra godt til måloppnåelse for ordningen. Ordninger med mye skjønnsvurdering, gir tilskuddsforvalteren et særlig ansvar for måloppnåelsen.
Tilskuddsmottakers ansvar er å bruke tilskuddet i tråd med vilkår i regelverket for ordningen og i tilskuddsbrevet.
Informasjon om måloppnåelse fra tilskuddsmottakernes rapporter
En forutsetning for måloppnåelse i tilskuddsordningen, er at tilskuddsmottakerne har brukt midlene i tråd med vilkårene. Noen ordninger kan være innrettet slik at tilskuddsmottakeren selv skal vurdere og rapportere om effekten for brukerne.
Måloppnåelse kan vurderes både kvantitativt og kvalitativt. Det vil være forskjell på å måle og bevise kvantitative resultater på den ene siden, og å beskrive og sannsynliggjøre kvalitative resultater på den andre.
For enkelte ordninger, avhengig av type mål og kriterier, vil det være aktuelt å vurdere grader av måloppnåelse hos tilskuddsmottakerne for å kunne vurdere måloppnåelse for ordningen samlet sett. Da kan det for eksempel brukes en tredelt skala med høy, middels og lav måloppnåelse.
Informasjon om måloppnåelse fra andre kilder
En kilde til informasjon om måloppnåelse kan være offentlig statistikk (for eksempel fra Statistisk sentralbyrå eller KOSTRA). Hvis det for eksempel gis tilskudd til svømmeopplæring og et kriterium er færre drukningsulykker, må dere sannsynligvis få informasjon om det fra andre kilder enn tilskuddsmottakeren.
Også evaluering eller forskning kan gi nyttig informasjon om måloppnåelse. Funnene fra evaluering eller forskning kan kobles til vurderingene i den årlige rapporteringen fra mottakerne. Når dere utformer tilskuddsordningen, bør dere vurdere hvordan ulike kilder best mulig kan gi et samlet bilde av måloppnåelsen i ordningen.
Noen ganger tar det også tid før måloppnåelsen kan måles, for eksempel hvis målet med svømmeopplæring på lavere klassetrinn er at elever kan svømme på et høyere klassetrinn.
Følge opp vurdering av måloppnåelse
Når dere vurderer måloppnåelsen, er det en god anledning til å vurdere om det er behov for å endre innretningen av ordningen. Bør selve målet justeres, eller bør kriteriene for måloppnåelse, tildelingskriteriene eller rapporteringskravene justeres?
Dersom dere har behov for slike endringer i tilskuddsordningen, kan det være nødvendig å gå tilbake til Stortinget i en budsjettproposisjon. Det kan også være grunn til å avvikle ordningen, eller slå den sammen med én eller flere andre ordninger for å for å forenkle saksbehandlingen eller forbedre måloppnåelsen.
Tenk igjennom
- Er målet og kriteriene for måloppnåelse presise nok til at dere kan vurdere måloppnåelse med rimelig ressursbruk?
- Har rapportene nok og riktig informasjon for å vurdere måloppnåelsen? Hvis ikke, bør rapporteringskravene endres?
Rapportere til departementet og Stortinget
Tilskuddsforvalteren rapporterer til overordnet departement om tilskuddsforvaltningen, og departementet rapporterer videre til Stortinget om oppnådde resultater for tilskuddsordningene.
§ Fra bestemmelsene om økonomistyring i staten
6.3.7 Rapportering til departementet
Tilskuddsforvaltere innenfor statsforvaltningen skal rapportere i tråd med kravene til årsrapport i pkt. 2.3.3 og krav som er fastsatt av departementet i tildelingsbrevet eller i tilskuddsregelverket.
Øvrige tilskuddsforvaltere skal rapportere i tråd med kravene som er fastsatt av departementet i avtale eller oppdragsbrev samt kravene som fremgår av tilskuddsregelverket.
6.2.2 Presentasjon for Stortinget
…
Departementet skal i budsjettproposisjonen rapportere om resultater som er oppnådd ved tilskuddsordningen i forhold til fastsatte mål.
…
Tilskuddsforvalterens rapportering til departementet
Tilskuddsforvalteren rapporterer til overordnet departement om tilskuddsforvaltningen, både i styringsdialogen, årsrapporten og i budsjettprosessen.
Virksomheten skal levere årsrapport til overordnet departement. Kravene til årsrapporten framgår av punkt 1.6.1 og 2.3.3 i bestemmelsene om økonomistyring i staten. Årsrapporten skal gi et dekkende bilde av virksomhetens resultater, og gi departementet grunnlag for å vurdere måloppnåelse og ressursbruk.
Én av årsrapportens seks deler er «Årets aktiviteter og resultater». Denne delen kan kort omtale hovedtrekkene i virksomhetens tilskuddsforvaltning og beskrive resultater og måloppnåelse i tilskuddsordningene som virksomheten forvalter.
Normalt fastsetter departementet nærmere krav til rapportering på tilskuddsforvaltningen i instruksen og/eller tildelingsbrevet til virksomheten. Videre kan tilskuddsforvaltningen være tema på etatsstyringsmøtene mellom departementet og virksomheten, og eventuelle fagdialogmøter. I spesielle tilfeller kan departementet ha behov for rapporter i løpet av året.
Andre tilskuddsforvaltere enn de statlige virksomhetene skal rapportere om måloppnåelse og bruk av tilskuddsmidler som beskrevet i avtale og/eller oppdragsbrev.
Videre ber departementet vanligvis tilskuddsforvalteren om å bidra til omtale og rapportering i budsjettproposisjonen. Rapporteringen i budsjettproposisjonen er ofte mer overordnet enn årsrapporten. Det er viktig at rapporteringen til Stortinget er korrekt, og departementet og tilskuddsforvalteren har som regel egen dialog i forbindelse med budsjettprosessen. Se:
Departementets rapportering til Stortinget
I tillegg til bestemmelsene punkt 6.2.2 gjengitt over, gir det årlige hovedbudsjettskrivet fra Finansdepartementet retningslinjer for arbeidet med budsjettproposisjonen. Departementet skal som hovedregel rapportere overordnet om oppnådde resultater og vise til sammenhengen med målene som allerede er presentert for Stortinget.
På tilskuddsområdet er det sentralt å beskrive måloppnåelse for tilskuddsordningen, det vil si i hvilken grad ordningen virker etter hensikten. Kriteriene for måloppnåelse er avgjørende for en god rapport om måloppnåelse til Stortinget. Rapporteringen bør vise hva tilskuddsmottakerne har oppnådd og hvilke effekter dette har hatt for målgruppen (brukereffekter) og for samfunnet. Rene aktivitetsbeskrivelser bør unngås. Dersom det er vanskelig å vise til oppnådde resultater, kan det være nyttig å se på om kriteriene for måloppnåelse eller rapporteringskravene til mottaker bør justeres.
Dersom det er store avvik, må departementet gjøre greie for årsakene til det.
Tenk gjennom
- Er det lagt til rette for en god prosess mellom departement og tilskuddsforvalter om rapportering og omtale i budsjettproposisjonen?
- Er målet og kriteriene for måloppnåelse for tilskuddsordningene formulert slik at de kan ligge til grunn for rapporteringen til departementet og til Stortinget?
Evaluere tilskudd
Evalueringer gjennomføres for å få informasjon om tilskuddordningen er effektiv og når de fastsatte målene. Evaluering gir dere mulighet for å lære og forbedre tilskuddsordningen, eller det enkeltstående tilskuddet. Både departementet og tilskuddsforvalteren skal sørge for at tilskudd evalueres.
§ Fra bestemmelsene om økonomistyring i staten
6.5 Evaluering av tilskuddsordninger
Departementet og tilskuddsforvalteren skal sørge for at det gjennomføres evalueringer for å få informasjon om tilskuddsordninger og enkeltstående tilskudd er effektive når det gjelder ressursbruk, organisering og fastsatte mål.
Frekvens og omfang av evalueringer skal ta utgangspunkt i en vurdering av risiko og vesentlighet for den enkelte tilskuddsordningen eller det enkeltstående tilskuddet, herunder hvor omfattende og viktig ordningen eller tilskuddet er, kvaliteten på og omfanget av øvrig rapportering og i hvilken grad det er mulig å beskrive de årlige resultatene. Evalueringer må vurderes i sammenheng med kravene som stilles til rapportering, jf. Pkt. 6.3.6.
Ressursene som brukes på evalueringer, skal ha et rimelig omfang i forhold til forventet nytte av informasjonen som fremkommer. Virksomheten skal sørge for at evalueringer som er gjort tilgjengelig for allmennheten, blir avlevert til Nasjonalbiblioteket i tråd med pliktavleveringslova § 4. Avlevering i henhold til pliktavleveringslova § 4 er ivaretatt ved digital avlevering eller innsamling til kudos.dfo.no. Departementet skal ved utgangen av hvert år sende Riksrevisjonen en oversikt over tilskuddsordninger som er blitt evaluert.
Tenk på evaluering når dere utreder og utformer tilskuddsordningen
Tenk allerede i utredningen på hvilke evalueringsspørsmål som er viktigst for den aktuelle tilskuddsordningen. De spørsmålene som er relevante i utredningsfasen gjelder også i evalueringsfasen.
Sørg for at hovedelementene bygger opp under en senere evaluering. For eksempel:
- Er målet, målgruppen og kriteriene for måloppnåelse formulert slik at ordningen kan evalueres, og i tilfelle hvordan?
- Hvilke informasjonskilder er aktuelle for evaluering? Hvilken informasjon kan dere innhente fra tilskuddsmottakerne gjennom årlige rapporteringskrav, og hva bør dere innhente fra andre kilder eller i forbindelse med evaluering?
En evaluering kan undersøke forhold som den løpende rapportering fra tilskuddsmottakerne gir begrenset svar på. Evaluering åpner for en dypere analyse, både gjennom å undersøke årsaksforhold, kvalitative aspekter og utvikling over tid. Ved å planlegge fra starten av, kan dere få en god balanse mellom informasjon fra tilskuddsmottakernes rapporter og informasjon og analyse i form av evaluering.
Evaluering kan gjøres i ulike faser. Det kan være behov for en forhåndsevaluering for å finne det tiltaket som virker best. En underveisevaluering kan gjennomføres for å endre kurs og justere innretningen av tilskuddsordningen. En etterevaluering kan gjennomføres for å finne ut om målet er nådd og om ressursene er effektivt brukt.
Hva skal evalueres?
For å komme fram til gode evalueringsspørsmål, kan det være nyttig å ta utgangspunkt i de seks evalueringskriteriene som er utarbeidet av OECD: relevans, kostnadseffektivitet, formålseffektivitet, samfunnseffekt, bærekraft og sammenheng. Se mer om evalueringskriteriene og DFØs generelle veiledning om evaluering:
Grunnlaget for evalueringen ligger vanligvis i hovedelementene i tilskuddsordningen, og en evaluering kan vektlegge disse ulikt:
- mål og målgruppe
- tildelingskriterier
- kriterier for måloppnåelse
- oppfølging og kontroll
DFØs veileder Evaluering av statlige tilskudd (2007) peker i tillegg på tre sentrale aspekter ved evaluering av tilskuddsordninger:
- Hvilke effekter gir tilskuddene?
- Forvaltes tilskuddet på en god måte?
- Er tilskuddsordningen hensiktsmessig utformet?
Evalueringen bør også se til ytre samfunnsmessige og økonomiske forhold som kan påvirke tilskuddsordningen. Disse forholdene kan ha endret seg over tid.
Flere tilskuddsordninger kan evalueres samtidig (klyngeevaluering) hvis ordningene er ment å virke sammen eller retter seg mot samme målgruppe. Evalueringen kan også avgrenses til grupper av tilskuddsmottakere som mottar tilskudd over én eller flere ordninger.
Eksempler på evalueringsspørsmål
Hva er effektene av tilskuddsordningen?
| Undersøker: | Eksempler på spørsmål: |
|---|---|
| • Virkninger eller nytte for målgruppen, tilskuddsmottakerne og/eller samfunnet • Økonomiske konsekvenser for de samme gruppene • Utilsiktede konsekvenser (positive og negative) | • Hva er forskjellen før og etter tilskuddet? • Kan det gjøres kvalitativ (beskrivende) eller kvantitativ (tallmessig) vurdering av effekt? • Hvordan opplever målgruppen at tilskuddet virker? Er effekten lik for hele målgruppen, eller er det variasjon? • Hvordan opplever tilskuddsmottakerne at tilskuddet virker? • Hvordan ville situasjonen vært uten tilskuddet? • Er effekten av tilskuddet i tråd med intensjonen i Stortingets vedtak om ordningen? • Har tilskuddet hatt nytte/virkning for flere enn målgruppen? • Har tilskuddet skapt skjevheter for målgruppen eller mottakerne? |
Forvaltes tilskuddsordningen på en god måte?
| Undersøker: | Eksempler på spørsmål: |
|---|---|
| • Aktører og roller • Regler og rutiner • Arbeidsprosesser • Ressursbruk • Informasjon og formidling • Styring og kontroll | • Forvaltes tilskuddsordningen i tråd med kravene i økonomiregelverket? • Forvaltes tilskuddsordningen i tråd med forvaltningsloven? • Er rollene avklart mellom departement og tilskuddsforvalter? • Er rollene avklart der forvaltningen er ivaretatt av flere enn en forvalter? • Har tilskuddsforvalteren tilstrekkelig system for internkontroll? • Står ressursbruken i rimelig forhold til ønskete resultater? • Er ressursbruken effektiv og målrettet? • Gir tilskuddsforvalteren god informasjon til søkere og tilskuddsmottakere om gj eldende krav? • Gir rapporteringen til departementet et godt grunnlag for videre rapportering til Stortinget? • Hvilken effekt har en endring i forvaltningen hatt? |
Er tilskuddsordningen godt utformet?
| Undersøker: | Eksempler på spørsmål: |
|---|---|
| • Innhold, formulering og presisjonsnivå for hovedelementene • Organisering • Omfang • Varighet | • Er det mulig å undersøke måloppnåelse og effekt av tilskuddsordningen ut fra mål og kriterier for måloppnåelse? • Er målgruppen klart definert? • Har tilskuddsforvalteren og tilskuddsmottakeren felles forståelse av mål og ønsket effekt? • Er det klart hvem som kan motta tilskudd og til hva? • Er det trekk ved utformingen av ordningen som fremmer eller hemmer måloppnåelse? • Hvordan burde ordningen vært utformet for å fremme resultater på en bedre måte? • Ble ordningen tilstrekkelig utredet på forhånd? • Hvilken effekt har en endring i utformingen hatt? |
Ytre forhold og tidsaspektet
| Undersøker: | Eksempler på spørsmål: |
|---|---|
| • Generelle trekk ved samfunnet • Behov hos målgruppen • Politiske forhold • Administrative rammebetingelser • Økonomiske rammebetingelser • Faglig utvikling • Risiko og vesentlighet • Samspill (eller mangel på samspill) med andre tiltak innen samme sektor eller for samme målgruppe | • Hvilke ytre forhold påvirker tilskuddsordningen og ønsket resultat mest? • Har disse endret seg siden ordningen ble opprettet, og hvilke implikasjoner har det i så fall? • Støtter tilskuddsordningen opp om gjeldende strategier og handlingsplaner? • Er utfordringene/behovene som tilskuddsordningen adresserer fortsatt like relevante? • Overlapper ordningen med andre ordninger i samme sektor? • Overlapper ordningen med andre tiltak for målgruppen og /eller tilskuddsmottakerne? |
Planlegg oppfølging av evalueringen
Departementet og tilskuddsforvalteren bør i forkant ha tenkt gjennom hvilke konsekvenser en evaluering av en tilskuddordning kan ha. Endelig oppfølging avhenger som oftest av funnene fra evalueringen og mulige anbefalinger som kommer fram:
- Videreføre: Tilskuddordningen kan videreføres som den er eller med mindre justeringer.
- Endre: Det er behov for større endringer i regelverket før videreføring.
- Avslutte: Ordningen kan avsluttes, enten fordi den ikke gir ønskede resultater, fordi andre ordninger eller tiltak er viktigere for måloppnåelsen, eller fordi målet er nedprioritert.
Hvis evalueringen fører til endringer som går utover eller synes å endre Stortingets opprinnelige vedtak, må departementet vurdere om det er nødvendig å gå tilbake Stortinget.
Det er viktig å koble evalueringen av tilskudd til relevante styringsprosesser i virksomheten. Evaluering kan for eksempel få følger for virksomhetens bruk av kompetanse og ressurser. Hovedfunnene fra evalueringen bør også inngå i den årlige rapporten til departementet og Stortinget.
Ressurser: DFØs veiledning om evaluering og styringsinformasjon
Den generelle veiledningen fra DFØ om evaluering gjelder også for evalueringer av tilskudd. En evaluering er en systematisk datainnsamling, analyse og vurdering av en planlagt, pågående eller avsluttet aktivitet, en virksomhet, en sektor eller et virkemiddel - for eksempel tilskudd.
En evaluering skal bidra med styringsinformasjon til videre utvikling av tilskuddsordningen. Her er også DFØs veiledning nyttig:
DFØs veileder fra 2007 om evaluering av statlige tilskuddsordninger er fortsatt nyttig, men vær oppmerksom på at evalueringsfaget har endret seg. Det legges nå mer vekt på å tydeliggjøre om formålet med evaluering er etterprøvbarhet og kontroll eller læring og forbedring. Evaluering kan være nyttig for begge formål, men innebærer ulike metodevalg. Det å håndtere kompleksitet, det uforutsette og raske endringer har også hatt betydning for utvikling av evaluering som verktøy.
Bestemmelsene om økonomistyring i staten er også oppdatert på enkelte punkter siden 2007.
Kontakt
Har du spørsmål eller tilbakemeldinger om innholdet på denne siden, send en e-post til tilskudd@dfo.no