Formidle og bruke evalueringer og evalueringsresultater

Bearbeide rapporten og lage beslutningsnotat

Mottaker av rapporten i virksomheten bør alltid lage et beslutningsnotat med oppsummerende anbefalinger og vurdering av prioritering mellom dem. Notatet bør følge vanlig behandling i linjen. Viktige evalueringer bør normalt behandles i toppledelsen. Bearbeiding av rapporten vil avhenge av hvor konkrete anbefalingene i rapporten er. Beslutningsnotatet kan være en vurdering av rapportens nytte med en enkel oppsummering av konklusjonene og vurdering av om, og eventuelt hvordan virksomheten skal gå videre med dem.

Beslutningsnotat bør normalt ha konkrete anbefalinger. Tabellen nedenfor kan være til inspirasjon for arbeidet med å utforme anbefalinger. Spørsmålene peker på noen vurderinger som kan være nødvendig for oppdragsgiveren å gjøre etter at rapporten foreligger.

Spørsmål til hjelp for utarbeidelse av anbefalinger

Gir rapporten en retning?

• Sier rapporten noe om umiddelbar handling?
• Er det vurderinger av alternative tilnærminger til problemet?
• Er det anbefalinger i evalueringen og i tilfelle er de foreslåtte tiltakene gjennomførbare?
• Gir rapporten en oversikt over kostnadene til de foreslåtte tiltakene?
• Hvem retter tiltakene seg mot?

Gir evalueringen nye perspektiver på området?

• Utfordrer resultatene nåværende tenkning og praksis?
• Hva kan og bør virksomheten gjøre med det?

Gir informasjonen strategiske føringer?

• I så fall på hvilket nivå?
• Hvem bør bruke og kjenne til informasjonen fra evalueringen i virksomheten?(Internkontrollen, tilskuddsforvaltere eller andre?)
• På hvilket ledernivå i virksomheten bør rapporten behandles?
• Hva bør ledelsen konkret ta stilling til?
• Hva sier den løpende målingen av indikatorene eller informasjonen som evalueringen belyste?

Hvilke konklusjoner eller anbefalingen skal løftes frem i beslutningsnotatet?

• Dersom rapporten ikke ble som forventet var det noe man kan ta lærdom av i fremtidige evalueringer?

Vurderingen av disse spørsmålene kan i noen tilfeller, for eksempel ved større evalueringer, skje med involvering av identifiserte brukere eller berørte parter. Funnene kan diskuteres enten for å få innspill, søke enighet, eller en felles forståelse av resultatene og deres betydning for virksomheten eller fagområdet. Avhengig av hvor konkrete konklusjonene og anbefalingene er, formålet med evalueringen og størrelsen på evalueringen, kan man få innspill til bruk av rapporten på forskjellige måter.

Listen som er gjengitt under er ikke uttømmende, men er eksempler på muligheter for å spre, tolke og vurdere evalueringsresultatene eller for å spre en besluttet oppfølgingsplan.

Ulike måter å spre, tolke og vurdere evalueringsresultater

Det er ulike måter å spre, tolke og vurdere evalueringsresultater på. Oppdragsgiver kan innhente kommentarer og synspunkter på rapporten fra sentrale brukere og personer i målgruppen, for eksempel fra en referansegruppe.

Sentrale brukere og personer i målgruppen kan også inviteres til:

• å få en presentasjon av evalueringsresultatene som etterfølges av oppgaver og workshops
• et seminar der eksterne fageksperter diskuterer og presenterer sine synspunkter. Også oppdragsgiver kan presentere sine synspunkter på hva som er mulig å bruke i rapporten ut fra sin kontekst
• å delta i drama, videopresentasjon eller rollespill med øvelser og diskusjon

Beslutning om bruk

Behandlingen av evalueringsrapporten og beslutningsnotatet er en viktig del av saksgangen. Noen evalueringer kan brukes direkte i styring mens andre evalueringsresultater kan brukes mer indirekte eller få en ny aktualitet på et senere tidspunkt. I første behandling har beslutningstaker i ledelsen to alternativer:

• Å ikke bruke anbefalingene direkte fra rapporten med en begrunnelse for hvorfor. En slik beslutning fører til at saksgangen avsluttes. Dersom ledelsen beslutter å avslutte saksgangen og ikke gå videre med konklusjonene, bør det gis en begrunnelse for hvorfor. Beslutningen og begrunnelsen bør gjøres kjent i virksomheten.
• Å bruke anbefalingene og gi mandat for å utarbeide en konkret oppfølgingsplan.

Utarbeide oppfølgingsplan

Dersom anbefalinger om videre oppfølging av evalueringsrapporten er vedtatt må virksomheten konkretisere hva den gjør videre på bakgrunn av anbefalingene. Et utkast til konkret oppfølgingsplan som skal gå til beslutningstaker i ledelsen bør inneholde følgende elementer:

• Oppsummering av anbefalinger og konklusjoner som ledelsen har valgt å følge opp
• Beskrivelse av konkrete aktiviteter og tiltak som bør gjøres
• Konkretisering av anbefalingenes innvirkning på strategier, verktøy eller styringssystemer, som for eksempel risikostyring, løpende måling og internkontroll
• Hvor mye de foreslåtte aktivitetene og tiltakene koster
• Ansvarlige for aktivitetene og tiltakene
• Eventuelle frister for gjennomføring og rapportering

Eksempel på en plan for oppfølgning fra Utenriksdepartementet

I instruksen for Norad fra Utenriksdepartementet står det at en oppfølgingsplan skal foreliggesenest seks uker etter mottatt notat fra Norad. Oppfølgingsplanen skal godkjennes av utenriksråden.Her følger et eksempel på en plan fra en konkret evaluering:

I samråd med Kulturdepartementet og Norad foreslås følgende plan for oppfølging avevalueringen:

• Evalueringens anbefalinger følges opp i forbindelse med utviklingen av et nytt program fornorsk bistand til høyere utdanning og forskning. Programmet skal ferdigstilles i løpet av2010/første halvdel av 2011.
• I tråd med evalueringens anbefalinger legges det opp til at det nye programmet slårsammen dagens NUFU og NOMA program, med en fleksibel tilnærming til valg av programkomponenter.  i de tiltakene som støttes.

Følgende prinsipper, basert på evalueringsfunn og forslag til endringer, skal ligge til grunnfor det nye programmet:

• Hovedformålet skal være å bidra til økt kapasitet innenfor høyere utdanning og forskning iSør. Internasjonalisering av norsk forskning og forskningsproduksjon er viktige delmål.
• Partnerskapsmodellen mellom norske institusjoner og institusjoner i Sør bør videreføres.
• Nytt program må tilpasse seg endrede forhold i Sør, og svært ulike utfordringer og behovknyttet til samarbeid med relativt sterke mot relativt svake institusjoner.

Spørsmål knyttet til framtidig administrasjon av disse ordningene må vurderes i forholdtil innhold.

• Norad ved avdeling for utdanning og forskning får ansvar for å utvikle et nytt program forbistand til høyere utdanning og forskning som bygger på erfaringer fra NUFU/NOMA, ogsom i løpet av 2011 erstatter disse ordningene.
• Programutviklingen skal baseres på innspill fra sentrale aktører innen norsk universitetsoginstituttsektor, Norges Forskningsråd, representanter fra universitet og institutter i Sør,berørte ambassader, Senter for internasjonalisering av høgere utdanning (SIU), andrelikesinnede bistandsgivere innen høyere utdanning og forskning, samt tett dialog medDepartementet (SUP) og Kunnskapsdepartementet.
• Seksjon for Utviklingspolitikk vil opprettholde god kontakt med Norad ogKunnskapsdepartementet i programutviklingsfasen.

Det bes om godkjenning for denne oppfølgingsplanen.

Beslutning om oppfølgning

Utkastet til oppfølgingsplan behandles av beslutningstakere i ledelsen på et tilstrekkelig høyt nivå til at det kan tas en beslutning om videre oppfølging, gjerne i ulike avdelinger. Som vist i eksemplene ovenfor bør oppfølgingsplanen være konkret, slik at handlinger og tiltak, kostnader og ansvarlige for aktivitetene og rapporteringen i virksomheten blir forankret hos ledelsen i virksomheten.

Rapportere og følge opp planen

Den godkjente oppfølgingsplanen fra ledelsen til de ulike avdelingene er et verktøy som gir oversikt over funnenes implikasjoner og rapporteringskrav, slik at resultatene kan sluses inn i de relevante prosessene og systemene for bruk. Informasjonen fra oppfølgingsplanen kan brukes som grunnlag til rapporteringen i de etablerte rapporteringssystemene (for eksempel årsrapporten) eller prosessene (for eksempel plan- og budsjettprosessen). Ledelsen har en viktig funksjon i å sørge for at oppfølgingsplanen faktisk blir iverksatt og fulgt i avdelingene og skape tillit i virksomheten til rapporteringen av evalueringsresultatene. Rapportering av en oppfølgingsplan direkte til ledelsen gjør at de med sitt overblikk på virksomheten kan se oppfølgningspunkter som påvirker andre viktige prosesser i virksomheten. Ledelsen kan for eksempel på bakgrunn av oppfølgingsplanen oppdage behov for å endre tilnærmingen i den løpende målingen eller rapporteringsrutinene for virksomheten.

Eksempel på at evalueringsresultater brukes i styringen

Kunnskapsdepartementet har i en evaluering fått resultater om at deres styrings- og rapporteringsrutiner for underliggende virksomheter opplevdes som omfattende. Dette har resultert i at ledelsen i departementet har bestilt en egen evaluering for å konkretisere hvordan de kan og bør endre rapporteringen.

Les evalueringsrapporten “Rapportering til besvær?” (regjeringen.no)