I datainnsamlingen har vi basert oss på intervjuer, spørreundersøkelse, og dokumentgjennomgang.
Avgrensninger
Oppdraget har et bredt mandat og omfattende problemstillinger. Vårt fokus og kjernen i mandatet er å evaluere VKM. I tråd med mandatet har vi også lagt særlig vekt på VKM sitt arbeid med risikovurderinger.
VKM berører organiseringen av hele matforvaltningen og deler av miljøforvaltningen i Norge, med mange aktører og interessenter, som i mindre grad er vektlagt i evalueringen.
Med utgangspunkt i problemstillingene bidro særlig de innledende intervjuene til å belyse hvilke temaer som var viktig for vår evaluering.
VKM gjennomfører risikovurderinger innen 13 ulike spesialiserte fagområder. Vi har ikke hatt mulighet eller forutsetning for å vurdere den vitenskapelige kvaliteten på de ulike risikovurderingene. Vår vurdering av kvalitet er basert på informasjon fra informanter som har forutsetninger for å vurdere den.
Vi har konsentrert oss om Mattilsynet og Miljødirektoratet som er VKM sine hovedoppdragsgivere.
Intervjuer
Intervjuer er hovedkilden for å belyse samtlige problemstillinger i undersøkelsen. Hovedvekten av intervjuene har ligget på hvordan VKM løser de nasjonale oppgavene og hva som er forbedringspotensialet. For alle problemstillingene er det viktig å få fram bredden i synspunkter og vurderinger. Samlet har vi gjennomført 43 intervjuer som etter vår vurdering har vært tilstrekkelig for å få nødvendig innsikt. Valg av informanter har vært basert på innspill og dialog med VKM og kontaktpersoner i departementene. I forkant av intervjuene utarbeidet vi intervjuguider som vi oversendte informantene i forkant.
Intervjuene er hovedsakelig gjennomført som enkeltintervjuer, men vi har gjennomført to gruppeintervjuer med nøkkelpersoner i hhv. Mattilsynet og Miljødirektoratet. Samlet har vi gjennomført 36 intervjuer med nøkkelpersoner i eierdepartementene, nøkkelpersoner i bestiller-direktoratene/myndighetene, ledergruppen i VKM, andre nøkkelpersoner med lang fartstid på feltet, kunnskapsinstitusjonene, forbrukerorganisasjoner og næringsorganisasjoner. I innspurtfasen har vi i tillegg hatt avklaringsrunder med departementene, Miljødirektoratet, Mattilsynet og VKM.
Matforvaltningen i Norge er et relativt lite fagmiljø, noe som innebærer at informantene har hatt ulike roller og funksjoner. Det innebærer at informantenes synspunkter er preget av at de har hatt ulike ståsteder og at de ikke nødvendigvis er bevisst sin rolle i intervjusituasjonen. Men bred bakgrunn og erfaring kan også styrke intervjudataene våre.
Vi har gjennomført 12 intervjuer med personer i VKM ved sekretariatet og komiteen. Videre er det gjennomført 10 intervjuer med myndighetene som bestiller risikovurderinger fra VKM. Myndighetene er Miljødirektoratet, Mattilsynet, Helsedirektoratet og Legemiddelverket. De fleste av intervjuene er gjennomført med Miljødirektoratet og Mattilsynet. Det er samlet gjennomført 9 intervjuer med kunnskapsinstitusjonene (NIBIO, NINA, VI, Artsdatabanken, FHI, UIO og HI) og 8 intervjuer med (Helse- og omsorgsdepartementet, Klima- og miljødepartementet, Nærings- og fiskeridepartementet og Landbruks- og matdepartementet).
For å fange opp synspunkter fra andre eksterne aktører, blant annet når det gjelder VKMs uavhengighet, har vi gjennomført intervjuer med Forbrukerrådet, Sjømat Norge og GMO-nettverket.
Spørreundersøkelse
I januar 2024 gjennomførte vi en spørreundersøkelse til alle medlemmer i faggruppene og ansatte i sekretariatet i siste to perioder. 187 fikk undersøkelsen og 126 svarte. Det gir en samlet svarprosent på 67. Svarprosenten for ansatte er 75 prosent og for medlemmer 66 prosent. Formålet med undersøkelsen er å måle respondentenes opplevelse av følgende temaer: faglig kvalitet, tverrfaglighet, faglig uavhengighet, arbeidssituasjonen, hvordan arbeidet fungerer internt i VKM og utviklingsbehov.
Datainnsamling internasjonalt
For å få innsikt i hvordan andre land har organisert seg, har vi gjennomført intervjuer og avholdt møter med virksomheter og nøkkelpersoner i Sverige og Danmark. I samråd med oppdragsgiver valgte vi ut Sverige og Danmark fordi de har andre og ulike måter å organisere seg på enn Norge. Vi har utover dette gjennomført 3 intervjuer med nøkkelpersoner i Nederland, Irland og Island for å få ytterligere innsikt i alternative måter å organisere seg på. Videre har vi gjennomført ett intervju med nøkkelperson i EFSA for å fange opp synspunkter på VKM sitt arbeid internasjonalt.
I Sverige har vi hatt samtaler med aktører som berører hele matkjeden og miljøområdet. Hos den svenske miljømyndigheten, Naturvårdsverket, fikk vi informasjon om CITES-arbeidet. Hos Statens Geotekniska institut, som er underlagt Klimat- og næringsdepartementet, fikk vi innsikt i tverrfaglige prosjekter på miljø, helse og mat. Vi møtte ikke ansvarlige for miljøområdet på departementsnivå. I Danmark har vi primært hatt samtaler med aktører som har oppgaver innenfor matkjeden og ikke miljøoppgaver ellers. Vår vurdering er at undersøkelsene likevel er relevante fordi de gir innsikt i hvordan man organiserer arbeidet med innhenting av uavhengig og tverrfaglig kunnskapsstøtte generelt.
Gjennomgang av relevante dokumenter
Vi har gjennomgått en rekke dokumenter som har bidratt til å belyse Matreformen i 2002, intensjonene ved å opprette VKM og hvordan VKM fungerer. Relevant dokumentasjon er stortingsdokumenter, tidligere evalueringer. VKM sin nettside har vært en særlig viktig kilde i dette arbeidet.
I tillegg har vi innhentet supplerende informasjon fra VKM som belyser årlig ressursbruk i perioden 2018 – 2023, oversikt over vitenskapelige vurderinger fra VKM i samme periode som
belyser antall vitenskapelige vurderinger, tverrfaglighet, kostnad, mv. VKM og andre informanter understreker at det er betydelig underrapportering av timebruk i prosjektarbeid hvor medlemmene av komiteene deltar. Vi understreker derfor at tall og anslag i tabeller og utregninger knyttet til prosjektarbeid må tolkes overordnet og noe varsomt. I tillegg har vi fått informasjon som i noen grad belyser VKMs dialog med oppdragsgiverne og hvordan det jobbes mer strategisk.
Referansegruppe
Vi etablerte en referansegruppe for prosjektet med representanter fra departementene (4), VKM (2), Mattilsynet (1), Miljødirektoratet (1), Direktoratet for medisinske produkter (2). Det overordnede formålet med referansegruppa har vært å forankre evalueringen hos berørte aktører og få faglige innspill og vurderinger underveis i arbeidet.
Det har vært gjennomført to referansegruppemøter, hhv. 15.november 2023 og 27. februar 2024. Innholdet i disse møtene har vært å gi en status i arbeidet når det gjelder aktiviteter som er gjennomført, presentere foreløpige funn og vurderinger, samt diskutere det som er lagt fram i gruppa. Vi har også benyttet referansegruppen til å få synspunkter på rapportutkast og avklaringsspørsmål i sluttfasen av arbeidet.
DFØ har forholdt seg til Helse- og omsorgsdepartementet som oppdragsgiver. Helse- og omsorgsdepartementet har sørget for nødvendig forankring hos de andre eierdepartementene underveis i arbeidet.