2.1 Kort om KI-forordningen

KI-forordningen (“Artificial intelligence act») er et nytt regulatorisk rammeverk for kunstig intelligens som ble vedtatt våren 2024. Forordningen skal styrke EUs indre marked og fremme utvikling og bruk av kunstig intelligens som er menneskesentrert og pålitelig. Forordningen skal balansere innovasjon og mulige gevinster mot risikoer og mulige ulemper for grunnleggende rettigheter, jf. blant annet artikkel 1 og fortalens punkt 1-8.

Som et ledd i balanseringen av gevinster og risikoer har KI-forordningen en risikobasert tilnærming. Det stilles krav til systemer basert på den antatte risikoen de representerer.  Utgangspunktet er at KI-systemer er tillatt, med mindre risikoen er av en slik størrelse at den må begrenses eller ikke kan aksepteres. Systemer som innebærer en uakseptabel risiko er forbudt, mens systemer med høy risiko må oppfylle flere krav. Det er antatt at hovedvekten av KI-systemer vil falle utenfor KI-forordningen fordi de ikke vil være høy-risiko.³

Utover begrensningen av systemer med uakseptabel risiko og kravene til høy-risiko KI, er det krav til «transparens» i forordningens kapittel IV for visse KI-systemer, eksempelvis systemer som produserer «deepfakes». I tillegg er det krav til såkalte «General-purpose AI models» i forordningens kapittel V.

Som et EU-regelverk og knyttet til den risikobaserte tilnærmingen gir ikke KI-forordningen medlemsstatene adgang til å legge strengere begrensninger på KI-systemer enn det som ligger til grunn i forordningen, jf. fortalens punkt 1.

KI-forordningen gir ikke først og fremst rettigheter til individer som pliktsubjektene skal ivareta. Dette skiller KI-forordningen fra rettighetsbaserte regelverk som personvernforordningen. Selv om finnes noen mindre elementer av rettighetslovgivning i KI-forordningen, har forordningen en nokså klar innretning som et produktsikkerhetsregelverk. Forordningen likner på og skal sees i sammenheng med eksisterende produktsikkerhetsregelverk, spesielt markedstilsynsforordningen.⁴

Innretningen som produktsikkerhetsregelverk innebærer at forordningen stiller krav til KI-systemer som skal plasseres på det europeiske markedet. Hovedvekten av kravene i forordningen påhviler leverandøren av et KI-system, men også øvrige aktører i verdikjeden må ivareta ulike krav. Kravene skal hovedsakelig oppfylles under utviklingen av systemet før det tas i bruk, men noen regler gjelder også for bruken av systemet.  Kravene skal utdypes nærmere i tekniske standarder. EU-kommisjonen har gitt de europeiske standardiseringsorganisasjonene CEN-CENELEC i oppdrag å utarbeide standarder innen 2025.

KI-forordningen har flere tiltak for å sikre at forordningen etterleves i tråd med formålene. Håndheving av forordningen beskrives nærmere i neste punkt. Nært knyttet til dette er etableringen av regulatoriske sandkasser, jf. forordningens artikkel 57. Dette er et særskilt tiltak for å fremme innovasjon, jf. fortalepunkt 139. Det legges vekt på å lette byrden for små bedrifter ved å prioritere deres tilgang til sandkassene og i noen tilfeller redusere forventningene til de mest kostbare kravene, jf. artikkel 63 og fortalepunkt 146.

2.2 Håndheving av KI-forordningen

Utgangspunktet i det opprinnelige utkastet fra EU-kommisjonen var at det skulle være en sentral tilsynsmyndighet i hvert medlemsland og EU-kommisjonen opererte med en separat rolle som «national supervisory authority»⁵. Også EU-parlamentet hadde en rolle som «national supervisory authority» i sitt utkast.⁶ Rådets utkast hadde imidlertid ikke en slik separat rolle og la opp til større fleksibilitet.⁷ Den endelige vedtatte KI-forordningen har lagt seg på linje med Rådets utkast og har ingen rolle som «national supervisory authority». KI-forordningen legger dermed ikke opp til en sentral tilsynsmyndighet for medlemsland og benytter verken begrepet KI-tilsyn eller algoritmetilsyn.⁸

Det er derfor ikke en enkelt myndighet i medlemsstatene som skal ha ansvaret for håndheving av KI-forordningen. KI-forordningens utgangspunkt er nært tilknyttet eksisterende produktsikkerhetsregelverk og innebærer at det er flere myndigheter som skal ha roller etter KI-forordningen, og håndhevingen er fordelt på ulike sektorer. KI-forordningen har to sentrale deler knyttet til forvaltningsstruktur: (1) oppfølging på produktutviklingsstadiet og (2) overvåkning av markedet.

Den første delen gjelder utvikling av KI-produkter som skal slippes på EUs indremarked

Kravene i KI-forordningen avhenger av risikoen forbundet med produktet og utdypes gjennom standarder. For høyrisiko kunstig intelligens kreves en samsvarsvurdering for å sikre at systemene oppfyller forordningens krav og standardene som utfyller disse. En samsvarsvurdering dokumenterer at kravene er oppfylt, og systemet kan CE-merkes før det plasseres på markedet.

Normalt utfører utvikleren samsvarsvurderingen selv. For visse systemer kreves imidlertid en tredjepartsvurdering av tekniske kontrollorganer. Dette er som oftest kommersielle aktører som konkurrerer om å tilby samsvarsvurderingstjenester. Kontrollorganene blir godkjent som «notified body» av akkrediteringsorgan («notifying authority»). Akkrediteringsorganene er offentlige myndigheter som er ansvarlige for å sette opp og gjennomføre nødvendige prosedyrer for «the assessment, designation and notification of conformity assessment bodies and for their monitoring». Det fremgår av KI-forordningens artikkel 70 og 28 nr. 1 at det skal opprettes eller utpekes minst et akkrediteringsorgan. Se nærmere i vedlegg 2, punkt 1.3.

Den andre delen gjelder overvåking av KI-produkter på markedet

Overvåkning av KI-produkter på markedet innebærer å sikre riktig bruk, korrekt klassifisering og håndtering av endringer og nye risikoer. Den som har utviklet KI-systemet har ulike oppfølgingsplikter, men i tillegg skal det være flere «market surveillance authorities» som har ansvar for markedsovervåkning.

På et nasjonalt nivå skal det utpekes minst en markedsovervåkningsmyndighet, jf. forordningens artikkel 70 nr. 1. Forordningen legger imidlertid opp til at eksisterende tilsyn, spesielt for produktsikkerhetsregelverk, fortsetter som markedsovervåkningsmyndigheter for KI-produkter innenfor sine områder. Eksempler på slike myndigheter er Direktoratet for medisinske produkter, Arbeidstilsynet, Direktoratet for samfunnssikkerhet og beredskap og Nasjonal kommunikasjonsmyndighet (Nkom). Tilknytningen til eksisterende aktører skal sikre nødvendig kompetanse for å overvåke spesifikke sektorer, som medisinsk utstyr. Hvilke myndigheter dette er og den nærmere rekkevidden av oppgaver og roller for markedsovervåkningsmyndighetene, er behandlet i vedlegg 2 punkt 1.2.

For høyrisikosystemer som listet i forordningens Annex III, utpeker forordningen i begrenset grad markedsovervåkningsmyndigheter. Medlemsstatene må vurdere konkret hvordan disse områdene skal håndteres, se drøfting i vedlegg 2, punkt 1.2.1.

Samlet kalles markedsovervåkningsmyndighetene («market surveillance authorities») og akkrediteringsorgan («notifying authorities») for nasjonale kompetente myndigheter («national competent authorities»). Blant disse skal en markedsovervåkningsmyndighet utpekes som «single point of contact»: «Member States shall designate a market surveillance authority to act as the single point of contact for this Regulation” jf. artikkel 70 nr. 2.

Medlemsstatene har anledning til å fravike KI-forordningens løsning for håndheving. De vil kunne velge innretning på markedsovervåkningsmyndighetene og akkrediteringsorgan jf. blant annet artikkel 70 nr. 1, jf. artikkel 74 nr. 4,7 og nr. 8. Så fremt KI-forordningens utgangspunkt for håndheving ikke fravikes, vil imidlertid flere av rollene allerede være fastsatt og fordelt. Dermed må følgende aktører utpekes på et nasjonalt nivå:

• Koordinerende markedsovervåkningsmyndighet («Single Point of Contact»)
• Akkrediteringsorgan («Notifying authority»)
• Klageorgan⁹

I tillegg vil det være nødvendig å avklare hvilke myndigheter som skal være ansvarlig for markedsovervåkning av KI-systemene som er angitt KI-forordningens Annex III.

2.3 Krav med betydning for utpekingen av myndigheter som skal håndheve KI-forordningen

Utpekingen av myndigheter etter KI-forordningen må skje i tråd med kravene som KI-forordningen stiller, blant annet krav til organiseringen av «national competent authorities» i artikkel 70. For «notifying authorities» utdypes kravene i artikkel 28. For markeds-overvåkningsmyndighetene utdypes kravene i artikkel 74, og særlig i markedstilsyns-forordningen som gjelder for disse myndighetene.

Krav til uavhengighet

I vedlegg 2 punkt 1.4 er kravene til uavhengighet for de nasjonale kompetente myndighetene drøftet nærmere. Konklusjonen er at de aktuelle myndighetene må være tilstrekkelig uavhengige til at de kan handle helt fritt og vil være objektive i deres vurderinger og oppgaver. De innebærer at de må være skjermet fra instruksjoner og ekstern påvirkning. Tillegget «bias» i artikkel 70 tilsier at det ikke bare er formelle roller og bindinger, men også mer uformelle bindinger som kan lede til at myndigheten ikke er tilstrekkelig objektiv. Artikkel 70 har ingen tilleggsbegreper som «complete» eller mer utfyllende krav til uavhengighet. Dette tilsier at uavhengigheten er mer moderat enn for regelverk som har dette, eksempelvis personvernforordningen og EUs digitale tjenesteforordning (DSA).

KI-forordningens artikkel 70 peker ikke på hvilke bindinger det skal sikres uavhengighet fra. For akkrediteringsorganene følger det mer spesifikke krav til uavhengighet fra kontrollorganene i artikkel 28. Tilsvarende finnes ikke for markedsovervåkningsmyndighetene. I vedlegg 2 punkt 1.4.2 trekkes avhengighet til leverandører i et marked, politisk styring og andre visse særinteresser frem som mulige bindinger for markedsovervåkningsmyndigheter som kan treffes av kravet til uavhengighet i artikkel 70 nr. 1. Hvilken grad av uavhengighet som er nødvendig og fra hvem, vil imidlertid være en konkret vurdering av den aktuelle myndigheten.

Uavhengighetskravene i eksisterende produktsikkerhetsregelverk kan gi god veiledning på hvilken uavhengighet som er nødvendig i praksis. KI-forordningens artikkel 70 tilsvarer i stor grad krav i eksisterende produktsikkerhetsregelverk, slik som markedstilsynsforordningen artikkel 11. Direktoratet for medisinske produkter, Helsedirektoratet, Statens Vegvesen, Arbeidstilsynet og NKOM er alle eksempler på myndigheter som skal være underlagt de tilsvarende uavhengighetskravene etter markedstilsynsforordningens artikkel 11. Dermed uavhengighet som disse myndighetene har i dag være den samme som myndighetene må ha etter KI-forordningen.

Krav til kompetanse

Forordningen stiller krav til kompetansen som markedsovervåkningsmyndighetene må inneha. De er påkrevd å ha dyptgående kunnskap og ekspertise innen flere relevante felt, inkludert kunstig intelligens, databehandling, personvern, cybersikkerhet, grunnleggende rettigheter, samt risikoer knyttet til helse og sikkerhet jf. Artikkel 70 (3). I tillegg må de ha forståelse av relevante standarder og rettslige krav. Denne kompetansen skal vurderes og ved behov oppdateres årlig. 

Se drøfting av kompetanse i kapittel 4.2.1.

Krav om sandkasse

Hver medlemsstat er pålagt å sørge for at minst én kompetent myndighet oppretter en nasjonal sandkasse innen 24 måneder etter at forordningen er vedtatt. Hovedformålet med dette er å fremme innovasjon og avklare regulatoriske usikkerheter, som angitt i fortalepunkt 138 og 139. Dette kravet innebærer at minst én av de kompetente myndighetene må ha ressurser, infrastruktur og kompetanse til å tilby testing, veiledning og utprøving av innovative KI-løsninger.

«Notifying authority» og markedsovervåkningsmyndighet kan plasseres i samme organ

Det er mulig å plassere rollen som «notifying authority» (akkrediteringsorgan) i samme organ som en markedsovervåkningsmyndighet, jf. vedlegg 2, punkt 1.5.1.

«Notified bodies» som direkte utpekes i KI-forordningen og «notifying authorities» kan ikke plasseres i samme organ

For «notifying authorities» er kravene til uavhengighet utdypet i artikkel 28, og det er særlig viktig med uavhengighet av tredjeparts kontrollorganer («notified bodies»). Dette innebærer at roller som markedsovervåkningsmyndighet og akkrediteringsorgan ikke kan plasseres i samme virksomhet hvis markedsovervåkningsmyndigheten også skal fungere som tredjeparts kontrollorgan. Dette får betydning for markedsovervåkningsmyndighetene i henhold til artikkel 74 nr. 8, jf. artikkel 43 nr. 1 tredje ledd, jf. vedlegg 2, punkt 1.5.2.

Fotnoter

³En "Impact Assessment" av EU-kommisjonen i april 2021 anslo at 5-15% av KI-systemene i EU ville bli kategorisert som høyrisiko. Forskning fra appliedAI i 2022 viste at 33% av spurte oppstartsbedrifter ville klassifisere sine systemer som høyrisiko, mens 15% var usikre (se AI-Act-Impact-Survey_Report_Dec12.2022.pdf (frb.io)). En studie fra 2023 fant at 18% av over 100 KI-løsninger ble kategorisert som høyrisiko, og for rundt 40% var det uklart (se AI-Act-Risk-Classification-Study-appliedAI-March-2023.pdf (frb.io)). Dette kan indikere at andelen høyrisikosystemer kan være høyere enn tidligere antatt.

⁴Store deler av KI-forordningen er knyttet til elementer som er sentrale i eksisterende produktsikkerhetsregelverk, eksempelvis forordning 2017/745 «Medical Device Regulation». Disse elementene er blant annet bruk av tekniske standarder, «common specifications», «conformity assesments», «quality managment systems», «risk management systems», CE-merking, «market surveillance», «notified bodies» og registering i Europeiske databaser.

⁵Se blant annet kommisjonens forslag artikkel 59 nr. 2. EUR-Lex - 52021PC0206 - EN - EUR-Lex (europa.eu)

⁶TA (europa.eu)

⁷pdf (europa.eu) artikkel 59 nr. 2.

⁸Det har de siste årene vært snakk om KI-tilsyn og algoritmetilsyn blant politikere og samfunnsdebattanter, se eksempelvis Sak nr. 3 [10:56:53] - stortinget.no og Hvordan kan vi holde algoritmene i ørene? Forskningsmiljøer står klare til å hjelpe. (aftenposten.no). Også i forbindelse med KI-forordningen har enkelte benyttet begrepet KI-tilsyn, se eksempelvis Danskenes KI-tilsyn legges til Digitaliseringsstyrelsen - Digi.no - Nyhetsstudio. Det varierer trolig hva de ulike politikerne og samfunnsdebattantene legger i begrepet.

⁹KI-forordningen er taus om krav til andreinstans ved en eventuell klagebehandling. Heller ikke markedstilsynsforordningen sier noe om dette. Dette henger trolig sammen med at det er stor variasjon i forvaltningsstruktur på tvers i EU/EØS, eksempelvis har Frankrike, Italia, Tyskland, Østerrike og Sverige former for forvaltningsdomstoler, jf. blant annet https://e-justice.europa.eu/19/EN/national_specialised_courts?SPAIN&member=1