Uakseptabel risiko – forbudte KI-praksiser

Noen KI-systemer anses å utgjøre en uakseptabel risiko for menneskerettigheter, sikkerhet eller andre grunnleggende verdier, og er derfor forbudt å utvikle og bruke i EU/EØS. De forbudte KI-praksisene er listet opp i KI-forordningen i artikkel 5. Begrunnelsen for disse forbudene er at skaden, og de etiske overtrampene ved å bruke disse KI-systemene, er så alvorlig at ingen risikoreduserende tiltak vil gjøre dem akseptable å bruke. Forbudene omfatter:

Manipulerende KI som utnytter oss

KI-systemer som bruker subliminale teknikker eller villedende manipulasjon for å påvirke folks atferd på måter som kan føre til betydelig skade. Dette inkluderer skjult påvirkning av underbevisstheten, som skjer så svakt eller så raskt at vi ikke er klar over at vi blir påvirket. Et eksempel kan være KI-basert reklame som blinker budskap så raskt at man ikke legger merke til det, men likevel blir påvirket.

Utnyttelse av sårbare grupper

KI som bevisst utnytter en persons eller gruppes sårbarhet, for eksempel alder, funksjonsnedsettelse eller livssituasjon, for å påvirke deres atferd på skadelige måter. Skaden kan være fysisk, psykisk eller økonomisk. Et eksempel på dette kan være et KI-leketøy som manipulerer barn til å utøve farlig adferd.

Sosial poengsetting («social scoring»)

KI-systemer som evaluerer eller klassifiserer mennesker eller grupper over tid, basert på deres oppførsel eller visse egenskaper eller trekk, og kan medføre skadelig eller ugunstig behandling, som ikke kan knyttes til sammenhengen dataene opprinnelig ble innsamlet for. Slike KI-systemer krenker menneskets verdighet og prinsippet om likebehandling, og EU vil forby at myndigheter eller private aktører innfører slike rangeringssystemer.

Forutseende politivirksomhet («predictive policing»)

KI som forsøker å forutsi sannsynligheten for at en person vil begå en straffbar handling, basert utelukkende på profilen til vedkommende, for eksempel personlighetstrekk, bakgrunn eller kjennetegn. Dette forbudet retter seg mot KI-systemer som kunne bli brukt til å “forhåndspågripe” personer basert utelukkende på en KI-analyse, fordi dette anses som uforenlig med våre europeiske rettsstatsprinsipper.

Masseinnsamling av ansikter

KI som brukes til å lage eller utvide databaser med ansiktsgjenkjenning ved masseskraping av bilder fra internett eller overvåkningskameraer. Dette forbudet ble tatt inn i KI-forordningen blant annet for å hindre praksisen med å samle inn millioner av ansiktsbilder uten samtykke. Slik massinnsamling av ansikter med bruk av KI er forbudt fordi det bidrar til en følelse av masseovervåkning og truer personvernet.

Følelsesgjenkjenning på arbeidsplasser og skoler

KI-systemer som tolker eller gjenkjenner en persons følelser på arbeidsplasser eller utdanningsinstitusjoner, basert på for eksempel ansiktsuttrykk, stemmebruk eller kroppsspråk. Det gjøres unntak for slike KI-systemer som kun brukes av medisinske grunner, for eksempel til diagnostikk eller behandling, eller i situasjoner der det er helt nødvendig for å ivareta sikkerheten.

Biometriske kategoriseringssystemer

KI-systemer som bruker biometri for å kategorisere fysiske personer ved bruk av biometriske data for å utlede opplysninger av sensitiv karakter som politisk oppfatning, medlemskap i fagforening, seksuell orientering, seksuelle forhold, rase samt filosofiske eller religiøse holdninger.

Kjernen i forbudet er å hindre at KI-systemer brukes til å profilere eller gruppere mennesker etter sensitive personopplysninger ved hjelp av biometriske kjennetegn. Slike KI-systemer anses å innebære en alvorlig risiko for diskriminering og inngrep i grunnleggende rettigheter.

Politiets bruk av biometrisk fjernidentifisering av personer i sanntid på offentlig sted

KI-systemer som benytter sanntids biometrisk fjernidentifikasjon i offentlig tilgjengelige områder for rettshåndhevelsesformål. Det gjøres unntak i tilfeller der bruken er godt begrunnet, forholdsmessig og strengt nødvendig. For eksempel:

  • Målrettet søk etter savnede personer, ofre for bortføring, menneskehandel eller seksuell utnyttelse
  • Forebygging av konkret og alvorlig trussel mot liv eller fysisk sikkerhet, herunder reell eller forutsigbar terrortrussel
  • Lokalisering eller identifisering av mistenkt person i forbindelse med etterforskning, straffeforfølgning eller soning for alvorlige lovbrudd

 

Høy risiko – strengt regulerte KI-systemer

De fleste kravene og forpliktelsene i KI-forordningen gjelder KI-systemer som blir plassert i kategorien høyrisiko etter artikkel 6. Disse KI-systemene utgjør en høy risiko fordi feil, skjevheter eller misbruk kan få alvorlige konsekvenser for enkeltpersoners liv, helse eller grunnleggende rettigheter. Den høye risikoen kan både knytte seg til sannsynligheten for at skadene vil oppstå og selve skadeomfanget.

KI-systemer med høy risiko er ikke forbudt i seg selv, men utvikling, omsetning og bruk er kun tillatt dersom KI-systemet oppfyller de strenge kravene i KI-forordningen. Her bygger KI-forordningen på de samme prinsippene som annet produktsikkerhetsregelverk. Hensikten er å sikre at de KI-systemene som kommer på markedet i EU/EØS er trygge å bruke.

KI-systemer med høy risiko er plassert i to ulike vedlegg (I og III) til KI-forordningen, avhengig av om KI-systemet er integrert i et sikkerhetskritisk produkt eller om KI-systemet skal benyttes innenfor bestemte samfunnskritiske bruksområder:

KI som sikkerhetskomponent i kritiske produkter (vedlegg I)

KI-systemet er selv et produkt eller er ment å utgjøre en sikkerhetskomponent i et produkt innenfor følgende områder regulert av den harmoniserte produktsikkerhetslovgivningen i EU/EØS. For eksempel et KI-system som fungerer som en sikkerhetskomponent i en heis, eller et KI-system som i seg selv utgjør et medisinsk utstyr.

I oversikten under er det vist til den norske forskriften som implementerer den aktuelle EU-rettsakten i norsk rett, mens i selve vedlegg I til KI-forordningen er det vist til EU-rettsakten (direktivet eller forordningen) som regulerer de ulike produktene.

Vedlegg I er delt i avsnitt A og avsnitt B, avhengig av om produktregelverket er basert på det rettslige rammeverket innen produktsikkerhet som kalles «New Legislative Framework» (NLF). For produktene som er opplistet i avsnitt A gjelder kravene og forpliktelsene i KI-forordningen direkte.

Avsnitt A – Liste over produktsikkerhetsregelverk som er basert på New Legislative Framwork

  • Maskiner - maskinforskriften (FOR-2009-05-20-544)
  • Leketøy - forskrift om sikkerhet ved leketøy (FOR‑2013‑07‑12‑881)
  • Fritidsfartøyer og vannscootere - forskrift om produksjon og omsetning av fritidsfartøy (FOR‑2016‑01‑15‑35)
  • Heiser og sikkerhetskomponenter - heisforskriften (FOR‑2017‑06‑21‑938)
  • Utstyr og sikringssystemer til bruk i eksplosjonsfarlige omgivelser (ATEX-utstyr) - forskrift om utstyr og sikkerhetssystem til bruk i eksplosjonsfarlig område (FOR‑2017‑11‑29‑1849)
  • Radioutstyr - EØS-forskrift om radioutstyr (FOR‑2016‑04‑15‑377)
  • Måleinstrumenter - forskrift om trykkpåkjent utstyr (FOR‑2017‑10‑10‑1631)
  • Taubaneanlegg - taubaneforskriften (FOR‑2017‑06‑21‑906)
  • Personlig verneutstyr - forskrift om PVU (FOR‑2018‑06‑22‑1019)
  • Gassapparater - forskrift om gassapparater (FOR‑2018‑06‑26‑1025)
  • Medisinsk utstyr – forskrift om medisinsk utstyr (FOR-2021-05-09-1476)
  • Medisinsk utstyr til in vitro-diagnostikk – under innføring i norsk rett med Legemiddelverket som ansvarlig myndighet for implementeringen


I tillegg inneholder KI-forordningen en liste over produkter i avsnitt B som også er høyrisiko KI-systemer, men som ikke er direkte underlagt kravene i KI-forordningen. Likevel vil kravene i KI-forordningen på et senere tidspunkt bli brukt til å presisere det spesifikke produktregelverket som gjelder for disse produktene. Det er foreløpig ikke kjent når dette vil skje, og det vil variere fra produkt til produkt.

Avsnitt B – Liste over produktsikkerhetsregelverk som ikke er basert på New Legislative Framework (NLF), men som likevel omfattes av harmoniserte produktsikkerhetskrav i EU/EØS

  • Sivil luftfartssikkerhet - forskrift om forebyggelse av anslag mot sikkerheten i luftfarten mv. (FOR-2011-03-01-214)
  • To- og trehjulede kjøretøy og quadricykler - forskrift om godkjenning av moped og motorsykkel (FOR-2016-06-01-560)
  • Landbruks- og skogsbruksutstyr - forskrift om godkjenning av traktor og tilhenger til traktor (FOR-2016-06-01-561)
  • Skipsutstyr - skipsutstyrsforskriften (FOR‑2016‑12‑22‑1844)
  • Jernbane systemets interoperabilitet - forskrift om samtrafikkevnen i jernbanesystemet (FOR-2021-09-09-2742)
  • Godkjenning av bil og tilhenger - forskrift om godkjenning av bil og tilhenger (FOR-2022-06-28-1233)
  • Generell kjøretøysikkerhet - under gjennomføring; foreslått implementert i kjøretøyforskriften (FOR-1994-10-04-918)
  • Felles luftfartsregler og droner - implementert i EØS; Luftfartstilsynet håndterer regelverket.


 

KI på samfunnskritiske bruksområder (vedlegg III)

Den andre gruppen av høyrisiko KI-systemer er opplistet i vedlegg III til KI-forordningen. Dette er KI-systemer som er ment å skulle brukes innenfor åtte samfunnskritiske bruksområder. Denne listen kan endre seg over tid, enten ved at bruksområder fjernes eller at nye kritiske bruksområder legges til høyrisikokategorien. I artikkel 7 har Kommisjonen fått hjemmel til å gjøre slike endringer med virkning for alle EUs medlemsland.

KI-systemene som er høyrisiko etter vedlegg III er «frittstående» i den forstand at de ikke er integrert i et fysisk produkt. Innenfor hvert samfunnskritiske bruksområde er angitt nærmere hvilke konkrete KI-systemer som skal defineres som høyrisiko etter vedlegg III:

1. Biometri

  • Fjernbaserte biometriske identifikasjonssystemer, med mindre KI-systemet kun benyttes til biometrisk verifisering og eneste formål er å bekrefte at en bestemt fysisk person er den som han eller hun utgir seg for å være
  • KI-systemer som benyttes til biometrisk kategorisering basert på sensitive eller beskyttede egenskaper
  • KI-systemer for følelsesgjenkjenning

2. Kritisk infrastruktur

  • KI-systemer ment brukt som sikkerhetskomponenter i forvaltning og drift av kritisk digital infrastruktur, veitrafikk eller i forsyning av vann, gass, varme eller elektrisitet

3. Utdanning og yrkesopplæring

  • KI-systemer for å bestemme opptak til eller fordeling av utdannings- og praksisplasser
  • KI-systemer for vurdering av læringsutbytte og karakterfastsetting
  • KI-systemer som brukes til å vurdere hvilket utdanningsnivå en person bør få tilgang til, innenfor utdannings- og yrkesopplæringsinstitusjoner på alle nivåer
  • KI-systemer for overvåking av elever eller studenter under prøver, inkludert for å avsløre juks

4. Sysselsetting, arbeidstakerforvaltning og tilgang til selvstendig næringsvirksomhet

  • - KI-systemer for rekruttering eller utvelgelse av kandidater
  • - KI-systemer som benyttes til å treffe beslutninger som påvirker vilkårene i arbeidsforhold, eller påvirker oppsigelser eller forfremmelser
  • - KI-systemer som benyttes til fordeling av arbeidsoppgaver eller overvåking og evaluering av arbeidstakere

5. Essensielle private og offentlige tjenester og ytelser

  • KI-systemer for vurdering av retten til, reduksjon av eller tilbakekall av grunnleggende offentlige ytelser og tjenester, herunder helsetjenester
  • KI-systemer for vurdering av kredittverdighet eller kredittscore for fysiske personer, med mindre KI-systemet brukes til å avdekke økonomisk bedrageri
  • KI-systemer for risikovurdering og prisfastsettelse innen livs- og helseforsikring
  • KI-systemer for vurdering av nødanrop, herunder til politi, brann- og helsevesenet
  • KI-systemer for å sende ut og prioritere bruken av nødetatenes ressurser
  • KI-systemer for pasientsortering ved behov for akutt førstehjelp

6. Rettshåndhevelse

  • KI-systemer som benyttes av rettshåndhevende myndigheter for å vurdere risikoen for at en fysisk person blir offer for kriminalitet
  • KI-systemer som benyttes som løgndetektor eller lignende verktøy av rettshåndhevende myndigheter, herunder politi og påtalemyndighet
  • KI-systemer som benyttes av rettshåndhevende myndigheter for å vurdere påliteligheten av bevis i forbindelse med etterforskning eller straffesaker
  • KI-systemer som benyttes av rettshåndhevende myndigheter som støtteverktøy for å vurdere eller forutsi risikoen for at en fysisk person begår straffbare handlinger
  • KI-systemer som benyttes av rettshåndhevende myndigheter for å vurdere tidligere kriminell atferd hos fysiske personer eller grupper
  • KI-systemer som benyttes av rettshåndhevende myndigheter til profilering av fysiske personer i forbindelse med avdekking, etterforskning eller straffeforfølgning av straffbare handlinger

7. Migrasjon, asyl og grensekontroll

  • KI-systemer som benyttes som løgndetektor eller lignende verktøy av offentlige myndigheter
  • KI-systemer som benyttes av offentlige myndigheter for å vurdere sikkerhetsrisiko, risiko for ulovlig innvandring eller helserisiko ved innreise
  • KI-systemer som benyttes av offentlige myndigheter for å bistå ved behandling av søknader om asyl, visum eller oppholdstillatelse, herunder tilhørende klager
  • KI-systemer som benyttes av offentlige myndigheter for å oppdage, gjenkjenne eller identifisere fysiske personer, med unntak av verifikasjon avreisedokumenter

8. Rettspleie og demokratiske prosesser

  • KI-systemer som benyttes av domstolene til å bistå i rettsanvendelse og tvisteløsning, herunder til å analysere og tolke faktum og anvende rettsregler på konkrete forhold
  • KI-systemer beregnet til å påvirke utfallet av valg eller folkeavstemninger, eller stemmegivningen til fysiske personer, med unntak av KI-systemer som kun benyttes til å støtte politiske kampanjer

 

KI-systemet omfattes dersom leverandøren har ment («intended to be used») at KI-systemet skal benyttes på en slik måte som er beskrevet i vedlegg III.

Selv om leverandøren ikke har ment at KI-systemet skal benyttes innenfor et høyrisiko bruksområde da det ble lansert, kan det i praksis likevel bli brukt av en idriftsetter innenfor et av bruksområdene. I slike tilfeller anses idriftsetteren som leverandør etter artikkel 25, og blir dermed ansvarlig for å oppfylle alle kravene som gjelder for høyrisiko KI-systemer.

Les mer om aktørene og rollene i KI-forordningen her: Aktørene i KI-forordningen – roller, forpliktelser og rettigheter

Høyrisiko KI-systemer er underlagt strenge regler som skal sikre de er trygge, pålitelige og i samsvar med grunnleggende rettigheter før de tas i bruk. Dette innebærer både forpliktelser på de ulike aktørene i KI-verdikjeden, og krav til selve KI-systemet. Les mer om kravene på vår side om dette: (lenke til artikkel om «Krav til KI-systemer med høy risiko»)

Viktig unntak fra høyrisiko-kategorien

Det finnes imidlertid nyanser og unntak fra kategoriseringen som høyrisiko. Dersom et KI-system på listen i vedlegg III likevel ikke medfører en betydelig risiko for skade på fysiske personers helse, sikkerhet eller grunnleggende rettigheter, kan leverandøren argumentere for at KI-systemet ikke skal anses som høyrisiko etter KI-forordningen. I så fall må leverandøren dokumentere dette før KI-systemet lanseres.

Unntaket kommer til anvendelse dersom minst ett av følgende vilkår i artikkel 6 nr. 3 er oppfylt:

  • KI-systemet er utviklet for å utføre en avgrenset, prosedyremessig oppgave,
  • KI-systemet er ment å forbedre resultatet av en tidligere gjennomført menneskelig aktivitet,
  • KI-systemer brukes til å analysere og avdekke mønstre i tidligere beslutninger, eller til å identifisere avvik fra slike mønstre, uten selv å ta eller styre beslutningen,
  • KI-systemet utfører en forberedende oppgave som inngår i en vurdering knyttet til bruksområdene i vedlegg III. 

Uavhengig av dette unntaket skal et KI-system som omfattes av vedlegg III alltid anses som høyrisiko dersom det benyttes til profilering av fysiske personer.

KI-systemer med «begrenset risiko»

Det neste nivået i «risikopyramiden» er KI-systemer med såkalt «begrenset risiko». Etter artikkel 50 pålegges leverandører og idriftsettere av slike KI-systemer særskilte krav til åpenhet og merking av KI-generert eller manipulert innhold. Dette er ikke en egen risikokategori, fordi reglene i artikkel 50 kan få anvendelse både på KI-systemer med høy risiko, og KI-systemer uten høy risiko. Bestemmelsen omfatter tre hovedtyper av KI-systemer:

KI-systemer som samhandler direkte med mennesker

Hvis en person ikke er klar over at de kommuniserer med en maskin i stedet for et annet menneske, så vil det kunne være skadelig eller villedende. Derfor krever artikkel 50 nr. 1 at leverandører skal sikre at KI-systemer som er utformet for direkte samhandling med fysiske personer skal identifisere seg som KI overfor brukeren. Unntak gjelder dersom dette er åpenbart for brukeren.

Et eksempel er samtaleroboter (chatbots) som må opplyse at “Jeg er en KI” eller lignende. Informasjonen skal utformes slik at også sårbare grupper som for eksempel barn eller funksjonshemmede forstår at det er et KI-system.

KI-systemer som er godkjent for bruk i arbeidet med å avdekke, forebygge, etterforske eller straffeforfølge straffbare forhold er unntatt fra denne forpliktelsen. 

KI-systemer for analyse av følelser eller biometriske kategoriseringer

Hvis noen utsettes for et KI-system som kategoriserer dem basert på biometri eller vurderer deres følelser skal idriftsetteren informere de om dette etter artikkel 50 nr. 3.

Dersom man for eksempel kommer inn i et rom der et kamera med KI analyserer om du er frustrert eller glad (emotion recognition) skal dette være skiltet. Det samme gjelder butikker som bruker KI for å kategorisere kundene i aldersgrupper via ansiktsanalyse.

Det gjelder unntak fra denne forpliktelsen dersom KI-systemet er godkjent ved lov for bruk i arbeidet med å avdekke, forebygge, etterforske eller straffeforfølge straffbare forhold.

KI-generert eller manipulert innhold («deepfakes»)

Leverandører av KI-systemer som kan lage tekst, bilder, lyd eller video som ligner på ekte innhold, må sørge for at dette er merket som KI-generert. Hensikten med kravene i artikkel 50 nr. 2 er å motvirke spredning av KI-generert innhold som folk tror er ekte. EU jobber med å utarbeide regler for god praksis (codes of practice) om hvordan dette kan gjøres, for eksempel med vannmerking, merking av metadata eller andre løsninger.


Denne forpliktelsen gjelder ikke i følgende tilfeller:

  • Når KI-systemet bare brukes som et enkelt hjelpeverktøy for redigering, for eksempel til å rette språk eller formatere tekst, og ikke endrer innholdet eller meningen i det som skrives
  • Når KI-systemet ikke i vesentlig grad påvirker eller omskriver det brukeren har lagt inn
  • Når KI-systemet er godkjent ved lov for bruk i arbeidet med å avdekke, forebygge, etterforske eller straffeforfølge straffbare forhold

Artikkel 50 pålegger både leverandører av KI-systemet forpliktelser om åpenhet og merking, men også idriftsettere må i flere tilfeller opplyse om at innholdet er KI-generert eller manipulert.

For KI-systemer som genererer eller manipulerer bilde-, lyd- eller videoinnhold som utgjør en dypforfalskning må idriftsettere opplyse om at innholdet er KI-generert eller manipulert, jf. artikkel 50 nr. 4 første ledd.

Samtidig vil man ikke kneble kunstnerisk bruk av KI. Hvis du lager en film der KI genererer spesialeffekter behøver du derfor ikke brennmerke hvert bilde med «KI». På samme måte er merking overflødig dersom man lager en parodi-video med deepfakes i et humorshow der det er åpenbart for publikum at det brukes KI. Derfor gjøres det unntak dersom innholdet inngår i et åpenbart kunstnerisk, kreativt, satirisk, fiktivt eller tilsvarende verk eller program. Da er forpliktelsen begrenset til å opplyse om at KI-generert eller manipulert innhold forekommer.

For KI-systemer som genererer eller manipulerer tekst som offentliggjøres for å informere allmennheten om saker av allmenn interesse skal idriftsetteren opplyse om at teksten er KI-generert eller manipulert, jf. artikkel 50 nr. 4 annet ledd. Dersom det KI-genererte innholdet er gjennomgått av mennesker eller har vært gjenstand for redaksjonell kontroll av noen med redaksjonelt ansvar for offentliggjøringen av innhold gjøres det unntak fra denne forpliktelsen.

På samme måte som for leverandører gjøres det også unntak fra forpliktelsene for idriftsettere i artikkel 50 nr. 4 dersom KI-systemet er godkjent ved lov for bruk i arbeidet med å avdekke, forebygge, etterforske eller straffeforfølge straffbare forhold.

Minimal eller ingen risiko – resten av KI-systemene

Alle KI-systemer som ikke faller i noen av kategoriene over regnes som KI-systemer med minimal eller ingen risiko. Dette utgjør antagelig det store flertallet av KI-systemer. For slike systemer stiller ikke KI-forordningen krav til verken tillatelser, samsvarsvurdering, merking eller annet. Disse kan fritt utvikles og tas i bruk, så lenge det skjer i tråd med annet teknologinøytralt regelverk.

Eksempler på KI-systemer med minimal eller ingen risiko kan for eksempel være KI-drevne stavekontroller, anbefalingsalgoritmer for musikk/film eller KI brukt i visse spill. Slike KI-systemer anses å ha så begrenset skadepotensial at spesifikk KI-regulering ikke er nødvendig. For mange virksomheter betyr dette at mange KI-verktøy de utvikler og tar i bruk ikke vil utløse juridiske plikter etter KI-forordningen. Alle bør likevel ha et bevisst forhold til etikk og mulige konsekvenser, og gjøre seg kjent med det som finnes av beste bransjepraksis.

Selv om det ikke er lovpålagte krav for KI-systemer med minimal eller ingen risiko, oppfordrer KI-forordningen likevel til frivillig selvregulering også for disse KI-systemene. I artikkel 95 står det at KI-kontoret (AI Office) skal oppmuntre til utarbeidelse av såkalte «frivillige adferdsregler» (codes of conduct) basert på bransjens beste KI-praksis. Disse adferdsreglene skal ha til hensikt å fremme frivillig anvendelse av de samme kravene som er obligatoriske for KI-systemer med høy risiko etter artikkel 9 til 15.