Selv om mye av KI-forordningen regulerer leverandørene av KI-systemer har også de som setter KI-systemer med høy risiko i drift en del forpliktelser. Disse pliktene knytter seg først og fremst til hvordan KI-systemet brukes i praksis, og til forhold som virksomheten selv har kontroll over. Idriftsettere som er offentlige organer eller private virksomheter som utfører offentlige tjenester må i tillegg gjøre en vurdering av konsekvensene for grunnleggende rettigheter etter artikkel 27.

Bruke KI-systemet i tråd med bruksanvisning

Utgangspunktet er at idriftssetter skal etablere «egnede tekniske og organisatoriske tiltak» for å sikre at høyrisiko KI-systemet brukes i samsvar med bruksanvisningen som følger KI-systemet, jf. artikkel 26 nr. 1. Dette forutsetter at virksomheten faktisk bygger bruken på de forutsetningene leverandøren har beskrevet.

Blant annet må virksomheten etablere interne retningslinjer for hva KI-systemet kan brukes til, hvem som kan bruke det og når menneskelig overstyring skal skje. De må også dokumentere hvilke deler av prosessen som er automatisert og hvilke som forutsetter menneskelig vurdering.

Menneskelig tilsyn

Idriftssetter skal gi oppgaven med å føre såkalt «menneskelig tilsyn» til fysiske personer som har nødvendig kompetanse og myndighet til å utføre den. Dette henger sammen med at høyrisiko KI-systemer skal være utviklet slik at det er mulig å utføre effektivt menneskelig tilsyn. Idriftssetter har ansvaret for å sette kontrollen ut i livet ved den konkrete bruken.

Kontroll over inndata

Der idriftssetteren kontrollerer inndata til systemet, skal idriftssetter sikre at inndata er relevante og tilstrekkelig representative sett opp mot KI-systemets tiltenkte formål, jf. artikkel 26 nr. 4. I offentlig saksbehandling kan det for eksempel innebære å ha rutiner for å fange opp at data er ufullstendige før de brukes som beslutningsstøtte.

Overvåking og rapporteringsplikt

Idriftssetteren skal også overvåke KI-systemets drift, basert på bruksanvisningen, og informere leverandøren av KI-systemet der det er relevant. Dersom det skjer en alvorlig hendelse skal idriftssetteren umiddelbart informere leverandøren, og deretter importører eller distributører, og relevante markedstilsynsmyndigheter. En «alvorlig hendelse» kan være dødsfall eller alvorlig skade på mennesker, eiendom eller miljø.

Loggføring og oppbevaring

Idriftssetteren skal oppbevare automatisk genererte logger i en periode som avhenger av KI-systemets formål, og minst seks måneder, jf. artikkel 26 nr. 6. Finansinstitusjoner kan oppfylle loggkravet gjennom dokumentasjon som allerede oppbevares etter finansregelverk.

Strenge regler på arbeidsplassen

Før idriftssetting eller bruk av et høyrisiko KI-system på arbeidsplassen skal arbeidsgiveren informere de tillitsvalgte og de berørte arbeidstakerne om at de vil bli omfattet av bruken, jf. artikkel 26 nr. 7. Informasjonen skal gis i tråd med prosedyrene i norsk arbeidsliv for informasjon til arbeidstakere og tillitsvalgte.

I praksis bør dette ses i sammenheng med arbeidsrettslige drøftings- og informasjonskrav, og gjennomføres tidlig i prosessen, særlig der KI-systemet brukes til rekruttering, vurdering av ansatte og oppgavestyring.

Registreringsplikt for offentlige myndigheter

Offentlige myndigheter som setter et høyrisiko KI-system etter vedlegg III (unntatt nr. 2) i drift må overholde registreringsplikten i artikkel 49. Dersom slike idriftssettere oppdager at KI-systemet som de ønsker eller planlegger å bruke ikke er registrert i EU-databasen for høyrisiko KI-systemer, skal KI-systemet ikke brukes. Den offentlige myndigheten har i disse tilfellene også en plikt til å varsle leverandøren eller distributøren i tråd med artikkel 26.

Særlige krav for etterfølgende biometrisk fjernidentifikasjon i rettshåndhevelse

Når høyrisiko KI-systemer brukes til biometrisk fjernidentifikasjon i målrettet søk etter en person i en straffesak gjelder det særskilte krav. Idriftsetteren må som hovedregel innhente tillatelse på forhånd fra en domstol eller en uavhengig forvaltningsmyndighet som kan treffe bindende beslutninger og som er underlagt rettslig prøving.

I situasjoner der det foreligger særlig hast kan imidlertid KI-systemet tas i bruk uten forhåndstillatelse. I slike tilfeller må idriftsetteren anmode om godkjenning uten unødig opphold og senest innen 48 timer etter at bruken har startet. Dersom tillatelse ikke gis, må bruken opphøre og eventuelle resultater fra KI-systemet ikke benyttes videre.

Et unntak gjelder når systemet brukes til innledende identifikasjon av en potensiell mistenkt, forutsatt at identifikasjonen bygger på objektive og verifiserbare fakta som er direkte knyttet til den aktuelle straffbare handlingen. Dette innebærer at politiet i en tidlig fase av etterforskningen kan bruke KI-systemet til å sammenligne biometriske data for eksempel fra overvåkingsbilder med tilgjengelige databaser for å finne mulige treff.

For Norges del er det samtidig viktig å ta hensyn til avgrensningene i EØS-avtalen. Hvorvidt bestemmelser som knytter seg til rettshåndhevende myndigheters bruk av KI, herunder artikkel 26 nr. 10, faller innenfor eller utenfor EØS-avtalens virkeområde vil bli avklart i den pågående EØS-prosessen.

Informasjon ved beslutninger om enkeltpersoner

Idriftssetter av høyrisiko KI-systemer i vedlegg III som treffer eller støtter beslutninger om fysiske personer, skal informere de berørte personene ifølge artikkel 26 nr. 11.

Konsekvensanalyse om grunnleggende rettigheter etter artikkel 27

Artikkel 27 retter seg mot en avgrenset gruppe idriftsettere av høyrisiko KI-systemer som er forpliktet til å gjennomføre en såkalt «konsekvensanalyse for grunnleggende rettigheter» før KI-systemet tas i bruk. Dette kalles en «Fundamentet Rights Impact Assessment (FRIA)» på engelsk. Formålet er å identifisere og håndtere risikoer for personer som kan bli berørt av KI-systemet.

For det første omfatter plikten idriftsettere som er offentligrettslige organer, og private aktører som yter offentlige tjenester, når de tar i bruk høyrisiko KI-systemer som nevnt i vedlegg III, jf. artikkel 6 nr. 2. Det er gjort unntak for KI-systemer som er beregnet på å brukes som sikkerhetskomponenter i forvaltning og drift av kritisk infrastruktur, jf. vedlegg III nr. 2.

For det andre gjelder plikten alle idriftsettere av KI-systemer som omfattes av vedlegg III nr. 5 bokstav b) og c), det vil si KI-systemer som brukes til kredittvurdering og til risikovurdering og prissetting i livs- og helseforsikring, uavhengig av om aktøren er offentlig eller privat.

Konsekvensanalysen skal blant annet beskrive hvordan KI-systemet skal brukes i praksis, hvor ofte det vil bli brukt og hvilke personer eller grupper som kan bli påvirket av bruken. Videre skal idriftsetteren vurdere hvilke risikoer systemet kan innebære for disse personene, hvordan menneskelig tilsyn skal ivaretas, og hvilke tiltak som skal settes inn dersom risikoer oppstår. Analysen skal gjennomføres før første gangs bruk av KI-systemet, og oppdateres dersom forutsetningene endrer seg. Når analysen er gjennomført skal resultatet meldes til relevant markedstilsynsmyndighet.

KI-kontoret (AI Office) arbeider med å utarbeide retningslinjer med en tilhørende mal som kan brukes ved vurderingen av konsekvenser for grunnleggende rettigheter etter artikkel 27. Det forventes at denne vil bli publisert i løpet av 2026.

Dersom idriftsetteren/virksomheten allerede har gjennomført en personvernkonsekvensvurdering (Data Protection Impact Assessment – DPIA) etter GDPR artikkel 35 kan denne brukes som utgangspunkt. En DPIA er en vurdering som skal gjennomføres når en planlagt behandling av personopplysninger sannsynligvis vil medføre høy risiko for fysiske personers rettigheter og friheter.