Kravene gjelder for hele livsløpet

De mest omfattende kravene i KI-forordningen pålegges bruk eller omsetning av KI-systemer med høy risiko, slik kravene står oppstilt i artikkel 9 til 15. Kravene gjelder for hele livsløpet til KI-systemet. For leverandøren betyr kravene i praksis at høyrisiko KI-systemer må behandles som et produkt som kan kontrolleres, ikke bare som en programvare som lanseres og «slippes fri». Leverandøren må etablere, dokumentere og vedlikeholde mekanismer som virker før KI-systemet bringes i omsetning og tas i bruk, og som fortsetter å fungere og oppdateres gjennom KI-systemets levetid.

Når det henvises til disse kravene samlet andre steder i KI-forordningen vises det gjerne til «kapittel III avsnitt 2» hvor kravene er inntatt. Kravene er formulert som krav til selve KI-systemet, mens forpliktelsene som gjelder for aktørene i KI-verdikjeden står i de påfølgende bestemmelsene i KI-forordningen.

Selv om kravene i artikkel 9 til 15 retter seg mot leverandøren, vil idriftsettere være avhengig av at leverandøren leverer et KI-system som faktisk kan brukes i samsvar med bruksanvisningen, at loggingen kan samles inn og tolkes, og at det er mulig å føre menneskelig tilsyn.

For KI-systemer som er integrert i produktene som er oppført i vedlegg I avsnitt A åpner KI-forordningen for at leverandører kan bygge videre på eksisterende prosedyrer for testing, dokumentasjon og samsvarsvurdering.

Les mer om forpliktelsene til leverandører av KI-systemer med hør risiko her: Forpliktelsene til leverandører av høyrisiko KI

Nærmere om kravene til KI-systemet

Risikohåndteringssystem (artikkel 9)

Ifølge artikkel 9 skal leverandøren etablere, gjennomføre, dokumentere og vedlikeholde et risikohåndteringssystem for høyrisiko KI-systemer. Risikohåndteringssystemet skal være en kontinuerlig, gjentatt prosess gjennom hele livssyklusen til KI-systemet. Dette er ikke ment som en engangsvurdering i forkant av lansering, men en kontroll av KI-systemet gjennom hele livsløpet: identifisering av risikoer, evaluering av risikoer, valg av risikoreduserende tiltak, testing, og løpende oppdatering basert på erfaring, herunder data fra overvåking etter omsetning, jf. artikkel 9 nr. 2 bokstav c og artikkel 72.

Risikohåndteringen omfatter både risiko ved tiltenkt bruk og risiko ved «rimelig forutsigbar feilbruk». Dette er et viktig punkt i praksis, fordi det presser leverandøren til å tenke gjennom realistiske avvik; feil inputdata, feil konfigurasjon og feil bemanning/kompetanse hos idriftsetter, jf. artikkel 9 nr. 2 bokstav b. Dette gjelder imidlertid kun «risikoene» til de som med rimelighet kan reduseres eller elimineres gjennom utvikling/utforming eller ved å gi adekvat teknisk informasjon.

Høyrisiko-KI skal også testes for å kunne iverksette målrettede risikoreduserende tiltak, og for å sikre konsistent ytelse for tiltenkt formål. Testing skal skje før KI-systemet bringes i omsetning eller tas i bruk, og være basert på klart definerte mål. Testing kan inkludere testing under virkelige forhold.

Når det gjelder sårbare grupper skal leverandøren under gjennomføring av risikohåndteringen vurdere om systemet sannsynligvis vil ha negativ innvirkning på personer under 18 år, og andre sårbare grupper, jf. artikkel 9 nr. 9. Dette er et viktig krav når høyrisiko KI brukes i tjenester rettet mot barn og unge.

Data og dataforvaltning (artikkel 10)

Høyrisiko KI-systemer som benytter teknikker som innebærer trening av KI-modeller med data skal utvikles på grunnlag av trenings-, validerings- og testdatasett som oppfyller kvalitetskriteriene i artikkel 10. Kravet omfatter både dataenes kvalitet og styringen av prosessene rundt dataene.

Kravet om dataforvaltnings- og datahåndteringsrutiner i artikkel 10 nr. 2 bokstav a-h er detaljert. Det omfatter blant annet relevante utformingsvalg, datainnsamlingsprosesser og opprinnelse, relevante dataoperasjoner (annotasjon/merking, rensing, oppdatering, berikelse og aggregering), antakelser om hva data representerer, vurdering av tilgjengelighet/mengde/egnethet, undersøkelser av skjevheter/diskrimineringsrisiko, tiltak for å påvise/forebygge/begrense skjevheter, og identifikasjon av datahull eller mangler som kan hindre etterlevelse.

Kvalitetskravene til datasettene er strenge, men anvendbare i praksis. Datasettene skal være relevante, tilstrekkelig representative og så vidt mulig feilfrie og fullstendige, i lys av tiltenkte formål. De skal ha passende statistiske egenskaper, også med hensyn til de personene eller gruppene systemet er ment å brukes på, jf. artikkel 10 nr. 3. I tillegg skal datasettene, i den grad formålet krever, ta hensyn til særtrekk ved de spesifikke geografiske, kontekstuelle, atferdsmessige eller funksjonelle omgivelsene KI-systemet skal virke i, jf. artikkel 10 nr. 4.

Teknisk dokumentasjon (artikkel 11)

Leverandøren skal utarbeide teknisk dokumentasjon før høyrisiko KI-systemer bringes i omsetning eller tas i bruk. Dokumentasjonen skal holdes oppdatert, jf. artikkel 11 nr. 1. Den skal vise at KI-systemet oppfyller kravene i KI-forordningen, og gi nasjonale myndigheter og meldte organer tilstrekkelig informasjon til å vurdere samsvar. Kort oppsummert skal dokumentasjonen minst omfatte (vedlegg IV, jf. artikkel 11 nr. 1):

1. Generell beskrivelse av systemet

2. Beskrivelse av utviklingen og oppbygningen av systemet

3. Informasjon om drift og ytelse

4. Begrunnelse for valgte ytelsesmål

5. Beskrivelse av risikohåndteringssystemet

6. Oversikt over endringer i systemet gjennom livssyklusen

7. Hvilke standarder som er brukt (eller andre tekniske løsninger for å oppfylle kravene)

8. EU-samsvarserklæring

9. Plan for oppfølging etter at systemet er tatt i bruk (post-market monitoring)

Mindre virksomheter kan ifølge artikkel 11 levere teknisk dokumentasjon i forenklet form. Dersom leverandøren velger forenklet fremgangsmåte, skal dette skjemaet brukes, jf. artikkel 11 nr. 1.

Artikkel 11 er tilpasset «dobbelregulering» for produkter under EU-regelverk som er opplistet i vedlegg I avsnitt A. For disse høyrisiko KI-systemene skal det utarbeides ett sett teknisk dokumentasjon som dekker både KI-forordningens krav og det aktuelle produktregelverkets dokumentasjonskrav, jf. artikkel 11 nr. 2.

Les mer om hvilke produkter dette er her: Risikokategoriene – hvilken risiko har ditt KI-system?

Dokumentasjonskravet er «dynamisk» ved at Kommisjonen kan endre vedlegg IV dersom den teknologiske utviklingen tilsier at dokumentasjonen må inneholde andre eller flere opplysninger for å være egnet til å gjennomgå en samsvarsvurdering, jf. artikkel 11 nr. 3 og artikkel 97.

Registrering og logging (artikkel 12)

Artikkel 12 handler om kontinuerlig hendelseslogging (record-keeping) som skal gi sporbarhet. Høyrisiko KI-systemer skal gjøre det teknisk mulig å automatisk registrere  hendelser i systemets levetid», jf. artikkel 12 nr. 1.

Loggfunksjonene må kunne registrere hendelser som er relevante for tre formål:

a) å påvise situasjoner som kan innebære at KI-systemet utgjør en risiko for menneskers helse, sikkerhet eller grunnleggende rettigheter eller at det har skjedd en «vesentlig endring», jf. artikkel 3 nr. 23

b) å lette overvåkingen etter omsetning, jf. artikkel 72

c) å overvåke driften av høyrisiko KI-systemer som omfattes av idriftsetters plikter, jf. artikkel 26 nr. 5

I praksis betyr dette at loggene må være «designbare». Både KI-systemets «tiltenkte formål» (definert i artikkel 3 nr. 12) og risiko bestemmer hva som er relevante hendelser, og som må dokumenteres som en del av etterlevelsen.

KI-systemer for biometrisk fjernidentifikasjon har egne minimumskrav til logging etter artikkel 12, vedlegg III nr. 1 bokstav a. Loggfunksjonen skal registrere tidsperiode for hver bruk, hvilken referansedatabase KI-systemet har kontrollert mot, hvilke inndata som ga treff, og identiteten til fysiske personer som deltar i kontroll av resultater, jf. artikkel 14 nr. 5.

Dette viser hvordan KI-forordningen knytter sporbarhet direkte til kontrollmekanismer som reduserer risiko for feilidentifikasjon og misbruk av KI-systemene.

Åpenhet og formidling av opplysninger til idriftsetter (artikkel 13)

Forholdet mellom leverandører og idriftsettere, og praktisk utforming av høyrisiko KI-systemer, er beskrevet i artikkel 13. Høyrisiko KI-systemer være utformet og utviklet slik at funksjonen er «tilstrekkelig åpen» til at idriftsettere kan tolke KI-systemets utdata og bruke dem på en hensiktsmessig måte.

KI-systemet skal også ha en bruksanvisning som inneholder relevant informasjon i et egnet digitalt format eller på annen måte, jf. artikkel 13 nr. 1 og 2. Informasjonen skal være fullstendig, korrekt og tydelig, og forståelig for idriftsettere, jf. artikkel 13 nr. 2. Dette innebærer at høyrisiko KI-systemer må designes transparent nok til at idriftsettere kan fortolke og anvende utdata, og at bruksanvisningen må dekke sentrale elementer som KI-systemets egenskaper og begrensninger.

Minimumsinnholdet som må med i bruksanvisningen fra leverandøren står i artikkel 13 nr. 3. Blant de viktigste er at leverandøren må beskrive:

  • systemets tiltenkte formål, samt ytelsesbegrensninger, herunder forventet nøyaktighet, robusthet og cybersikkerhet etter artikkel 15, og omstendigheter som kan påvirke disse
  • kjente/forutsigbare omstendigheter ved tiltenkt bruk og rimelig forutsigbar feilbruk som kan føre til risiko for helse, sikkerhet eller grunnleggende rettigheter
  • de tiltakene for menneskelig tilsyn som kreves etter artikkel 14, inkludert tekniske tiltak som støtter idriftsetters tolkning av utdata
  • mekanismer som gjør at idriftsetter kan samle inn, lagre og tolke logger korrekt

Menneskelig tilsyn (artikkel 14)

Høyrisiko KI-systemer skal ifølge artikkel 14 ikke operere helt på egenhånd. Det skal utformes og utvikles slik at det kan overvåkes effektivt av fysiske personer mens det er i bruk, jf. artikkel 14 nr. 1. Menneskelig tilsyn skal forebygge eller minimere risiko for helse, sikkerhet eller grunnleggende rettigheter ved tiltenkt bruk og rimelig forutsigbar feilbruk, jf. artikkel 14 nr. 2.

Tilsynstiltakene skal stå i forhold til risiko, grad av autonomi og brukskontekst, og kan realiseres både gjennom tiltak bygget inn i KI-systemet og gjennom tiltak som idriftsetter skal gjennomføre, jf. artikkel 14 nr. 3. Det betyr at leverandøren må designe for tilsyn og samtidig beskrive i bruksanvisningen hvilke organisatoriske tiltak idriftsetter må etablere for å få til reelt tilsyn med KI-systemet etter at det er satt i drift. 

Ifølge artikkel 14 nr. 4 bokstav a–e skal de som fører det menneskelige tilsynet kunne forstå funksjoner og begrensninger, overvåke drift og oppdage avvik, tolke utdata korrekt, velge å ikke bruke eller å overstyre/reversere utdata, gripe inn eller stoppe systemet, og gjøres bevisst på risikoen for såkalt automatiseringstendens (automation bias). Det siste betyr at mennesker har en tendens til å stole for mye på anbefalinger eller beslutninger fra automatiserte systemer, selv når systemet kan ta feil.

For visse biometriske identifikasjonssystemer er kravet skjerpet. Dersom høyrisiko KI-systemet faller inn under vedlegg III nr. 1 bokstav a, skal ingen tiltak/beslutninger treffes av idriftsetter basert på identifikasjonen, uten at identifikasjonen er separat verifisert og bekreftet av minst to fysiske personer med nødvendig kompetanse, opplæring og myndighet.

Kravet om en separat verifikasjon utført av minst to fysiske personer skal ikke gjelde for høyrisiko KI-systemer som brukes til formål knyttet til rettshåndhevelse, migrasjon, grensekontroll eller asyl, dersom dette er uforholdsmessig.

Nøyaktighet, robusthet og cybersikkerhet (artikkel 15)

Høyrisiko KI-systemer skal utformes og utvikles slik at systemet oppnår et passende nivå av nøyaktighet, robusthet og cybersikkerhet gjennom hele livssyklusen, jf. artikkel 15 nr. 1. Leverandøren må selv definere hva som er «passende nivå» for den konkrete bruken, vise hvordan nivået måles og opprettholdes, og oversette resultatene til informasjon idriftsettere kan bruke i tråd med kravene til bruksanvisning i artikkel 13. Kommisjonen skal i samarbeid med relevante aktører oppmuntre til utvikling av referanseverdier og målemetoder, jf. artikkel 15 nr. 2. Samtidig skal nøyaktighetsnivåer og relevante parametere angis i bruksanvisningen.

Robusthet betyr at KI-systemet eller miljøet det opererer i skal være motstandsdyktig mot feil, mangler, inkonsistenser og uventede situasjoner. Leverandøren skal iverksette både tekniske og organisatoriske tiltak. Robusthet kan oppnås gjennom redundansløsninger, inkludert reserve- eller feilsikringsplaner. KI-systemer som fortsetter å lære etter at de er tatt i bruk, skal utvikles slik at risiko for «feedback loops» (skjeve utdata som påvirker fremtidige input og dermed forsterker skjevheter) elimineres eller reduseres så langt som mulig, og håndteres gjennom å iverksette tiltak, jf. artikkel 15 nr. 4.

Cybersikkerhet er et selvstendig krav i artikkel 15. Høyrisiko KI-systemer skal være motstandsdyktig mot forsøk fra uautoriserte tredjeparter på å endre systemets bruk, utdata eller ytelse ved å utnytte sårbarheter, jf. artikkel 15 nr. 5. Bestemmelsen fremhever noen KI-spesifikke manipulasjonstyper som må adresseres:

  • manipulasjon av treningsdatasett (dataforgiftning)
  • manipulasjon av forhåndstrente komponenter (modellforgiftning)
  • manipulasjon av inndata som er utformet for å få KI-modellen til å gjøre feil
  • manipulasjon som fører til brudd på fortroligheten eller modellfeil

For høyrisiko KI-systemer som også er «produkter med digitale elementer» etter Cyber Resilience Act (CRA) er det etablert en kobling mellom regelverkene. Etter artikkel 12 nr. 1 i CRA skal slike KI-systemer anses å oppfylle cybersikkerhetskravet i artikkel 15 i KI-forordningen dersom det oppfyller de grunnleggende cybersikkerhetskravene i CRA vedlegg I. Dette må i så fall dokumenteres i EU-samsvarserklæringen. Regelen er ment å redusere dobbeltregulering ved at etterlevelse av CRA samtidig kan dokumentere oppfyllelse av KI-forordningens cybersikkerhetskrav.