Sikre at KI-systemet er trygt

Leverandører av KI-systemer med høy risiko skal sikre at deres KI-systemer oppfyller systemkravene inntatt i KI-forordningens artikkel 9 til 15. Denne forpliktelsen følger av artikkel 16 bokstav a), og kravene til selve KI-systemet omfatter:

  • Risikohåndteringssystem (artikkel 9)
  • Data og dataforvaltning (artikkel 10)
  • Teknisk dokumentasjon (artikkel 11)
  • Registrering (artikkel 12)
  • Åpenhet og formidling av opplysninger til idriftsettere (artikkel 13)
  • Menneskelig tilsyn (artikkel 14)
  • Nøyaktighet, robusthet og cybersikkerhet (artikkel 15)

Les mer om krav til KI-systemer med høy risiko her: Krav til KI-systemer med høy risiko

Kvalitetstyringssystem

Leverandøren av et høyrisiko KI-system må etablere et internt kvalitetsstyringssystem som sikrer at alle krav i KI-forordningen blir ivaretatt. Regler, prosedyrer og instrukser skal dokumenteres i tråd med artikkel 17. Systemet skal blant annet inneholde et konsept for hvordan regulatoriske krav og prosedyrer for samsvarsvurdering skal etterleves. Dette har likhetstrekk med ISO-sertifiseringer i andre bransjer hvor man skal ha skriftlige rutiner, prosesser og retningslinjer for alt fra design og testing av algoritmen til håndtering av avvik. Samlet sett krever artikkel 16 et styringssystem som:

  • dekker hele livssyklusen til KI-systemet (design → utvikling → drift → tilsyn)
  • sikrer dokumentert etterlevelse
  • kobler tekniske, organisatoriske og juridiske tiltak
  • sørger for kontinuerlig forbedring

Kvalitetsstyringssystemet skal stå i forhold til virksomhetens art og størrelse. Dette innebærer at en tech-startup kan ha et enklere system enn en tech-gigant, men visse minimumskrav må oppfylles. Hvis leverandøren allerede er underlagt kvalitetssystemkrav fra annet harmonisert EU-regelverk (f.eks. forskrift om medisinsk utstyrs), kan disse samkjøres for å unngå dobbeltarbeid.

Kvalitetsstyringssystemet er en sentral del av risikohåndteringen. Leverandøren skal gjennomføre kontinuerlige risikovurderinger av KI-systemet gjennom hele dets livssyklus. Dette betyr identifisering av mulige farer (f.eks. feilklassifiseringer, bias, cybersikkerhetsbrudd), analyse av hvor alvorlige farene er og implementering av risikoreduserende tiltak.

Merking

Leverandører av KI-systemer med høy risiko skal angi sitt navn, registrerte foretaksnavn eller varemerke og kontaktadresse på selve KI-systemet, eller – dersom dette ikke er mulig – på emballasjen eller i medfølgende dokumentasjon, jf. artikkel 16 bokstav b.

Oppbevaring av dokumentasjon og loggdata

Følgende tekniske dokumentasjon skal etter artikkel 18 oppbevares i ti år fra tidspunktet for omsetning eller at KI-systemet tas i bruk:

  • dokumentasjon om kvalitetstyringssystemet
  • dokumentasjon om beslutninger og godkjente endringer av meldte organer
  • EU-samsvarserklæringen i henhold til artikkel 47

Automatisk genererte logger skal oppbevares i en periode på seks måneder i samsvar med artikkel 12 nr. 1, jf. artikkel 19.

Registrering av KI-systemet

Før KI-systemer med høy risiko som omfattes av vedlegg III (med unntak av punkt 2 om kritisk infrastruktur) omsettes eller tas i bruk, skal leverandøren registrere systemet i EU-databasen som nevnt i artikkel 71 i KI-forordningen, jf. artikkel 49 nr. 1.

I databasen legges inn nøkkelinfo om KI-systemet, herunder beskrivelse av systemet, og bruksområde, slik at offentligheten og myndigheter kan finne informasjon om KI-systemet. Dette øker sporbarhet og transparens.

Samarbeid med vedkommende myndigheter

Dersom tilsynsmyndighetene kommer med en anmodning skal leverandører av KI-systemer med høy risiko gi tilgang til all nødvendig informasjon og dokumentasjon, herunder automatisk genererte logger, dersom de har tilgang til disse, jf. artikkel 21.

Samsvarsvurdering, samsvarserklæring og CE-merking

Leverandører av KI-systemer med høy risiko skal sikre at det gjennomføres en samsvarsvurdering før et høyrisiko KI-system slippes på markedet, jf. artikkel 43. Denne samsvarsvurderingen kan enten gjennomføres ved internkontroll eller med involvering av et meldt organ (et uavhengig teknisk kontrollorgan), avhengig av det aktuelle KI-systemet.

For KI-systemer med høy risiko som er omfattet av vedlegg III nr. 2 til 8, skal leverandøren gjennomføre samsvarsvurdering ved bruk av internkontroll, slik denne prosedyren er beskrevet i vedlegg VI til KI-forordningen. Dette innebærer at vurderingen kan gjennomføres av leverandøren selv uten at det er nødvendig å involvere et meldt organ/teknisk kontrollorgan.

For KI-systemer med høy risiko som er regulert av harmonisert EU-regelverk listet i vedlegg I avsnitt A, skal leverandøren følge de etablerte prosedyrene for samsvarsvurdering som allerede er fastsatt i det gjeldende produktregelverket. Oppfyllelse av kravene i KI-forordningens artikkel 9 til 15 inngår da som en del av den samlede samsvarsvurderingen av produktet / KI-systemet.

Når samsvar er bekreftet skal leverandøren utstede en EU-samsvarserklæring for hvert KI-system med høy risiko i tråd med artikkel 47. Erklæringen skal være skriftlig, maskinlesbar og signert fysisk eller elektronisk. Den skal oppbevares og kunne gjøres tilgjengelig for nasjonale myndigheter i ti år etter at systemet er brakt i omsetning. Erklæringen skal tydelig angi hvilket KI-system den gjelder for, og bekrefte at systemet oppfyller kravene i KI-forordningen. Den skal inneholde de opplysningene som er angitt i vedlegg V, og være oversatt til et språk som er lett forståelig for myndighetene i de landene KI-systemet tilbys eller tas i bruk.

Når leverandøren utsteder EU-samsvarserklæringen innebærer dette at leverandøren tar fullt ansvar for at KI-systemet oppfyller alle gjeldende krav. Dersom KI-systemet også omfattes av annet EU-regelverk som krever samsvarserklæring, skal det utarbeides én samlet erklæring som dekker alle relevante regelverk. Denne må tydelig vise hvilke regelverk den gjelder for.

Leverandøren skal også CE-merke KI-systemer med høy risiko, jf. artikkel 48. For KI-systemer med høy risiko som leveres digitalt, kan CE-merkingen også gjøres digital. Dette forutsetter imidlertid at merkingen er lett tilgjengelig for brukeren, enten direkte gjennom grensesnittet som benyttes for å få tilgang til systemet, eller via en lett tilgjengelig maskinlesbar kode, som for eksempel en QR-kode, eller tilsvarende elektroniske løsninger. CE-merkingen skal uansett utformes og plasseres slik at den er synlig, lett leselig og slik at den ikke kan fjernes eller skjules. Dersom det ikke er mulig på en hensiktsmessig måte å påføre merkingen direkte på selve KI-systemet, skal den i stedet plasseres på emballasjen eller i medfølgende dokumentasjon.

Leverandørens plikt til å overvåke KI-systemet

Etter KI-forordningen artikkel 72 har leverandører av KI-systemer med høy risiko en plikt til å følge opp systemene også etter at de er brakt i omsetning eller tatt i bruk. Formålet er å sikre at KI-systemet fortsatt oppfyller kravene i regelverket gjennom hele sin levetid.

Leverandøren skal derfor etablere og dokumentere et system for overvåking etter omsetning. Systemet skal stå i forhold til KI-systemets art og risikonivå, og innebærer at leverandøren aktivt og systematisk samler inn og analyserer informasjon om hvordan KI-systemet fungerer i praksis. Slike data kan komme fra idriftsettere eller andre relevante kilder, og skal gjøre det mulig å vurdere om KI-systemet fortsatt oppfyller kravene til høyrisiko KI.

Plikt til å rapportere alvorlige hendelser til myndighetene

Dersom det oppstår en alvorlig hendelse knyttet til et KI-system med høy risiko som omsettes, skal leverandøren varsle den nasjonale markedstilsynsmyndigheten i landet der hendelsen fant sted, jf. artikkel 73. I Norge er dette Nasjonal kommunikasjonsmyndighet (Nkom).

Rapporteringsplikten inntrer når leverandøren har grunnlag for å mene at det er en sammenheng mellom KI-systemet og den alvorlige hendelsen. En «alvorlig hendelse» defineres i KI-forordningen artikkel 3 nr. 49 som situasjoner der et KI-system svikter eller fungerer feil på en måte som direkte eller indirekte fører til følgende:

  • dødsfall eller alvorlig helseskade
  • alvorlige og irreversible forstyrrelser i forvaltning eller drift av kritisk infrastruktur
  • brudd på EU-regler som skal beskytte grunnleggende rettigheter
  • alvorlig skade på eiendom eller miljøet

Rapporteringsplikten inntrer selv om man ikke er helt sikker på alvorlighetsgraden. Det er tilstrekkelig at det foreligger en rimelig sannsynlighet for en slik sammenheng. Når dette er avklart skal rapporteringen skje uten unødig opphold. Samtidig gjelder det en absolutt frist som krever at hendelsen uansett må rapporteres senest 15 dager etter at leverandøren, eller eventuelt idriftsetteren, ble kjent med den. I praksis betyr dette at virksomheten må ha rutiner som raskt fanger opp alvorlige hendelser, vurderer mulig årsakssammenheng og sikrer at rapportering skjer innen fristen.

Eventuell utpeking av autorisert representant

Før leverandører som er etablert utenfor EU/EØS tilbyr et KI-system med høy risiko i EU/EØS, må de utpeke en «autorisert representant» som er etablert innad i EU/EØS, jf. artikkel 22.

Leverandøren skal også sørge for at den autoriserte representanten har nødvendige fullmakter og praktiske forutsetninger for å utføre sine ansvarsoppgaver. Dette innebærer blant annet tilgang til relevant dokumentasjon og mulighet til å opptre på vegne av leverandøren overfor myndighetene.

Sikring av oppfyllelse av tilgjengelighetskrav

Leverandører skal sørge for at KI-systemer med høy risiko oppfyller tilgjengelighetskravene fastsatt i direktiv (EU) 2016/2102 og (EU) 2019/882. Dette innebærer blant annet at KI-systemet må utformes slik at det er tilgjengelig for flest mulig brukere, inkludert personer med ulike funksjonsvariasjoner.

I henhold til vedlegg I avsnitt I i direktiv (EU) 2019/882 gjelder dette særlig hvordan informasjon presenteres, og hvordan brukergrensesnitt og funksjonalitet er utformet. Videre gjelder det for tilknyttede støttetjenester, for eksempel brukerstøtte, kundesentre og lignende. Formålet er å sikre at KI-systemet kan brukes av flest mulig på en likeverdig og inkluderende måte.

Korrigerende tiltak ved manglende samsvar

Dersom en leverandør av et KI-system med høy risiko mener eller har grunn til å tro at et KI-system som allerede omsettes eller er tatt i bruk ikke oppfyller kravene i KI-forordningen, skal det iverksettes korrigerende tiltak uten opphold, jf. artikkel 20. Formålet er først og fremst å bringe KI-systemet i samsvar med regelverket.

Dersom et allerede levert KI-system trenger å oppdateres for fortsatt å være i samsvar, for eksempel ved nye risikovurderinger, må leverandøren sørge for slike oppdateringer og veilede idriftsettere i å implementere dem. Dersom dette ikke er tilstrekkelig eller mulig, kan de korrigerende tiltakene innebære at leverandøren må sørge for at KI-systemet trekkes tilbake fra markedet, deaktiveres eller tilbakekalles. Samtidig skal relevante aktører i verdikjeden varsles, herunder idriftsettere, distributører, importører og autoriserte representanter.

Dersom KI-systemet utgjør en risiko for menneskers helse, sikkerhet eller grunnleggende rettigheter i henhold til artikkel 79 nr. 1 skal leverandøren, eventuelt sammen med idriftsetteren, varsle markedstilsynsmyndighetene og eventuelt det meldte organet dersom dette også har vært involvert.

Forpliktelser på produsenter av produkter etter KI-forordningen

Når et KI-system med høy risiko inngår som en sikkerhetskomponent i et produkt som omfattes av det harmoniserte EU-regelverket i vedlegg I avsnitt A, anses produsenten av selve produktet som leverandør av KI-systemet, jf. artikkel 25 nr. 3.

Dette innebærer at produsenten får de samme forpliktelsene som en leverandør etter artikkel 16 i to situasjoner:

  • når KI-systemet omsettes sammen med produktet under produsentens navn eller varemerke
  • når KI-systemet tas i bruk etter at produktet er lansert på markedet, men fortsatt under produsentens navn eller varemerke

I praksis betyr dette at produsenten ikke bare har ansvar for selve produktet, men også fullt ansvar for at det integrerte KI-systemet oppfyller kravene i KI-forordningen, inkludert krav til blant annet risikostyring, dokumentasjon, samsvarsvurdering og oppfølging etter at systemet er tatt i bruk.