Definisjonen av et «KI-system»

Vilkåret «maskinbasert» viser til at KI-systemer utvikles med og kjører på datamaskiner, forstått som både maskinvare og programvare. Her markeres det at det skal være et beregningsdrevet system, ikke en menneskelig beslutningstaker. Retningslinjene presiserer at «maskinbasert» favner vidt. Nye typer beregningssystemer kan omfattes, så lenge de gir beregningskapasitet og systemfunksjonalitet. Dette bidrar til en teknologinøytral definisjon som ikke låser seg til én bestemt arkitektur eller KI-teknikk.

Vilkåret «konstruert for å operere med varierende grad av autonomi» innebærer at systemet skal være designet for å kunne utføre funksjoner med «en viss grad av uavhengighet» fra menneskelig involvering, og med evne til å operere uten menneskelig intervensjon, i det minste i noen situasjoner. Kommisjonen legger til grunn at dette ikke krever full autonomi. Definisjonen dekker et spekter fra mye til svært lite av menneskelig involvering.

Kommisjonen gjør samtidig en viktig avgrensning ved at henvisningen til «en viss grad av uavhengig handling» utelukker systemer som er konstruert til å operere utelukkende med full manuell, menneskelig involvering og intervensjon. Hvis systemet ikke kan generere noe «på egen hånd», men bare utfører handlinger som et menneske eksplisitt og løpende styrer manuelt, vil autonomi-vilkåret typisk ikke være oppfylt.

Retningslinjene knytter også autonomi tett til utleder-vilkåret («inferens»). Systemets evne til å utlede og generere output er en viktig forutsetning for at systemet i det hele tatt kan opptre autonomt. Et system som for eksempel er basert på menneskelig input og som produserer en anbefaling «på egen hånd», kan ha tilstrekkelig grad av uavhengig handling til å oppfylle autonomi-vilkåret.

Et praktisk poeng er at Kommisjonen omtaler autonomi som en nødvendig betingelse for å kvalifisere som KI-system etter definisjonen. Samtidig understrekes at autonomi handler om systemets evne til å interagere med omgivelsene, ikke om valg av bestemt teknikk som for eksempel maskinlæring eller modellarkitektur.

Vilkåret «vil kunne vise tilpasningsdyktighet etter idriftsetting» knytter seg til at systemets atferd kan endre seg gjennom bruk, slik at samme input kan gi andre resultater etter at systemet har tilpasset seg.

På engelsk er dette vilkåret formulert som «may exhibit adaptiveness after deployment». Det mest sentrale tolkningspunktet er imidlertid at «may» («vil kunne») gjør tilpasningsdyktighet til et moment som ikke må være oppfylt. Systemet kan være et KI-system etter artikkel 3 nr. 1 selv om det ikke lærer videre eller endrer seg etter idriftsetting. Kommisjonen sier uttrykkelig at tilpasningsevne etter idriftsetting ikke er en avgjørende betingelse for om definisjonen er oppfylt.

Dette er praktisk viktig fordi mange KI-løsninger er «låste» ved idriftsetting. Modellen trenes ferdig før lansering, og i drift oppdateres den bare ved kontrollerte versjonsendringer. Slike systemer kan likevel falle innenfor definisjonen dersom de øvrige vilkårene er oppfylt.

Definisjonen krever at systemet opererer «for eksplisitte eller implisitte mål». Retningslinjene krever at KI-systemer må være designet for å fungere etter ett eller flere mål, og at mål kan være enten eksplisitt definert eller implisitt definert.

Eksplisitte mål er direkte formulert av utvikleren og bygget inn i systemet som noe algoritmen skal optimalisere. For eksempel:

- Spamfilter for e-poster: Et maskinlæringssystem trenes til å klassifisere e-poster som spam eller ikke-spam. Målet er eksplisitt definert som å maksimere nøyaktigheten på klassifiseringen.

- Anbefalingssystem i nettbutikker: Et anbefalingssystem optimaliserer en funksjon som maksimerer sannsynligheten for at brukeren klikker på eller kjøper et produkt.

- Autonomt kjøretøy: Et kontrollsystem kan være programmert til å minimere avvik fra planlagt kjørebane, minimere kollisjonsrisiko eller minimere reisetid.

Implisitte mål er ikke direkte formulert, men kan utledes av hvordan systemet er trent eller hvilke data det er basert på. For eksempel:

- HR-verktøy: Et system som trenes på historiske ansettelsesdata kan implisitt lære å foretrekke kandidater med lignende bakgrunn som tidligere ansatte, selv om dette aldri var et eksplisitt mål.

- Kredittvurdering: Selv om målet eksplisitt er å forutsi tilbakebetalingsevne av lån, kan systemet implisitt lære mønstre i data som systematisk favoriserer bestemte geografiske områder eller sosioøkonomiske grupper.

- Sosiale medier: Et system kan være trent til å forutsi brukerengasjement basert på historisk adferd. Implisitt kan dette føre til at systemet prioriterer innhold som skaper sterke reaksjoner, fordi slikt innhold tidligere har generert høy interaksjon fra brukeren.

Kommisjonen presiserer også et skille som er nyttig å være klar over; systemets «mål» er interne i form av hva systemet søker å oppnå i sin oppgaveløsning, mens nøkkelbegrepet «tiltenkt formål» (intended purpose) er eksternt orientert og knytter seg til hva leverandøren mener systemet skal brukes til, jf. artikkel 3 nr. 12.

Det er også et vilkår at systemet utleder, ut fra inndataene det mottar, hvordan utdata skal genereres. Ifølge fortalepunkt 12 er evnen til å utlede et grunnleggende kjennetegn ved KI-systemer. Den skiller slike systemer fra tradisjonell programvare som kun følger forhåndsdefinerte regler fastsatt av mennesker.

Å «utlede» betyr i denne sammenhengen at systemet kan trekke slutninger eller identifisere mønstre i data for å produsere et resultat. Resultatet kan være for eksempel prediksjoner, anbefalinger, beslutninger eller generert innhold. Evnen til å utlede kan oppstå både når systemet bygges eller trenes, og når det brukes i praksis.

Kommisjonen fremhever i sine retningslinjer særlig to hovedtyper teknikker som gjør slik inferens mulig. Den første er maskinlæringsmetoder, der systemet lærer mønstre fra data for å oppnå bestemte mål. Den andre er logikk- og kunnskapsbaserte metoder, der systemet trekker slutninger basert på kunnskap.

Formålet med utleder-vilkåret er å avgrense KI-systemer fra enklere programvare. Systemer som kun utfører oppgaver etter faste regler eller eksplisitte instruksjoner definert av mennesker, uten å lære mønstre eller resonnere over data, vil normalt falle utenfor definisjonen av et KI-system.

Definisjonen nevner fire typer utdata som typisk kan genereres: prediksjoner, innhold, anbefalinger og beslutninger. Retningslinjene forklarer at disse kategoriene varierer i graden av menneskelig involvering, og at det nettopp er systemets evne til å generere slike utdata basert på input som er grunnleggende for hva KI-systemer gjør.

Det siste vilkåret i definisjonen er at output kan «påvirke fysiske eller virtuelle miljøer». Kommisjonen forklarer at dette skal understreke at KI-systemer ikke bare er passive, men kan ha reell påvirkning på miljøene de er satt inn i. «Fysiske miljøer» kan være konkrete objekter, for eksempel en robotarm, mens «virtuelle miljøer» omfatter for eksempel digitale rom og dataflyt. 

For eksempel kan anbefalinger påvirke et virtuelt miljø ved å styre hvilke brukere som ser hvilke tilbud, eller hvilke saker som prioriteres i et saksbehandlingssystem. Prediksjoner kan for eksempel påvirke et fysisk miljø dersom de inngår i styring eller et virtuelt miljø dersom de brukes til rangering eller tilgangskontroll i digitale tjenester. Retningslinjene fremhever nettopp at «påvirkning» kan arte seg på mange måter, og at avgrensningen i stor grad må gjøres med utgangspunkt i systemets konkrete funksjon.

Kommisjonen understreker også at retningslinjene ikke er bindende, og at det ikke finnes en «automatisk» klassifisering som alltid vil være riktig. Retningslinjene gir ikke en uttømmende liste over alle mulige KI-systemer, og hvert system må vurderes ut fra sine konkrete egenskaper.

Et typisk eksempel er skillet mellom KI-systemer og tradisjonell programvare. Kommisjonen beskriver «basic data processing» som systemer som følger forhåndsdefinerte, eksplisitte instruksjoner eller operasjoner, og som ikke har «learning, reasoning or modelling» på noe stadium i livsløpet. Slike systemer er typisk faste regelsett («hvis X, så Y») hvor resultatet i realiteten er eksplisitt forhåndsbestemt av menneskelig definerte regler og input, uten den inferensdimensjonen som definisjonen av KI-system krever.

Retningslinjene inneholder også eksempler på systemer som kan falle utenfor definisjonen selv om de i en vid forstand «beregner» eller «forutsier» noe. Et eksempel er det retningslinjene omtaler som «simple prediction systems», der ytelsen kan oppnås ved en «basic statistical learning rule», for eksempel å alltid predikere historisk gjennomsnitt. Kommisjonen begrunner dette med at slike løsninger fungerer som enkle benchmark-metoder og ikke representerer det som i fortale omtales som «inferens» som går utover grunnleggende databehandling.