Recital 58 AI Act

id="rct_58">

(58)

Et andet område, hvor anvendelsen af AI-systemer kræver særlig opmærksomhed, er adgangen til og benyttelsen af visse væsentlige private og offentlige tjenester og de ydelser, der er nødvendige for, at mennesker kan deltage fuldt ud i samfundet eller forbedre deres levestandard. Navnlig er fysiske personer, der ansøger om eller modtager væsentlige offentlige bistandsydelser og -tjenester fra offentlige myndigheder, dvs. sundhedstjenester, socialsikringsydelser, sociale tjenester, der yder beskyttelse i tilfælde af barsel, sygdom, arbejdsulykker, afhængighed eller alderdom og tab af beskæftigelse samt social bistand og boligstøtte, typisk afhængige af sådanne ydelser og tjenester og befinder sig i en sårbar situation i forhold til de ansvarlige myndigheder. Hvis der anvendes AI-systemer til at afgøre, om der skal gives afslag på sådanne ydelser og tjenester, eller om de skal tildeles, nedsættes, tilbagekaldes eller kræves tilbagebetalt af myndighederne, herunder om modtagerne reelt er berettigede til disse ydelser eller tjenester, kan disse systemer have en betydelig indvirkning på menneskers livsgrundlag og kan krænke deres grundlæggende rettigheder såsom retten til social beskyttelse, ikkeforskelsbehandling, menneskelig værdighed eller adgang til effektive retsmidler, og de bør derfor klassificeres som højrisiko. Ikke desto mindre bør denne forordning ikke hindre udviklingen eller anvendelsen af innovative tilgange i den offentlige forvaltning, som står til at kunne drage fordel af en bredere anvendelse af AI-systemer, der er i overensstemmelse med reglerne og er sikre, forudsat at de ikke indebærer en høj risiko for juridiske og fysiske personer. Desuden bør AI-systemer, der anvendes til at evaluere fysiske personers kreditvurdering eller kreditværdighed, klassificeres som højrisiko-AI-systemer, da de afgør menneskers adgang til finansielle ressourcer eller væsentlige tjenester såsom bolig, elektricitet og telekommunikationstjenester. AI-systemer, der anvendes til disse formål, kan føre til forskelsbehandling mellem personer eller grupper og kan gøre historiske forskelsbehandlingsmønstre permanente, f.eks. på grundlag af racemæssig eller etnisk oprindelse, køn, handicap, alder eller seksuel orientering, eller være med til at skabe nye former for forskelsbehandlende virkning. AI-systemer, der er fastsat i EU-retten med henblik på at afsløre svig i forbindelse med tilbud af finansielle tjenesteydelser og for i tilsynsøjemed at beregne kreditinstitutters og forsikringsselskabers kapitalkrav, bør dog ikke betragtes som højrisiko i henhold til denne forordning. Desuden kan AI-systemer, der tilsigtes anvendt til risikovurdering og prisfastsættelse i forbindelse med fysiske personer for så vidt angår syge- og livsforsikring, også have en betydelig indvirkning på menneskers livsgrundlag og kan, hvis de ikke udformes, udvikles og anvendes behørigt, krænke deres grundlæggende rettigheder og have alvorlige konsekvenser for menneskers liv og sundhed, herunder økonomisk udstødelse og forskelsbehandling. Endelig bør AI-systemer, der anvendes til at vurdere og klassificere fysiske personers nødopkald eller til at udsende beredskabstjenester i nødsituationer eller til at tildele prioriteter i forbindelse hermed, herunder fra politi, brandmænd og lægehjælp, samt patientsorteringssystemer for førstehjælp, også klassificeres som højrisiko, da de træffer beslutninger i situationer, der er meget kritiske for menneskers liv og sundhed og for deres ejendom.