Overweging 58 AI Act

id="rct_58">

(58)

Ett annat område där användningen av AI-system förtjänar särskild vaksamhet är när det gäller tillgång till och åtnjutande av vissa väsentliga privata och offentliga tjänster och förmåner som är nödvändiga för att människor fullt ut ska kunna delta i samhället eller förbättra sin levnadsstandard. I synnerhet är fysiska personer som ansöker om eller får viktiga offentliga bidragsförmåner och tjänster från offentliga myndigheter, nämligen hälso- och sjukvårdstjänster, sociala trygghetsförmåner, sociala tjänster som tillhandahåller skydd i fall som moderskap, sjukdom, arbetsolyckor, vårdbehov eller ålderdom och arbetslöshet samt socialbidrag och bostadsbidrag, vanligtvis beroende av dessa förmåner och tjänster och befinner sig i en utsatt situation i förhållande till de ansvariga myndigheterna. Om AI-system används för att avgöra om sådana förmåner och tjänster ska beviljas, vägras, minskas, upphävas eller återkallas av myndigheterna, inbegripet huruvida mottagarna är legitimt berättigade till sådana förmåner eller tjänster, kan dessa system ha en betydande inverkan på personers försörjning och kan inkräkta på deras grundläggande rättigheter, såsom rätten till socialt skydd, icke-diskriminering, mänsklig värdighet eller ett effektivt rättsmedel och bör där klassificeras som AI-system med hög risk. Denna förordning bör dock inte hämma utvecklingen och användningen av innovativa metoder inom offentlig förvaltning, som kan gagnas av en bredare användning av säkra AI-system som uppfyller kraven, förutsatt att dessa system inte medför hög risk för juridiska och fysiska personer. Dessutom bör AI-system som används för att utvärdera fysiska personers kreditbetyg eller kreditvärdighet klassificeras som AI-system med hög risk, eftersom de avgör de berörda personernas tillgång till ekonomiska resurser eller väsentliga tjänster som bostad, el och telekommunikationstjänster. AI-system som används för dessa ändamål kan medföra diskriminering av personer eller grupper och kan reproducera sådana historiska diskrimineringsmönster som det som baseras på rasmässigt eller etniskt ursprung, kön, funktionsnedsättning, ålder eller sexuell läggning, eller skapa nya former av diskriminerande effekter. AI-system som föreskrivs i unionsrätten i syfte att upptäcka bedrägerier i samband med tillhandahållande av finansiella tjänster och för tillsynsändamål för att beräkna kreditinstituts och försäkringsföretags kapitalkrav bör dock inte betraktas som AI-system med hög risk enligt denna förordning. Vidare kan AI-system som är avsedda att användas för riskbedömning och prissättning när det gäller fysiska personer av sjuk- och livförsäkring också ha en betydande inverkan på människors försörjningsmöjligheter och kan, om de inte utformas, utvecklas och används på rätt sätt, inkräkta på deras grundläggande rättigheter och leda till allvarliga konsekvenser för människors liv och hälsa, inbegripet ekonomisk utestängning och diskriminering. Slutligen bör även AI-system som används för att utvärdera och klassificera nödsamtal från fysiska personer eller för att sända ut eller fastställa prioriteringsordning för utsändning av larmtjänster, inbegripet av polis, brandkår och sjukvård, samt av patientsorteringssystem för akutsjukvård klassificeras som AI-system med hög risk, eftersom dessa system fattar beslut i situationer som är mycket kritiska för personers liv, hälsa och egendom.