Overweging 58 AI Act

id="rct_58">

(58)

Drugo področje, na katerem je treba posebno pozornost nameniti uporabi sistemov UI, je dostop do nekaterih bistvenih zasebnih in javnih storitev ter koristi, ki jih ljudje potrebujejo za polno udeležbo v družbi ali izboljšanje življenjskega standarda. Zlasti fizične osebe, ki zaprosijo za ali od javnih organov prejemajo bistvene ugodnosti in storitve javne pomoči, in sicer zdravstvene storitve, dajatve socialne varnosti, socialne storitve, ki zagotavljajo zaščito v primerih, kot so materinstvo, bolezen, nesreče pri delu, odvisnost ali starost ter izguba zaposlitve ter socialna in stanovanjska pomoč, so običajno odvisne od teh ugodnosti in storitev ter so v ranljivem položaju v odnosu do odgovornih organov. Če se sistemi UI uporabljajo za določanje, ali naj organi take ugodnosti in storitve odobrijo, zavrnejo, zmanjšajo, prekličejo ali zahtevajo povračilo, vključno s tem, ali so upravičenci legitimno upravičeni do takih ugodnosti ali storitev, lahko ti sistemi pomembno vplivajo na preživljanje oseb in kršijo njihove temeljne pravice, kot so pravica do socialne zaščite, nediskriminacije, človekovega dostojanstva ali učinkovitega pravnega sredstva, in bi zato morali biti opredeljeni kot visokotvegani sistemi UI. Kljub temu ta uredba ne bi smela ovirati razvoja in uporabe inovativnih pristopov v javni upravi, ki bi imela koristi od širše uporabe skladnih in varnih sistemov UI, če ti sistemi ne pomenijo visokega tveganja za pravne in fizične osebe. Poleg tega bi bilo treba sisteme UI, ki se uporabljajo za ocenjevanje kreditne ocene ali kreditne sposobnosti fizičnih oseb, razvrstiti kot visokotvegane sisteme UI, saj določajo dostop teh oseb do finančnih sredstev ali bistvenih storitev, kot so stanovanja, električna energija in telekomunikacijske storitve. Sistemi UI, ki se uporabljajo v te namene, lahko povzročijo diskriminacijo oseb ali skupin in ohranijo vzorce diskriminacije iz preteklosti, na primer na podlagi rasnega ali etničnega porekla, spola, invalidnosti, starosti ali spolne usmerjenosti, ali ustvarijo nove oblike diskriminatornih vplivov. Vendar sistemi UI, ki so v pravu Unije določeni za namene odkrivanja goljufij pri ponujanju finančnih storitev ter za bonitetne namene za izračun kapitalskih zahtev kreditnih institucij in zavarovalnic, na podlagi te uredbe ne bi smeli šteti za sisteme visokega tveganja. Poleg tega lahko sistemi UI, namenjeni za oceno tveganja in oblikovanje cen v zvezi s fizičnimi osebami za zdravstveno in življenjsko zavarovanje, tudi pomembno vplivajo na preživetje oseb in lahko, če niso ustrezno zasnovani, razviti in uporabljeni, kršijo njihove temeljne pravice in povzročijo resne posledice za življenje in zdravje ljudi, vključno s finančno izključenostjo in diskriminacijo. Poleg tega bi bilo treba sisteme UI, ki se uporabljajo za ocenjevanje in razvrščanje klicev v sili fizičnih oseb ali za pošiljanje ali določanje prednosti pri napotitvi služb za ukrepanje ob nesrečah, vključno s policijo, gasilci in medicinsko pomočjo, ter sistemih triaže pacientov v nujnem zdravstvenem varstvu, razvrstiti med sisteme visokega tveganja, saj sprejemajo odločitve v zelo kritičnih razmerah za življenje in zdravje oseb ter njihovo premoženje.