Recital 58 AI Act

id="rct_58">

(58)

Toinen osa-alue, jolla tekoälyjärjestelmien käyttöön on kiinnitettävä erityistä huomiota, on sellaisten olennaisten yksityisten ja julkisten palvelujen ja etujen saatavuus ja käyttö, joita ihmiset tarvitsevat voidakseen osallistua täysipainoisesti yhteiskuntaan tai parantaakseen elintasoaan. Erityisesti luonnolliset henkilöt, jotka hakevat tai saavat viranomaisilta olennaisia julkisen avun etuuksia ja palveluja, kuten terveydenhuoltopalveluja, sosiaaliturvaetuuksia, sosiaalipalveluja, joilla taataan suoja muun muassa raskauden ja synnytyksen aikana ja sairauden, työtapaturman, hoidon tarpeen ja vanhuuden varalta sekä työpaikan menetyksen yhteydessä, ja toimeentuloturvaa ja asumisen tukea, ovat yleensä riippuvaisia näistä etuuksista ja palveluista ja haavoittuvassa asemassa vastuuviranomaisiin nähden. Jos tekoälyjärjestelmiä käytetään sen määrittämiseen, olisiko viranomaisten myönnettävä tai evättävä tällaiset etuudet ja palvelut tai rajoitettava niitä, peruutettava ne tai perittävä ne takaisin, mukaan lukien se, onko edunsaajilla laillinen oikeus tällaisiin etuuksiin tai palveluihin, näillä järjestelmillä voi olla merkittävä vaikutus henkilöiden toimeentuloon ja ne voivat loukata heidän perusoikeuksiaan, kuten oikeutta sosiaaliseen suojeluun, syrjimättömyyteen, ihmisarvoon tai tehokkaisiin oikeussuojakeinoihin, ja ne olisi sen vuoksi luokiteltava suuririskisiksi. Tämä asetus ei kuitenkaan saisi haitata innovatiivisten lähestymistapojen kehittämistä ja käyttöä julkishallinnossa, sillä se hyötyisi vaatimustenmukaisten ja turvallisten tekoälyjärjestelmien laajemmasta käytöstä edellyttäen, että kyseisiin järjestelmiin ei liity suurta oikeushenkilöihin ja luonnollisiin henkilöihin kohdistuvaa riskiä.Lisäksi tekoälyjärjestelmät, joita käytetään arvioitaessa luonnollisten henkilöiden luottopisteytystä tai luottokelpoisuutta, olisi luokiteltava suuririskisiksi tekoälyjärjestelmiksi, koska ne määrittävät kyseisten henkilöiden mahdollisuuden saada taloudellisia resursseja tai olennaisia palveluja, kuten asumis-, sähkö- ja televiestintäpalveluja. Näihin tarkoituksiin käytetyt tekoälyjärjestelmät voivat johtaa henkilöiden tai henkilöryhmien syrjintään ja voivat pitää yllä historiallisia syrjinnän muotoja, jotka perustuvat esimerkiksi rotuun tai etniseen alkuperään, sukupuoleen, vammaisuuteen, ikään tai sukupuoliseen suuntautumiseen, tai luoda uusia syrjiviä vaikutuksia. Tekoälyjärjestelmiä, joista säädetään unionin oikeudessa rahoituspalvelujen tarjoamiseen liittyvien petosten havaitsemiseksi ja vakavaraisuussyistä luottolaitosten ja vakuutusyritysten pääomavaatimusten laskemiseksi, ei kuitenkaan pitäisi katsoa suuririskisiksi tämän asetuksen nojalla. Lisäksi tekoälyjärjestelmillä, joita on tarkoitus käyttää luonnollisia henkilöitä koskevaan riskiarviointiin ja hinnoitteluun sairaus- ja henkivakuutusten tapauksessa, voi myös olla merkittävä vaikutus henkilöiden toimeentuloon ja jos niitä ei ole asianmukaisesti suunniteltu, kehitetty ja käytetty, ne voivat loukata heidän perusoikeuksiaan sekä aiheuttaa vakavia seurauksia ihmisten elämälle ja terveydelle, mukaan lukien taloudellinen syrjäytyminen ja syrjintä. Myös tekoälyjärjestelmät, joita käytetään luonnollisten henkilöiden hätäpuhelujen arvioinnissa ja luokittelussa tai pelastus- ja ensihoitopalvelujen, mukaan lukien poliisi, palokunta ja lääkintäapu sekä kiireellistä ensihoitoa tarvitsevien potilaiden lajittelujärjestelmä, lähettämisessä tai tärkeysjärjestyksen määrittämisessä, olisi luokiteltava suuririskisiksi, koska ne tekevät päätöksiä tilanteissa, jotka ovat erittäin kriittisiä ihmisten hengen ja terveyden ja heidän omaisuutensa kannalta.