Recital 59 AI Act

id="rct_59">

(59)

Tendo em conta o papel e a responsabilidade das autoridades responsáveis pela aplicação da lei, as suas ações que implicam certas utilizações dos sistemas de IA são caracterizadas por um grau substancial de desequilíbrio de poder e podem conduzir à vigilância, detenção ou privação da liberdade de uma pessoa singular, bem como ter outras repercussões negativas nos direitos fundamentais garantidos pela Carta. Em particular, se não for treinado com dados de alta qualidade, não cumprir os requisitos adequados em termos de desempenho, de exatidão ou solidez, ou não tiver sido devidamente concebido e testado antes de ser colocado no mercado ou em serviço, o sistema de IA pode selecionar pessoas de uma forma discriminatória, incorreta ou injusta. Além disso, o exercício de importantes direitos fundamentais processuais, como o direito à ação e a um tribunal imparcial, o direito à defesa e a presunção de inocência, pode ser prejudicado, em particular, se esses sistemas de IA não forem suficientemente transparentes, explicáveis e documentados. Como tal, é apropriado classificar como sendo de risco elevado, na medida em que a sua utilização seja permitida nos termos do direito da União e o direito nacional aplicáveis, vários sistemas de IA que se destinam a ser utilizados no contexto da aplicação da lei, no qual a exatidão, a fiabilidade e a transparência são particularmente importantes para evitar repercussões negativas, manter a confiança do público e assegurar a responsabilidade e vias de recurso eficazes. Tendo em conta a natureza das atividades e os riscos associados às mesmas, esses sistemas de IA de risco elevado deverão incluir, em particular, sistemas de IA concebidos para serem utilizados por autoridades responsáveis pela aplicação da lei ou por instituições, órgãos ou organismos da União, ou em seu nome, em apoio das autoridades responsáveis pela aplicação da lei para avaliar o risco de uma pessoa singular vir a ser vítima de infrações penais, como polígrafos e instrumentos semelhantes, para avaliar a fiabilidade dos elementos de prova no decurso da investigação ou da repressão de infrações penais, e, na medida em que tal não seja proibido nos termos do presente regulamento, para avaliar o risco de uma pessoa singular cometer uma infração ou reincidência não apenas com base na definição de perfis de pessoas singulares ou na avaliação os traços e características da personalidade ou do comportamento criminal passado de pessoas singulares ou grupos, para a definição de perfis no decurso da deteção, investigação ou repressão de infrações penais. Os sistemas de IA especificamente concebidos para serem utilizados em processos administrativos por autoridades fiscais e aduaneiras, bem como por unidades de informação financeira que desempenhem funções administrativas de análise de informações nos termos do direito da União em matéria de combate ao branqueamento de capitais, não deverão ser classificados como sistemas de IA de risco elevado utilizados por autoridades responsáveis pela aplicação da lei para efeitos de prevenção, deteção, investigação e repressão de infrações penais. A utilização de ferramentas de IA pelas autoridades responsáveis pela aplicação da lei e por outras autoridades pertinentes não deverá tornar-se um fator de desigualdade nem de exclusão. Não se deverá descurar o impacto da utilização de ferramentas de IA nos direitos de defesa dos suspeitos, nomeadamente a dificuldade de obter informações significativas sobre o funcionamento desses sistemas e a dificuldade daí resultante de contestar os seus resultados em tribunal, em particular quando se trate de pessoas singulares sob investigação.