Overweging 29 AI Act

id="rct_29">

(29)

AI-baserad manipulativ teknik kan användas för att övertyga personer att ägna sig åt oönskat beteende, eller för att vilseleda dem genom att driva dem till beslut på ett sätt som undergräver och försämrar deras autonomi, beslutsfattande och fria val. Utsläppandet på marknaden, ibruktagandet eller användningen av vissa AI-system med målet eller följden att det mänskliga beteendet väsentligt påverkas och som sannolikt kan medföra betydande skador, i synnerhet med tillräckligt betydande negativa konsekvenser för den fysiska eller psykiska hälsan eller ekonomiska intressen, är särskilt farliga och bör därför förbjudas. Sådana AI-system utnyttjar subliminala komponenter såsom ljud-, bild- och videostimuli som människor inte kan uppfatta, eftersom dessa stimuli ligger utanför människans uppfattningsförmåga, eller annan manipulativ eller vilseledande teknik som undergräver eller försämrar människors autonomi, beslutsfattande eller fria val på sätt där människor inte är medvetna om denna teknik, eller om de är medvetna om den, fortfarande kan vilseledas eller inte kan kontrollera eller stå emot den. Detta kan underlättas av till exempel maskin–hjärna-gränssnitt eller virtuell verklighet eftersom det möjliggör en högre grad av kontroll av vilka stimuli som personer utsätts för, i den mån som de väsentligt kan påverka deras beteende på ett betydande skadligt sätt. Dessutom kan AI-system också på annat sätt utnyttja sårbarheterna hos en person eller en viss grupp av personer på grund av ålder, funktionsnedsättning i den mening som avses i Europaparlamentets och rådets direktiv (EU) 2019/882 (16) eller en specifik social eller ekonomisk situation som sannolikt kommer att göra dessa personer mer sårbara för utnyttjande, såsom personer som lever i extrem fattigdom, etniska minoriteter eller religiösa minoriteter. Sådana AI-system kan släppas ut på marknaden, tas i bruk eller användas med målet eller verkan att väsentligt påverka en persons beteende och på ett sätt som orsakar eller med rimlig sannolikhet kommer att orsaka betydande skada för den personen eller en annan person eller grupper av personer, inbegripet skador som kan ackumuleras över tid, och bör därför förbjudas. Det är kanske inte möjligt att anta att det finns en avsikt att påverka beteendet, om påverkan beror på faktorer utanför AI-systemet som ligger utanför leverantörens eller tillhandahållarens kontroll, dvs. faktorer som kanske inte är rimligen förutsebara och därför inte kan begränsas av leverantören eller tillhandahållaren av AI-systemet. I alla händelser är det inte nödvändigt att leverantören eller tillhandahållaren har för avsikt att orsaka den betydande skadan, förutsatt att sådan skada beror på de manipulativa eller utnyttjande AI-baserade användningsområdena. Förbuden mot sådana AI-användningsområden kompletterar bestämmelserna i Europaparlamentets och rådets direktiv 2005/29/EG (17), särskilt att otillbörliga affärsmetoder som leder till ekonomisk eller finansiell skada för konsumenter är förbjudna under alla omständigheter, oavsett om de har införts genom AI-system eller på annat sätt. Förbuden mot manipulativa och utnyttjande användningsområden i denna förordning bör inte påverka lagliga användningsområden i samband med medicinsk behandling, såsom psykologisk behandling av en psykisk sjukdom eller fysisk rehabilitering, när denna användning sker i enlighet med tillämplig lag och tillämpliga medicinska normer, till exempel de enskilda personernas eller deras ombuds uttryckliga samtycke. Dessutom bör vanliga och legitima affärsmetoder, till exempel på reklamområdet, som är förenliga med tillämplig rätt inte i sig anses utgöra skadliga manipulativa AI-baserade metoder.