Les techniques de manipulation basées sur l'IA peuvent être utilisées pour persuader les personnes d'adopter des comportements indésirables ou pour les tromper en les incitant à prendre des décisions d'une manière qui porte atteinte à leur autonomie, à leur processus décisionnel et à leur liberté de choix. La mise sur le marché, la mise en service ou l'utilisation de certains systèmes d'IA ayant pour objectif ou pour effet de fausser matériellement le comportement humain, de sorte que des dommages significatifs, notamment des dommages suffisamment importants pour la santé physique et psychologique ou les intérêts financiers, sont susceptibles de se produire, sont particulièrement dangereux et doivent donc être interdits. Ces systèmes d'IA déploient des composants subliminaux tels que des stimuli audio, image ou vidéo que les personnes ne peuvent pas percevoir, car ces stimuli échappent à la perception humaine, ou d'autres techniques de manipulation ou de tromperie qui subvertissent ou altèrent l'autonomie, la prise de décision ou le libre choix des personnes d'une manière telle que les personnes ne sont pas conscientes de ces techniques ou, lorsqu'elles en sont conscientes, peuvent encore être trompées ou ne sont pas en mesure de les contrôler ou de s'y opposer. Cela pourrait être facilité, par exemple, par les interfaces machine-cerveau ou la réalité virtuelle, car elles permettent de mieux contrôler les stimuli présentés aux personnes, dans la mesure où ils peuvent matériellement fausser leur comportement d'une manière significativement préjudiciable. En outre, les systèmes d'IA peuvent également exploiter d'une autre manière les vulnérabilités d'une personne ou d'un groupe spécifique de personnes en raison de leur âge, de leur handicap au sens de la directive (UE) 2019/882 du Parlement européen et du Conseil[16], ou d'une situation sociale ou économique spécifique susceptible de rendre ces personnes plus vulnérables à l'exploitation, telles que les personnes vivant dans l'extrême pauvreté, les minorités ethniques ou religieuses. Ces systèmes d'IA peuvent être mis sur le marché, mis en service ou utilisés dans le but ou avec pour effet de fausser de manière significative le comportement d'une personne et d'une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne, à une autre personne ou à des groupes de personnes, y compris des préjudices qui peuvent s'accumuler dans le temps et qui devraient donc être interdits. Il peut être impossible de supposer qu'il y a une intention de fausser le comportement lorsque la distorsion résulte de facteurs externes au système d'IA qui échappent au contrôle du fournisseur ou du déployeur, à savoir des facteurs qui peuvent ne pas être raisonnablement prévisibles et que le fournisseur ou le déployeur du système d'IA n'a donc pas la possibilité d'atténuer. En tout état de cause, il n'est pas nécessaire que le fournisseur ou le déployeur ait l'intention de causer un préjudice important, pour autant que ce préjudice résulte de pratiques de manipulation ou d'exploitation fondées sur l'IA. Les interdictions relatives à ces pratiques d'IA complètent les dispositions de la directive 2005/29/CE du Parlement européen et du Conseil[17], en particulier les pratiques commerciales déloyales entraînant des préjudices économiques ou financiers pour les consommateurs sont interdites en toutes circonstances, qu'elles soient mises en place par le biais de systèmes d'IA ou d'une autre manière. Les interdictions des pratiques de manipulation et d'exploitation prévues par le présent règlement ne devraient pas affecter les pratiques licites dans le cadre d'un traitement médical tel que le traitement psychologique d'une maladie mentale ou la réadaptation physique, lorsque ces pratiques sont mises en œuvre conformément à la législation et aux normes médicales applicables, par exemple le consentement explicite des personnes ou de leurs représentants légaux. En outre, les pratiques commerciales courantes et légitimes, par exemple dans le domaine de la publicité, qui sont conformes au droit applicable ne devraient pas, en elles-mêmes, être considérées comme constituant des pratiques manipulatrices nuisibles fondées sur l'IA.
[16] Directive (UE) 2019/882 du Parlement européen et du Conseil du 17 avril 2019 relative aux exigences d'accessibilité applicables aux produits et services (JO L 151 du 7.6.2019, p. 70).
[17] Directive 2005/29/CE du Parlement européen et du Conseil du 11 mai 2005 relative aux pratiques commerciales déloyales des entreprises vis-à-vis des consommateurs dans le marché intérieur et modifiant la directive 84/450/CEE du Conseil et les directives 97/7/CE, 98/27/CE et 2002/65/CE du Parlement européen et du Conseil et le règlement (CE) n° 2006/2004 du Parlement européen et du Conseil ("directive sur les pratiques commerciales déloyales") (JO L 149 du 11.6.2005, p. 22).