Las técnicas de manipulación basadas en la IA pueden utilizarse para persuadir a las personas de que adopten comportamientos no deseados, o para engañarlas empujándolas a tomar decisiones que subviertan y menoscaben su autonomía, su capacidad de decisión y su libre elección. La comercialización, la puesta en servicio o el uso de determinados sistemas de IA con el objetivo o el efecto de distorsionar materialmente el comportamiento humano, mediante los cuales es probable que se produzcan daños significativos, en particular con repercusiones adversas suficientemente importantes en la salud física o psicológica o en los intereses financieros, son especialmente peligrosos y, por lo tanto, deben prohibirse. Tales sistemas de IA despliegan componentes subliminales, como estímulos de audio, imagen o vídeo que las personas no pueden percibir, ya que dichos estímulos están más allá de la percepción humana, u otras técnicas manipuladoras o engañosas que subvierten o menoscaban la autonomía, la toma de decisiones o la libre elección de las personas, de manera que las personas no son conscientes de dichas técnicas o, cuando son conscientes de ellas, aún pueden ser engañadas o no son capaces de controlarlas o resistirse a ellas. Esto podría verse facilitado, por ejemplo, por las interfaces máquina-cerebro o la realidad virtual, ya que permiten un mayor grado de control de los estímulos que se presentan a las personas, en la medida en que pueden distorsionar materialmente su comportamiento de forma significativamente perjudicial. Además, los sistemas de IA también pueden explotar de otro modo las vulnerabilidades de una persona o de un grupo específico de personas debido a su edad, discapacidad en el sentido de la Directiva (UE) 2019/882 del Parlamento Europeo y del Consejo[16], o una situación social o económica específica que probablemente haga que esas personas sean más vulnerables a la explotación, como las personas que viven en condiciones de extrema pobreza o las minorías étnicas o religiosas. Tales sistemas de IA pueden comercializarse, ponerse en servicio o utilizarse con el objetivo o el efecto de distorsionar materialmente el comportamiento de una persona y de una manera que cause o sea razonablemente probable que cause un daño significativo a esa u otra persona o grupos de personas, incluidos los daños que puedan acumularse a lo largo del tiempo y que, por lo tanto, deben prohibirse. Puede que no sea posible suponer que existe la intención de distorsionar el comportamiento cuando la distorsión se derive de factores externos al sistema de IA que estén fuera del control del proveedor o de quien lo implante, es decir, factores que pueden no ser razonablemente previsibles y que, por tanto, el proveedor o quien implante el sistema de IA no pueda mitigar. En cualquier caso, no es necesario que el proveedor o el implantador tengan la intención de causar un daño significativo, siempre que dicho daño se derive de las prácticas manipuladoras o explotadoras basadas en la IA. Las prohibiciones de tales prácticas de IA son complementarias de las disposiciones contenidas en la Directiva 2005/29/CE del Parlamento Europeo y del Consejo[17], en particular las prácticas comerciales desleales que conducen a perjuicios económicos o financieros para los consumidores están prohibidas en todas las circunstancias, independientemente de que se lleven a cabo a través de sistemas de IA o de otro modo. Las prohibiciones de prácticas manipuladoras y explotadoras del presente Reglamento no deben afectar a las prácticas lícitas en el contexto del tratamiento médico, como el tratamiento psicológico de una enfermedad mental o la rehabilitación física, cuando dichas prácticas se lleven a cabo de conformidad con la legislación y las normas médicas aplicables, por ejemplo el consentimiento explícito de las personas o de sus representantes legales. Además, las prácticas comerciales comunes y legítimas, por ejemplo en el ámbito de la publicidad, que se ajusten a la legislación aplicable no deben considerarse, en sí mismas, constitutivas de prácticas manipuladoras nocivas basadas en la IA.
[16] Directiva (UE) 2019/882 del Parlamento Europeo y del Consejo, de 17 de abril de 2019, relativa a los requisitos de accesibilidad de productos y servicios (DO L 151 de 7.6.2019, p. 70).
[17] Directiva 2005/29/CE del Parlamento Europeo y del Consejo, de 11 de mayo de 2005, relativa a las prácticas comerciales desleales de las empresas en sus relaciones con los consumidores en el mercado interior, que modifica la Directiva 84/450/CEE del Consejo, las Directivas 97/7/CE, 98/27/CE y 2002/65/CE del Parlamento Europeo y del Consejo y el Reglamento (CE) nº 2006/2004 del Parlamento Europeo y del Consejo ("Directiva sobre las prácticas comerciales desleales") (DO L 149 de 11.6.2005, p. 22).