KI-gestützte manipulative Techniken können eingesetzt werden, um Personen zu unerwünschten Verhaltensweisen zu bewegen oder sie zu täuschen, indem sie zu Entscheidungen gedrängt werden, die ihre Autonomie, Entscheidungsfreiheit und freie Wahl untergraben und beeinträchtigen. Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung bestimmter KI-Systeme mit dem Ziel oder der Wirkung einer wesentlichen Beeinflussung des menschlichen Verhaltens, wodurch erhebliche Schäden, insbesondere mit hinreichend großen nachteiligen Auswirkungen auf die physische und psychische Gesundheit oder die finanziellen Interessen, entstehen können, sind besonders gefährlich und sollten daher verboten werden. Solche KI-Systeme verwenden unterschwellige Komponenten wie Audio-, Bild- oder Videostimuli, die von Menschen nicht wahrgenommen werden können, da sich diese Stimuli der menschlichen Wahrnehmung entziehen, oder andere manipulative oder täuschende Techniken, die die Autonomie, Entscheidungsfreiheit oder freie Wahl des Menschen in einer Weise untergraben oder beeinträchtigen, dass sich die Menschen dieser Techniken nicht bewusst sind oder, wenn sie sich ihrer bewusst sind, dennoch getäuscht werden können oder nicht in der Lage sind, sie zu kontrollieren oder ihnen zu widerstehen. Dies könnte beispielsweise durch maschinelle Gehirnschnittstellen oder die virtuelle Realität erleichtert werden, da sie ein höheres Maß an Kontrolle darüber ermöglichen, welche Reize dem Menschen präsentiert werden, sofern sie sein Verhalten in erheblichem Maße schädlich beeinflussen können. Darüber hinaus können KI-Systeme auch anderweitig die Schwächen einer Person oder einer bestimmten Personengruppe aufgrund ihres Alters, einer Behinderung im Sinne der Richtlinie (EU) 2019/882 des Europäischen Parlaments und des Rates[16] oder einer besonderen sozialen oder wirtschaftlichen Situation ausnutzen, die diese Personen für Ausbeutung anfälliger macht, wie etwa Personen, die in extremer Armut leben, oder ethnische oder religiöse Minderheiten. Solche KI-Systeme können mit dem Ziel oder der Wirkung in Verkehr gebracht, in Betrieb genommen oder verwendet werden, das Verhalten einer Person wesentlich zu beeinflussen, und zwar in einer Weise, die dieser oder einer anderen Person oder Personengruppe einen erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird, einschließlich Schäden, die sich im Laufe der Zeit akkumulieren können und daher verboten werden sollten. Unter Umständen kann nicht davon ausgegangen werden, dass die Absicht besteht, das Verhalten zu verzerren, wenn die Verzerrung auf Faktoren außerhalb des KI-Systems zurückzuführen ist, die sich der Kontrolle des Anbieters oder des Einführers entziehen, d. h. auf Faktoren, die möglicherweise nicht vernünftigerweise vorhersehbar sind und die der Anbieter oder der Einführer des KI-Systems daher nicht abmildern kann. In jedem Fall ist es nicht erforderlich, dass der Anbieter oder der Einsetzer die Absicht hat, einen erheblichen Schaden zu verursachen, sofern dieser Schaden aus den manipulativen oder ausbeuterischen KI-gestützten Praktiken resultiert. Die Verbote für solche KI-Praktiken ergänzen die Bestimmungen der Richtlinie 2005/29/EG des Europäischen Parlaments und des Rates[17], insbesondere sind unlautere Geschäftspraktiken, die den Verbrauchern wirtschaftlichen oder finanziellen Schaden zufügen, unter allen Umständen verboten, unabhängig davon, ob sie durch KI-Systeme oder auf andere Weise eingeführt werden. Die in dieser Verordnung enthaltenen Verbote manipulativer und ausbeuterischer Praktiken sollten rechtmäßige Praktiken im Rahmen medizinischer Behandlungen, wie z. B. die psychologische Behandlung einer psychischen Krankheit oder die körperliche Rehabilitation, nicht beeinträchtigen, wenn diese Praktiken im Einklang mit dem geltenden Recht und den medizinischen Standards durchgeführt werden, z. B. mit ausdrücklicher Zustimmung der Betroffenen oder ihrer gesetzlichen Vertreter. Darüber hinaus sollten übliche und rechtmäßige Geschäftspraktiken, z. B. im Bereich der Werbung, die mit dem geltenden Recht in Einklang stehen, nicht als schädliche manipulative KI-gestützte Praktiken angesehen werden.
[16] Richtlinie (EU) 2019/882 des Europäischen Parlaments und des Rates vom 17. April 2019 über die Anforderungen an die Barrierefreiheit von Produkten und Dienstleistungen (ABl. L 151 vom 7.6.2019, S. 70).
[17] Richtlinie 2005/29/EG des Europäischen Parlaments und des Rates vom 11. Mai 2005 über unlautere Geschäftspraktiken im binnenmarktinternen Geschäftsverkehr zwischen Unternehmen und Verbrauchern und zur Änderung der Richtlinie 84/450/EWG des Rates, der Richtlinien 97/7/EG, 98/27/EG und 2002/65/EG des Europäischen Parlaments und des Rates sowie der Verordnung (EG) Nr. 2006/2004 des Europäischen Parlaments und des Rates ("Richtlinie über unlautere Geschäftspraktiken") (ABl. L 149 vom 11.6.2005, S. 22).