1. Die folgenden AI-Praktiken sind verboten:
(a) das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das unterschwellige Techniken, die sich dem Bewusstsein einer Person entziehen, oder absichtlich manipulative oder täuschende Techniken einsetzt, mit dem Ziel oder der Wirkung, das Verhalten einer Person oder einer Personengruppe dadurch wesentlich zu beeinflussen, dass ihre Fähigkeit, eine sachkundige Entscheidung zu treffen, spürbar beeinträchtigt wird, wodurch sie veranlasst wird, eine Entscheidung zu treffen, die sie andernfalls nicht getroffen hätte, und zwar in einer Weise, die dieser Person, einer anderen Person oder einer Personengruppe einen erheblichen Schaden zufügt oder mit großer Wahrscheinlichkeit zufügen wird;
(b) das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das die Schwächen einer natürlichen Person oder einer bestimmten Personengruppe aufgrund ihres Alters, einer Behinderung oder einer besonderen sozialen oder wirtschaftlichen Situation ausnutzt, mit dem Ziel oder der Wirkung, das Verhalten dieser Person oder einer Person, die dieser Gruppe angehört, in einer Weise wesentlich zu beeinflussen, die dieser Person oder einer anderen Person erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird;
(c) das Inverkehrbringen, die Inbetriebnahme oder der Einsatz von KI-Systemen zur Bewertung oder Klassifizierung natürlicher Personen oder Personengruppen über einen bestimmten Zeitraum hinweg auf der Grundlage ihres Sozialverhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher oder persönlichkeitsbezogener Merkmale, wobei die soziale Bewertung zu einem oder beiden der folgenden Punkte führt:
(i) Benachteiligung oder ungünstige Behandlung bestimmter natürlicher Personen oder Personengruppen in gesellschaftlichen Zusammenhängen, die nichts mit den Zusammenhängen zu tun haben, in denen die Daten ursprünglich erzeugt oder erhoben wurden;
(ii) Benachteiligung oder ungünstige Behandlung bestimmter natürlicher Personen oder Personengruppen, die ungerechtfertigt ist oder in keinem Verhältnis zu ihrem sozialen Verhalten oder dessen Schwere steht;
(d) das Inverkehrbringen, die Inbetriebnahme zu diesem speziellen Zweck oder die Verwendung eines KI-Systems für Risikobewertungen natürlicher Personen, um das Risiko, dass eine natürliche Person eine Straftat begeht, zu bewerten oder vorherzusagen, und zwar ausschließlich auf der Grundlage der Erstellung eines Profils einer natürlichen Person oder der Bewertung ihrer Persönlichkeitsmerkmale und Eigenschaften; dieses Verbot gilt nicht für KI-Systeme, die zur Unterstützung der menschlichen Bewertung der Beteiligung einer Person an einer kriminellen Tätigkeit verwendet werden, die bereits auf objektiven und überprüfbaren Fakten beruht, die unmittelbar mit einer kriminellen Tätigkeit in Verbindung stehen;
(e) das Inverkehrbringen, die Inbetriebnahme zu diesem speziellen Zweck oder die Verwendung von KI-Systemen, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsaufnahmen erstellen oder erweitern;
(f) das Inverkehrbringen, die Inbetriebnahme zu diesem speziellen Zweck oder die Verwendung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person in den Bereichen Arbeitsplatz und Bildungseinrichtungen, es sei denn, die Verwendung des KI-Systems soll aus medizinischen oder sicherheitstechnischen Gründen eingerichtet oder in Verkehr gebracht werden;
(g) das Inverkehrbringen, die Inbetriebnahme zu diesem speziellen Zweck oder die Verwendung biometrischer Kategorisierungssysteme, die einzelne natürliche Personen auf der Grundlage ihrer biometrischen Daten kategorisieren, um Rückschlüsse auf ihre Rasse, ihre politischen Meinungen, ihre Gewerkschaftszugehörigkeit, ihre religiösen oder philosophischen Überzeugungen, ihr Sexualleben oder ihre sexuelle Ausrichtung zu ziehen; dieses Verbot gilt nicht für die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze, wie etwa Bilder, auf der Grundlage biometrischer Daten oder die Kategorisierung biometrischer Daten im Bereich der Strafverfolgung;
(h) die Verwendung von biometrischen Echtzeit-Fernidentifizierungssystemen in öffentlich zugänglichen Räumen zu Zwecken der Strafverfolgung, es sei denn, eine solche Verwendung ist für eines der folgenden Ziele unbedingt erforderlich:
(i) die gezielte Suche nach bestimmten Opfern von Entführung, Menschenhandel oder sexueller Ausbeutung von Menschen sowie die Suche nach vermissten Personen;
(ii) die Abwehr einer konkreten, erheblichen und unmittelbaren Gefahr für das Leben oder die körperliche Sicherheit natürlicher Personen oder einer tatsächlichen und gegenwärtigen oder tatsächlichen und vorhersehbaren Gefahr eines Terroranschlags;
(iii) die Lokalisierung oder Identifizierung einer Person, die im Verdacht steht, eine Straftat begangen zu haben, zum Zwecke der Durchführung strafrechtlicher Ermittlungen oder der Strafverfolgung oder der Vollstreckung einer strafrechtlichen Sanktion für Straftaten nach Anhang II, die in dem betreffenden Mitgliedstaat mit einer Freiheitsstrafe oder einer freiheitsentziehenden Maßregel der Sicherung im Höchstmaß von mindestens vier Jahren bedroht sind. Unterabsatz 1 Buchstabe h gilt unbeschadet des Artikels 9 der Verordnung (EU) 2016/679 für die Verarbeitung biometrischer Daten zu anderen als Strafverfolgungszwecken.
2. Der Einsatz von biometrischen Fernidentifizierungssystemen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken für eines der in Absatz 1 Unterabsatz 1 Buchstabe h genannten Ziele darf nur für die in diesem Buchstaben genannten Zwecke eingesetzt werden, um die Identität der betreffenden Person zu bestätigen, wobei folgende Aspekte zu berücksichtigen sind
(a) die Art der Situation, die Anlass für den möglichen Einsatz ist, insbesondere die Schwere, die Wahrscheinlichkeit und das Ausmaß des Schadens, der entstehen würde, wenn das System nicht eingesetzt würde;
(b) die Folgen des Einsatzes des Systems für die Rechte und Freiheiten aller betroffenen Personen, insbesondere die Schwere, die Wahrscheinlichkeit und das Ausmaß dieser Folgen. Darüber hinaus müssen bei der Verwendung von biometrischen Echtzeit-Fernerkennungssystemen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken für eines der in Absatz 1 Unterabsatz 1 Buchstabe h dieses Artikels genannten Ziele die notwendigen und angemessenen Garantien und Bedingungen in Bezug auf die Verwendung im Einklang mit dem einzelstaatlichen Recht, das die Verwendung zulässt, eingehalten werden, insbesondere in Bezug auf die zeitlichen, geografischen und persönlichen Beschränkungen. Die Verwendung des biometrischen Echtzeit-Fernerkennungssystems in öffentlich zugänglichen Räumen ist nur zulässig, wenn die Strafverfolgungsbehörde eine Folgenabschätzung für die Grundrechte gemäß Artikel 27 durchgeführt und das System gemäß Artikel 49 in der EU-Datenbank registriert hat. In hinreichend begründeten dringenden Fällen kann jedoch mit dem Einsatz solcher Systeme ohne Registrierung in der EU-Datenbank begonnen werden, sofern die Registrierung ohne unangemessene Verzögerung abgeschlossen wird.
3. (3) Für die Zwecke des Absatzes 1 Unterabsatz 1 Buchstabe h und des Absatzes 2 bedarf jede Verwendung eines biometrischen Fernerkennungssystems in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken einer vorherigen Genehmigung, die von einer Justizbehörde oder einer unabhängigen Verwaltungsbehörde, deren Entscheidung für den Mitgliedstaat, in dem die Verwendung erfolgen soll, bindend ist, auf begründeten Antrag und nach Maßgabe der in Absatz 5 genannten einzelstaatlichen Rechtsvorschriften erteilt wird. In hinreichend begründeten dringenden Fällen kann jedoch mit der Verwendung eines solchen Systems ohne Genehmigung begonnen werden, sofern diese Genehmigung unverzüglich, spätestens jedoch innerhalb von 24 Stunden, beantragt wird. Wird die Genehmigung verweigert, so wird die Nutzung mit sofortiger Wirkung eingestellt, und alle Daten sowie die Ergebnisse und Ausgaben dieser Nutzung werden unverzüglich verworfen und gelöscht. Die zuständige Justizbehörde oder eine unabhängige Verwaltungsbehörde, deren Entscheidung verbindlich ist, erteilt die Genehmigung nur dann, wenn sie auf der Grundlage objektiver Beweise oder eindeutiger Anhaltspunkte, die ihr vorgelegt werden, davon überzeugt ist, dass die Verwendung des betreffenden biometrischen Echtzeit-Fernerkennungssystems für die Erreichung eines der in Absatz 1 Unterabsatz 1 Buchstabe h genannten Ziele, wie im Antrag angegeben, erforderlich und verhältnismäßig ist und insbesondere hinsichtlich des Zeitraums sowie des geografischen und persönlichen Anwendungsbereichs auf das unbedingt erforderliche Maß beschränkt bleibt. Bei der Entscheidung über das Ersuchen berücksichtigt diese Behörde die in Absatz 2 genannten Elemente. Eine Entscheidung, die sich rechtlich nachteilig auf eine Person auswirkt, darf nicht allein auf der Grundlage der Ergebnisse des biometrischen Echtzeit-Fernerkennungssystems getroffen werden.
4. Unbeschadet des Absatzes 3 ist jede Nutzung eines biometrischen Fernidentifizierungssystems in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken der zuständigen Marktaufsichtsbehörde und der nationalen Datenschutzbehörde gemäß den in Absatz 5 genannten nationalen Vorschriften zu melden. Die Meldung muss mindestens die in Absatz 6 genannten Informationen enthalten und darf keine sensiblen operativen Daten umfassen.
5. (5) Ein Mitgliedstaat kann beschließen, die Möglichkeit vorzusehen, die Verwendung von biometrischen Echtzeit-Fernerkennungssystemen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken innerhalb der in Absatz 1 Unterabsatz 1 Buchstabe h und in den Absätzen 2 und 3 genannten Grenzen und unter den dort genannten Bedingungen ganz oder teilweise zuzulassen. (4) Die betreffenden Mitgliedstaaten legen in ihrem innerstaatlichen Recht die erforderlichen detaillierten Vorschriften für die Beantragung, Erteilung und Ausübung sowie für die Überwachung und Berichterstattung im Zusammenhang mit den in Absatz 3 genannten Genehmigungen fest. In diesen Vorschriften wird auch festgelegt, für welche der in Absatz 1 Unterabsatz 1 Buchstabe h aufgeführten Ziele, einschließlich der in Buchstabe h Ziffer iii genannten Straftaten, die zuständigen Behörden ermächtigt werden können, diese Systeme für die Zwecke der Strafverfolgung zu nutzen. Die Mitgliedstaaten teilen der Kommission diese Vorschriften spätestens 30 Tage nach ihrem Erlass mit. Die Mitgliedstaaten können im Einklang mit dem Unionsrecht restriktivere Rechtsvorschriften für den Einsatz biometrischer Fernidentifizierungssysteme erlassen.
6. (6) Die nationalen Marktüberwachungsbehörden und die nationalen Datenschutzbehörden der Mitgliedstaaten, denen die Verwendung von biometrischen Fernerkennungssystemen in öffentlich zugänglichen Räumen in Echtzeit zu Strafverfolgungszwecken gemäß Absatz 4 gemeldet wurde, legen der Kommission jährliche Berichte über diese Verwendung vor. Zu diesem Zweck stellt die Kommission den Mitgliedstaaten und den nationalen Marktüberwachungs- und Datenschutzbehörden eine Vorlage zur Verfügung, die auch Informationen über die Anzahl der Entscheidungen der zuständigen Justizbehörden oder einer unabhängigen Verwaltungsbehörde, deren Entscheidung für Anträge auf Genehmigungen gemäß Absatz 3 verbindlich ist, und deren Ergebnis enthält.
7. (7) Die Kommission veröffentlicht jährliche Berichte über den Einsatz biometrischer Echtzeit-Fernerkennungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken auf der Grundlage aggregierter Daten in den Mitgliedstaaten auf der Grundlage der in Absatz 6 genannten Jahresberichte. Diese Jahresberichte enthalten keine sensiblen operativen Daten über die damit verbundenen Strafverfolgungsmaßnahmen.
8. Dieser Artikel berührt nicht die Verbote, die gelten, wenn eine AI-Praxis gegen anderes Unionsrecht verstößt.