Inhaltsübersicht

Abschnitt 1: Einstufung von KI-Systemen als hochriskant

Artikel 6: Klassifizierungsregeln für KI-Systeme mit hohem Risiko

Artikel 7: Änderungen des Anhangs III

Abschnitt 2: Anforderungen an hochriskante KI-Systeme

Artikel 8: Erfüllung der Anforderungen

Artikel 9: Risikomanagementsystem

Artikel 10: Daten und Datenverwaltung

Artikel 11: Technische Dokumentation

Artikel 12: Aufbewahrung der Aufzeichnungen

Artikel 13: Transparenz und Bereitstellung von Informationen für Einsatzkräfte

Artikel 14: Menschliche Aufsichtsbehörden

Artikel 15: Genauigkeit, Robustheit und Cybersicherheit

Abschnitt 3: Verpflichtungen von Anbietern und Betreibern von KI-Systemen mit hohem Risiko und anderen Parteien

Artikel 16: Pflichten der Anbieter von KI-Systemen mit hohem Risiko

Artikel 17: Qualitätsmanagementsystem

Artikel 18: Führung der Dokumentation

Artikel 19: Automatisch erzeugte Protokolle

Artikel 20: Abhilfemaßnahmen und Informationspflicht

Artikel 21: Zusammenarbeit mit den zuständigen Behörden

Artikel 22: Bevollmächtigte Vertreter von Anbietern von KI-Systemen mit hohem Risikopotenzial

Artikel 23: Pflichten der Importeure

Artikel 24: Pflichten des Händlers

Artikel 25: Verantwortlichkeiten entlang der KI-Wertschöpfungskette

Artikel 26: Pflichten der Bereitsteller von KI-Systemen mit hohem Risiko

Artikel 27: Grundrechtliche Folgenabschätzung für hochriskante KI-Systeme

Abschnitt 4: Notifizierende Behörden und benannte Stellen

Artikel 28: Notifizierende Behörden

Artikel 29: Antrag einer Konformitätsbewertungsstelle auf Notifizierung

Artikel 30: Notifizierungsverfahren

Artikel 31: Anforderungen an die benannten Stellen

Artikel 32: Vermutung der Konformität mit den Anforderungen in Bezug auf benannte Stellen

Artikel 33: Zweigstellen und Unteraufträge durch benannte Stellen

Artikel 34: Operative Verpflichtungen der benannten Stellen

Artikel 35: Kennnummern und Verzeichnisse der im Rahmen dieser Verordnung benannten Stellen

Artikel 36: Änderungen der Notifizierungen

Artikel 37: Anfechtung der Zuständigkeit der benannten Stellen

Artikel 38: Koordinierung der benannten Stellen

Artikel 39: Konformitätsbewertungsstellen von Drittländern

Abschnitt 5: Normen, Konformitätsbewertung, Bescheinigungen, Registrierung

Artikel 40: Harmonisierte Normen und Normungsdokumente

Artikel 41: Gemeinsame Spezifikationen

Artikel 42: Vermutung der Konformität mit bestimmten Anforderungen

Artikel 43: Konformitätsbewertung

Artikel 44: Bescheinigungen

Artikel 45: Informationsverpflichtungen der benannten Stellen

Artikel 46: Ausnahmen vom Konformitätsbewertungsverfahren

Artikel 47: EU-Konformitätserklärung

Artikel 48: CE-Kennzeichnung

Artikel 49: Registrierung

Abschnitt 1: Überwachung nach dem Inverkehrbringen

Artikel 72: Überwachung nach dem Inverkehrbringen durch die Anbieter und Plan zur Überwachung nach dem Inverkehrbringen für KI-Systeme mit hohem Risiko

Abschnitt 2: Weitergabe von Informationen über schwerwiegende Zwischenfälle

Artikel 73: Meldung schwerwiegender Vorkommnisse

Abschnitt 3: Durchsetzung

Artikel 74: Marktüberwachung und Kontrolle von KI-Systemen auf dem Unionsmarkt

Artikel 75: Gegenseitige Unterstützung, Marktüberwachung und Kontrolle von KI-Systemen für allgemeine Zwecke

Artikel 76: Überwachung von Tests unter realen Bedingungen durch die Marktüberwachungsbehörden

Artikel 77: Befugnisse der Behörden zum Schutz der Grundrechte

Artikel 78: Vertraulichkeit

Artikel 79: Verfahren für den Umgang mit KI-Systemen, die ein Risiko auf nationaler Ebene darstellen

Artikel 80: Verfahren für den Umgang mit KI-Systemen, die vom Anbieter in Anwendung von Anhang III als nicht hochriskant eingestuft werden

Artikel 81: Schutzklauselverfahren der Union

Artikel 82: Konforme KI-Systeme, die ein Risiko darstellen

Artikel 83: Formale Nichteinhaltung

Artikel 84: Union AI Testing Support Structures

Abschnitt 4: Rechtsbehelfe

Artikel 85: Recht auf Einreichung einer Beschwerde bei einer Marktaufsichtsbehörde

Artikel 86: Das Recht auf Erläuterung der individuellen Entscheidungsfindung

Artikel 87: Meldung von Verstößen und Schutz der meldenden Personen

Abschnitt 5: Beaufsichtigung, Untersuchung, Durchsetzung und Überwachung in Bezug auf Anbieter von KI-Modellen für allgemeine Zwecke

Artikel 88: Durchsetzung der Verpflichtungen von Anbietern von KI-Modellen für allgemeine Zwecke

Artikel 89 : Überwachungsmaßnahmen

Artikel 90: Warnungen vor systemischen Risiken durch das Wissenschaftliche Gremium

Artikel 91: Befugnis zur Anforderung von Unterlagen und Informationen

Artikel 92: Befugnis zur Durchführung von Evaluierungen

Artikel 93: Befugnis, Maßnahmen zu beantragen

Artikel 94: Verfahrensrechte der Wirtschaftsbeteiligten des AI-Modells für allgemeine Zwecke

Erwägungsgründe

Anhänge

Suche innerhalb des Gesetzes

Artikel 5: Verbotene Praktiken der künstlichen Intelligenz

Zusammenfassung

Das EU-KI-Gesetz verbietet bestimmte Anwendungen von künstlicher Intelligenz (KI). Dazu gehören KI-Systeme, die die Entscheidungen von Menschen manipulieren oder ihre Schwachstellen ausnutzen, Systeme, die Menschen auf der Grundlage ihres Sozialverhaltens oder ihrer persönlichen Eigenschaften bewerten oder klassifizieren, sowie Systeme, die das Risiko einer Person, eine Straftat zu begehen, vorhersagen. Das Gesetz verbietet auch KI-Systeme, die Gesichtsbilder aus dem Internet oder aus Videoüberwachungsanlagen auslesen, auf Emotionen am Arbeitsplatz oder in Bildungseinrichtungen schließen und Menschen auf der Grundlage ihrer biometrischen Daten kategorisieren. Allerdings werden einige Ausnahmen für Strafverfolgungszwecke gemacht, etwa bei der Suche nach vermissten Personen oder der Verhinderung von Terroranschlägen.

Generiert von CLaiRK, bearbeitet von uns.

HINWEIS: Diese Übersetzung ist eine maschinell erstellte Übersetzung. Es handelt sich nicht um die offizielle Übersetzung, die vom Europäischen Parlament bereitgestellt wird. Wenn das AI-Gesetz im Amtsblatt veröffentlicht wird, werden die maschinell erstellten Übersetzungen durch die offiziellen Übersetzungen ersetzt.

1. Die folgenden AI-Praktiken sind verboten:

(a) das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das unterschwellige Techniken, die sich dem Bewusstsein einer Person entziehen, oder absichtlich manipulative oder täuschende Techniken einsetzt, mit dem Ziel oder der Wirkung, das Verhalten einer Person oder einer Personengruppe dadurch wesentlich zu beeinflussen, dass ihre Fähigkeit, eine sachkundige Entscheidung zu treffen, spürbar beeinträchtigt wird, wodurch sie veranlasst wird, eine Entscheidung zu treffen, die sie andernfalls nicht getroffen hätte, und zwar in einer Weise, die dieser Person, einer anderen Person oder einer Personengruppe einen erheblichen Schaden zufügt oder mit großer Wahrscheinlichkeit zufügen wird;

(b) das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das die Schwächen einer natürlichen Person oder einer bestimmten Personengruppe aufgrund ihres Alters, einer Behinderung oder einer besonderen sozialen oder wirtschaftlichen Situation ausnutzt, mit dem Ziel oder der Wirkung, das Verhalten dieser Person oder einer Person, die dieser Gruppe angehört, in einer Weise wesentlich zu beeinflussen, die dieser Person oder einer anderen Person erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird;

(c) das Inverkehrbringen, die Inbetriebnahme oder der Einsatz von KI-Systemen zur Bewertung oder Klassifizierung natürlicher Personen oder Personengruppen über einen bestimmten Zeitraum hinweg auf der Grundlage ihres Sozialverhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher oder persönlichkeitsbezogener Merkmale, wobei die soziale Bewertung zu einem oder beiden der folgenden Punkte führt:

(i) Benachteiligung oder ungünstige Behandlung bestimmter natürlicher Personen oder Personengruppen in gesellschaftlichen Zusammenhängen, die nichts mit den Zusammenhängen zu tun haben, in denen die Daten ursprünglich erzeugt oder erhoben wurden;

(ii) Benachteiligung oder ungünstige Behandlung bestimmter natürlicher Personen oder Personengruppen, die ungerechtfertigt ist oder in keinem Verhältnis zu ihrem sozialen Verhalten oder dessen Schwere steht;

(d) das Inverkehrbringen, die Inbetriebnahme zu diesem speziellen Zweck oder die Verwendung eines KI-Systems für Risikobewertungen natürlicher Personen, um das Risiko, dass eine natürliche Person eine Straftat begeht, zu bewerten oder vorherzusagen, und zwar ausschließlich auf der Grundlage der Erstellung eines Profils einer natürlichen Person oder der Bewertung ihrer Persönlichkeitsmerkmale und Eigenschaften; dieses Verbot gilt nicht für KI-Systeme, die zur Unterstützung der menschlichen Bewertung der Beteiligung einer Person an einer kriminellen Tätigkeit verwendet werden, die bereits auf objektiven und überprüfbaren Fakten beruht, die unmittelbar mit einer kriminellen Tätigkeit in Verbindung stehen;

(e) das Inverkehrbringen, die Inbetriebnahme zu diesem speziellen Zweck oder die Verwendung von KI-Systemen, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsaufnahmen erstellen oder erweitern;

(f) das Inverkehrbringen, die Inbetriebnahme zu diesem speziellen Zweck oder die Verwendung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person in den Bereichen Arbeitsplatz und Bildungseinrichtungen, es sei denn, die Verwendung des KI-Systems soll aus medizinischen oder sicherheitstechnischen Gründen eingerichtet oder in Verkehr gebracht werden;

(g) das Inverkehrbringen, die Inbetriebnahme zu diesem speziellen Zweck oder die Verwendung biometrischer Kategorisierungssysteme, die einzelne natürliche Personen auf der Grundlage ihrer biometrischen Daten kategorisieren, um Rückschlüsse auf ihre Rasse, ihre politischen Meinungen, ihre Gewerkschaftszugehörigkeit, ihre religiösen oder philosophischen Überzeugungen, ihr Sexualleben oder ihre sexuelle Ausrichtung zu ziehen; dieses Verbot gilt nicht für die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze, wie etwa Bilder, auf der Grundlage biometrischer Daten oder die Kategorisierung biometrischer Daten im Bereich der Strafverfolgung;

(h) die Verwendung von biometrischen Echtzeit-Fernidentifizierungssystemen in öffentlich zugänglichen Räumen zu Zwecken der Strafverfolgung, es sei denn, eine solche Verwendung ist für eines der folgenden Ziele unbedingt erforderlich:

(i) die gezielte Suche nach bestimmten Opfern von Entführung, Menschenhandel oder sexueller Ausbeutung von Menschen sowie die Suche nach vermissten Personen;

(ii) die Abwehr einer konkreten, erheblichen und unmittelbaren Gefahr für das Leben oder die körperliche Sicherheit natürlicher Personen oder einer tatsächlichen und gegenwärtigen oder tatsächlichen und vorhersehbaren Gefahr eines Terroranschlags;

(iii) die Lokalisierung oder Identifizierung einer Person, die im Verdacht steht, eine Straftat begangen zu haben, zum Zwecke der Durchführung strafrechtlicher Ermittlungen oder der Strafverfolgung oder der Vollstreckung einer strafrechtlichen Sanktion für Straftaten nach Anhang II, die in dem betreffenden Mitgliedstaat mit einer Freiheitsstrafe oder einer freiheitsentziehenden Maßregel der Sicherung im Höchstmaß von mindestens vier Jahren bedroht sind. Unterabsatz 1 Buchstabe h gilt unbeschadet des Artikels 9 der Verordnung (EU) 2016/679 für die Verarbeitung biometrischer Daten zu anderen als Strafverfolgungszwecken.

2. Der Einsatz von biometrischen Fernidentifizierungssystemen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken für eines der in Absatz 1 Unterabsatz 1 Buchstabe h genannten Ziele darf nur für die in diesem Buchstaben genannten Zwecke eingesetzt werden, um die Identität der betreffenden Person zu bestätigen, wobei folgende Aspekte zu berücksichtigen sind

(a) die Art der Situation, die Anlass für den möglichen Einsatz ist, insbesondere die Schwere, die Wahrscheinlichkeit und das Ausmaß des Schadens, der entstehen würde, wenn das System nicht eingesetzt würde;

(b) die Folgen des Einsatzes des Systems für die Rechte und Freiheiten aller betroffenen Personen, insbesondere die Schwere, die Wahrscheinlichkeit und das Ausmaß dieser Folgen. Darüber hinaus müssen bei der Verwendung von biometrischen Echtzeit-Fernerkennungssystemen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken für eines der in Absatz 1 Unterabsatz 1 Buchstabe h dieses Artikels genannten Ziele die notwendigen und angemessenen Garantien und Bedingungen in Bezug auf die Verwendung im Einklang mit dem einzelstaatlichen Recht, das die Verwendung zulässt, eingehalten werden, insbesondere in Bezug auf die zeitlichen, geografischen und persönlichen Beschränkungen. Die Verwendung des biometrischen Echtzeit-Fernerkennungssystems in öffentlich zugänglichen Räumen ist nur zulässig, wenn die Strafverfolgungsbehörde eine Folgenabschätzung für die Grundrechte gemäß Artikel 27 durchgeführt und das System gemäß Artikel 49 in der EU-Datenbank registriert hat. In hinreichend begründeten dringenden Fällen kann jedoch mit dem Einsatz solcher Systeme ohne Registrierung in der EU-Datenbank begonnen werden, sofern die Registrierung ohne unangemessene Verzögerung abgeschlossen wird.

3. (3) Für die Zwecke des Absatzes 1 Unterabsatz 1 Buchstabe h und des Absatzes 2 bedarf jede Verwendung eines biometrischen Fernerkennungssystems in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken einer vorherigen Genehmigung, die von einer Justizbehörde oder einer unabhängigen Verwaltungsbehörde, deren Entscheidung für den Mitgliedstaat, in dem die Verwendung erfolgen soll, bindend ist, auf begründeten Antrag und nach Maßgabe der in Absatz 5 genannten einzelstaatlichen Rechtsvorschriften erteilt wird. In hinreichend begründeten dringenden Fällen kann jedoch mit der Verwendung eines solchen Systems ohne Genehmigung begonnen werden, sofern diese Genehmigung unverzüglich, spätestens jedoch innerhalb von 24 Stunden, beantragt wird. Wird die Genehmigung verweigert, so wird die Nutzung mit sofortiger Wirkung eingestellt, und alle Daten sowie die Ergebnisse und Ausgaben dieser Nutzung werden unverzüglich verworfen und gelöscht. Die zuständige Justizbehörde oder eine unabhängige Verwaltungsbehörde, deren Entscheidung verbindlich ist, erteilt die Genehmigung nur dann, wenn sie auf der Grundlage objektiver Beweise oder eindeutiger Anhaltspunkte, die ihr vorgelegt werden, davon überzeugt ist, dass die Verwendung des betreffenden biometrischen Echtzeit-Fernerkennungssystems für die Erreichung eines der in Absatz 1 Unterabsatz 1 Buchstabe h genannten Ziele, wie im Antrag angegeben, erforderlich und verhältnismäßig ist und insbesondere hinsichtlich des Zeitraums sowie des geografischen und persönlichen Anwendungsbereichs auf das unbedingt erforderliche Maß beschränkt bleibt. Bei der Entscheidung über das Ersuchen berücksichtigt diese Behörde die in Absatz 2 genannten Elemente. Eine Entscheidung, die sich rechtlich nachteilig auf eine Person auswirkt, darf nicht allein auf der Grundlage der Ergebnisse des biometrischen Echtzeit-Fernerkennungssystems getroffen werden.

4. Unbeschadet des Absatzes 3 ist jede Nutzung eines biometrischen Fernidentifizierungssystems in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken der zuständigen Marktaufsichtsbehörde und der nationalen Datenschutzbehörde gemäß den in Absatz 5 genannten nationalen Vorschriften zu melden. Die Meldung muss mindestens die in Absatz 6 genannten Informationen enthalten und darf keine sensiblen operativen Daten umfassen.

5. (5) Ein Mitgliedstaat kann beschließen, die Möglichkeit vorzusehen, die Verwendung von biometrischen Echtzeit-Fernerkennungssystemen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken innerhalb der in Absatz 1 Unterabsatz 1 Buchstabe h und in den Absätzen 2 und 3 genannten Grenzen und unter den dort genannten Bedingungen ganz oder teilweise zuzulassen. (4) Die betreffenden Mitgliedstaaten legen in ihrem innerstaatlichen Recht die erforderlichen detaillierten Vorschriften für die Beantragung, Erteilung und Ausübung sowie für die Überwachung und Berichterstattung im Zusammenhang mit den in Absatz 3 genannten Genehmigungen fest. In diesen Vorschriften wird auch festgelegt, für welche der in Absatz 1 Unterabsatz 1 Buchstabe h aufgeführten Ziele, einschließlich der in Buchstabe h Ziffer iii genannten Straftaten, die zuständigen Behörden ermächtigt werden können, diese Systeme für die Zwecke der Strafverfolgung zu nutzen. Die Mitgliedstaaten teilen der Kommission diese Vorschriften spätestens 30 Tage nach ihrem Erlass mit. Die Mitgliedstaaten können im Einklang mit dem Unionsrecht restriktivere Rechtsvorschriften für den Einsatz biometrischer Fernidentifizierungssysteme erlassen.

6. (6) Die nationalen Marktüberwachungsbehörden und die nationalen Datenschutzbehörden der Mitgliedstaaten, denen die Verwendung von biometrischen Fernerkennungssystemen in öffentlich zugänglichen Räumen in Echtzeit zu Strafverfolgungszwecken gemäß Absatz 4 gemeldet wurde, legen der Kommission jährliche Berichte über diese Verwendung vor. Zu diesem Zweck stellt die Kommission den Mitgliedstaaten und den nationalen Marktüberwachungs- und Datenschutzbehörden eine Vorlage zur Verfügung, die auch Informationen über die Anzahl der Entscheidungen der zuständigen Justizbehörden oder einer unabhängigen Verwaltungsbehörde, deren Entscheidung für Anträge auf Genehmigungen gemäß Absatz 3 verbindlich ist, und deren Ergebnis enthält.

7. (7) Die Kommission veröffentlicht jährliche Berichte über den Einsatz biometrischer Echtzeit-Fernerkennungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken auf der Grundlage aggregierter Daten in den Mitgliedstaaten auf der Grundlage der in Absatz 6 genannten Jahresberichte. Diese Jahresberichte enthalten keine sensiblen operativen Daten über die damit verbundenen Strafverfolgungsmaßnahmen.

8. Dieser Artikel berührt nicht die Verbote, die gelten, wenn eine AI-Praxis gegen anderes Unionsrecht verstößt.

Feedback - Wir arbeiten an der Verbesserung dieses Tools. Bitte senden Sie Ihr Feedback an Taylor Jones unter taylor@futureoflife.org

Der in diesem Tool verwendete Text ist das "Gesetz über künstliche Intelligenz, Berichtigung, 19. April 2024". Interinstitutionelle Akte: 2021/0106(COD)