Zusammenfassung des AI-Gesetzes auf hoher Ebene

Aktualisiert am 30. Mai in Übereinstimmung mit der berichtigten Fassung des AI-Gesetzes.

In diesem Artikel geben wir Ihnen eine Zusammenfassung des Gesetzes über künstliche Intelligenz, wobei wir die Teile ausgewählt haben, die für Sie am ehesten von Bedeutung sind, unabhängig davon, wer Sie sind. Dort, wo es relevant ist, geben wir Links zum Originaldokument an, damit Sie jederzeit auf den Gesetzestext zugreifen können.

Um den vollständigen Text des AI Act selbst zu erkunden, verwenden Sie unseren AI Act Explorer. Wenn Sie wissen möchten, welche Teile des Textes für Sie besonders relevant sind, können Sie auch unseren Compliance Checker verwenden.

Diesen Inhalt als PDF-Datei anzeigen

Verbotene KI-Systeme(Kapitel II, Art. 5)

Die folgenden Arten von KI-Systemen sind nach dem KI-Gesetz "verboten".

KI-Systeme:

• Einsatz von unterschwelligen, manipulativen oder täuschenden Techniken, um das Verhalten zu verzerren und die bewusste Entscheidungsfindung zu beeinträchtigen, wodurch erheblicher Schaden entsteht.
• Ausnutzung von Schwachstellen im Zusammenhang mit Alter, Behinderung oder sozioökonomischen Verhältnissen, um das Verhalten zu verzerren und erheblichen Schaden anzurichten.
• biometrische Kategorisierungssysteme, die Rückschlüsse auf sensible Merkmale (Rasse, politische Meinungen, Gewerkschaftszugehörigkeit, religiöse oder philosophische Überzeugungen, Sexualleben oder sexuelle Ausrichtung) zulassen, außer bei der Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze oder bei der Kategorisierung biometrischer Daten durch die Strafverfolgungsbehörden.
• Soziales Scoring, d. h. die Bewertung oder Klassifizierung von Personen oder Gruppen aufgrund ihres Sozialverhaltens oder ihrer persönlichen Eigenschaften, was zu einer nachteiligen oder ungünstigen Behandlung dieser Personen führt.
• die Bewertung des Risikos, dass eine Person Straftaten begeht, ausschließlich auf der Grundlage von Profilen oder Persönlichkeitsmerkmalen, es sei denn, sie wird zur Ergänzung menschlicher Bewertungen auf der Grundlage objektiver, überprüfbarer Fakten, die in direktem Zusammenhang mit kriminellen Aktivitäten stehen, verwendet.
• Aufbau von Gesichtserkennungsdatenbanken durch ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsaufnahmen.
• das Ableiten von Emotionen am Arbeitsplatz oder in Bildungseinrichtungen, außer aus medizinischen oder Sicherheitsgründen.
• Biometrische Fernidentifizierung (RBI) in Echtzeit in öffentlich zugänglichen Räumen für die Strafverfolgungaußer wenn:
  • Suche nach vermissten Personen, Entführungsopfern und Menschen, die Opfer von Menschenhandel oder sexueller Ausbeutung geworden sind;
  • Verhinderung einer erheblichen und unmittelbaren Bedrohung des Lebens oder eines vorhersehbaren terroristischen Angriffs; oder
  • Identifizierung von Verdächtigen bei schweren Straftaten (z. B. Mord, Vergewaltigung, bewaffneter Raubüberfall, Drogen- und illegaler Waffenhandel, organisierte Kriminalität, Umweltkriminalität usw.).

Anmerkungen zur biometrischen Fernidentifizierung:

Der Einsatz einer KI-gestützten Echtzeit-RBI ist nur dann zulässig , wenn der Verzicht auf das Instrument einen erheblichen Schaden verursachen würde, und muss die Rechte und Freiheiten der betroffenen Personen berücksichtigen.

Vor dem Einsatz muss die Polizei eine Folgenabschätzung für die Grundrechte durchführen und das System in der EU-Datenbank registrieren. In hinreichend begründeten dringenden Fällen kann der Einsatz jedoch auch ohne Registrierung erfolgen, sofern er später ohne unangemessene Verzögerung registriert wird.

Vor dem Einsatz müssen sie außerdem die Genehmigung einer Justizbehörde oder einer unabhängigen Verwaltungsbehörde einholen[1]. In hinreichend begründeten dringenden Fällen kann der Einsatz jedoch auch ohne Genehmigung erfolgen, sofern diese innerhalb von 24 Stunden beantragt wird. Wird die Genehmigung verweigert, muss der Einsatz unverzüglich eingestellt werden, wobei alle Daten, Ergebnisse und Outputs zu löschen sind.

↲ [1] Unabhängige Verwaltungsbehörden können einem größeren politischen Einfluss ausgesetzt sein als Justizbehörden(Hacker, 2024).

AI-Systeme mit hohem Risiko(Kapitel III)

Einige KI-Systeme werden im Rahmen des KI-Gesetzes als "hohes Risiko" eingestuft. Für die Anbieter dieser Systeme gelten zusätzliche Anforderungen.

Klassifizierungsregeln für KI-Systeme mit hohem Risiko(Art. 6)

KI-Systeme mit hohem Risiko sind solche:

• als Sicherheitsbauteil oder ein Produkt verwendet wird, das unter die EU-Rechtsvorschriften in Anhang I fällt UND einer Konformitätsbewertung durch einen Dritten gemäß diesen Anhang I-Rechtsvorschriften unterzogen werden muss; ODER
• die unter Anhang III Anwendungsfälle (unten), außer wenn:
  • das KI-System führt eine enge prozedurale Aufgabe aus;
  • verbessert das Ergebnis einer zuvor durchgeführten menschlichen Tätigkeit;
  • Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern aufdeckt und nicht dazu gedacht ist, die zuvor durchgeführte menschliche Bewertung ohne angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen; oder
  • führt eine vorbereitende Aufgabe für eine Bewertung durch, die für die in Anhang III aufgeführten Anwendungsfälle relevant ist.
• KI-Systeme gelten immer dann als risikoreich, wenn sie ein Profil von Personen erstellen, d. h. wenn sie personenbezogene
  Daten automatisiert verarbeiten, um verschiedene Aspekte des Lebens einer Person zu bewerten, z. B. Arbeitsleistung, wirtschaftliche Lage, Gesundheit,
  Vorlieben, Interessen, Zuverlässigkeit, Verhalten, Standort oder Bewegung.
• Anbieter, deren KI-System unter die Anwendungsfälle in Anhang III fällt, die aber der Ansicht sind, dass es kein hohes Risiko darstellt, müssen eine solche Bewertung
  dokumentieren, bevor sie es in Verkehr bringen oder in Betrieb nehmen.

Anforderungen an Anbieter von AI-Systemen mit hohem Risiko (Art. 8-17)

Anbieter von AI mit hohem Risiko müssen:

• Einrichtung eines Risikomanagementsystems für den gesamten Lebenszyklus des KI-Systems mit hohem Risiko;
• Durchführung von Data Governance, um sicherzustellen, dass die Schulungs-, Validierungs- und Testdatensätze relevant, ausreichend repräsentativ und so weit wie möglich fehlerfrei und vollständig sind.
• Erstellung von technischen Unterlagen zum Nachweis der Konformität und Bereitstellung von Informationen für die Behörden, um die Konformität zu bewerten.
• ihr KI-System für hohe Risiken so zu gestalten, dass es Ereignisse, die für die Identifizierung von Risiken auf nationaler Ebene relevant sind, und wesentliche Änderungen während des gesamten Lebenszyklus des Systems automatisch aufzeichnen kann.
• Bereitstellung von Gebrauchsanweisungen für nachgeschaltete Verteiler, damit diese die Vorschriften einhalten können.
• ihr KI-Hochrisikosystem so zu gestalten, dass die Einsatzkräfte die Möglichkeit haben, eine menschliche Aufsicht zu implementieren.
• ihr risikoreiches KI-System so zu gestalten, dass es ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreicht.
• Einrichtung eines Qualitätsmanagementsystems zur Gewährleistung der Einhaltung der Vorschriften.

Anhang III Anwendungsfälle
Nicht verbotene biometrische Verfahren: Biometrische Fernidentifikationssysteme, mit Ausnahme der biometrischen Überprüfung, die bestätigt, dass eine Person diejenige ist, die sie vorgibt zu sein. Biometrische Kategorisierungssysteme, die auf sensible oder geschützte Attribute oder Merkmale schließen. Systeme zur Erkennung von Emotionen.
Kritische Infrastrukturen: Sicherheitskomponenten bei der Verwaltung und dem Betrieb kritischer digitaler Infrastrukturen, im Straßenverkehr und bei der Versorgung mit Wasser, Gas, Wärme und Strom.
Allgemeine und berufliche Bildung: KI-Systeme, die den Zugang, die Zulassung oder die Zuweisung zu Bildungs- und Berufsbildungseinrichtungen auf allen Ebenen bestimmen. Bewertung von Lernergebnissen, einschließlich derer, die zur Steuerung des Lernprozesses des Schülers verwendet werden. Bewertung des angemessenen Bildungsniveaus für eine Person. Überwachung und Erkennung von unzulässigem Schülerverhalten bei Prüfungen.
Beschäftigung, Arbeitnehmermanagement und Zugang zur Selbständigkeit: KI-Systeme für die Einstellung oder Auswahl, insbesondere für gezielte Stellenanzeigen, die Analyse und Filterung von Bewerbungen und die Bewertung von Kandidaten. Beförderung und Beendigung von Verträgen, Zuweisung von Aufgaben auf der Grundlage von Persönlichkeitsmerkmalen oder Eigenschaften und Verhalten sowie Überwachung und Bewertung der Leistung.
Zugang zu und Inanspruchnahme von wesentlichen öffentlichen und privaten Dienstleistungen: KI-Systeme, die von Behörden zur Beurteilung der Anspruchsberechtigung auf Leistungen und Dienste, einschließlich deren Zuweisung, Kürzung, Entzug oder Rückforderung, verwendet werden. Bewertung der Kreditwürdigkeit, außer bei der Aufdeckung von Finanzbetrug. Bewertung und Klassifizierung von Notrufen, einschließlich der Festlegung von Prioritäten für den Einsatz von Polizei, Feuerwehr, medizinischer Hilfe und Dringlichkeitsdiensten für Patienten. Risikobewertung und Tarifierung in der Kranken- und Lebensversicherung.
Strafverfolgung: KI-Systeme zur Bewertung des Risikos einer Person, Opfer eines Verbrechens zu werden. Polygraphen. Bewertung der Zuverlässigkeit von Beweisen bei strafrechtlichen Ermittlungen oder Strafverfolgungen. Bewertung des Risikos einer Person, straffällig zu werden oder erneut straffällig zu werden, nicht nur auf der Grundlage eines Profils oder der Bewertung von Persönlichkeitsmerkmalen oder früherem kriminellen Verhalten. Profiling bei der Ermittlung, Untersuchung oder Verfolgung von Straftaten.
Migrations-, Asyl- und Grenzkontrollmanagement: Lügendetektoren. Bewertung von irregulärer Migration oder Gesundheitsrisiken. Prüfung von Anträgen auf Asyl, Visa und Aufenthaltsgenehmigungen und damit zusammenhängende Beschwerden in Bezug auf die Anspruchsberechtigung. Aufspüren, Erkennen oder Identifizieren von Personen, mit Ausnahme der Überprüfung von Reisedokumenten.
Rechtspflege und demokratische Prozesse: KI-Systeme, die bei der Erforschung und Auslegung von Fakten und der Anwendung des Rechts auf konkrete Sachverhalte oder bei der alternativen Streitbeilegung eingesetzt werden. Beeinflussung der Ergebnisse von Wahlen und Volksabstimmungen oder des Abstimmungsverhaltens, mit Ausnahme von Ergebnissen, die nicht direkt mit Menschen interagieren, wie z. B. Werkzeuge, die zur Organisation, Optimierung und Strukturierung politischer Kampagnen verwendet werden.

Allzweck-KI (GPAI)

Ein GPAI-Modell ist ein KI-Modell, auch wenn es mit einer großen Datenmenge unter Verwendung von Selbstüberwachung in großem Maßstab trainiert wurde, das eine signifikante Allgemeinheit aufweist und in der Lage ist, ein breites Spektrum unterschiedlicher Aufgaben kompetent auszuführen, unabhängig davon, wie das Modell auf den Markt gebracht wird, und das in eine Vielzahl von nachgelagerten Systemen oder Anwendungen integriert werden kann. Dies gilt nicht für KI-Modelle, die vor ihrer Veröffentlichung auf dem Markt für Forschungs-, Entwicklungs- und Prototyping-Aktivitäten verwendet werden.

Ein GPAI-System ist ein KI-System, das auf einem allgemeinen KI-Modell basiert, das für eine Vielzahl von Zwecken eingesetzt werden kann, sowohl zur direkten Verwendung als auch zur Integration in andere KI-Systeme.

GPAI-Systeme können als KI-Systeme mit hohem Risiko genutzt oder in diese integriert werden. Die Anbieter von GPAI-Systemen sollten mit den Anbietern von KI-Systemen mit hohem Risiko zusammenarbeiten, um die Einhaltung der Vorschriften durch letztere zu ermöglichen.

Alle Anbieter von GPAI-Modellen müssen:

• Erstellung der technischen Dokumentation, einschließlich des Ausbildungs- und Testverfahrens und der Bewertungsergebnisse.
• Ausarbeitung von Informationen und Unterlagen für nachgelagerte Anbieter, die das GPAI-Modell in ihr eigenes KI-System integrieren wollen, damit diese die Möglichkeiten und Grenzen verstehen und in die Lage versetzt werden, die Anforderungen zu erfüllen.
• Festlegung einer Politik zur Einhaltung der Urheberrechtsrichtlinie.
• Veröffentlichung einer hinreichend detaillierten Zusammenfassung der für das Training des GPAI-Modells verwendeten Inhalte.

GPAI-Modelle mit freier und offener Lizenz - deren Parameter, einschließlich der Gewichte, der Modellarchitektur und der Modellverwendung, öffentlich zugänglich sind und den Zugang, die Verwendung, die Änderung und die Verbreitung des Modells ermöglichen - müssen nur die beiden letztgenannten Verpflichtungen erfüllen, es sei denn, das GPAI-Modell mit freier und offener Lizenz ist systemisch.

GPAI-Modelle stellen ein systemisches Risiko dar, wenn der kumulierte Rechenaufwand für die Ausbildung mehr als ¹⁰²⁵ Gleitkommaoperationen (FLOPs) beträgt. Die Anbieter müssen der Kommission innerhalb von 2 Wochen mitteilen, ob ihr Modell dieses Kriterium erfüllt. Der Anbieter kann Argumente dafür vorbringen, dass sein Modell trotz Erfüllung der Kriterien keine systemischen Risiken birgt. Die Kommission kann von sich aus oder durch eine qualifizierte Warnung des wissenschaftlichen Gremiums unabhängiger Experten entscheiden, dass ein Modell hohe Auswirkungen hat und damit systemrelevant ist.

Zusätzlich zu den vier oben genannten Verpflichtungen müssen die Anbieter von GPAI-Modellen mit systemischem Risiko auch:

• Durchführung von Modellevaluierungen, einschließlich der Durchführung und Dokumentation gegnerischer Tests zur Ermittlung und Minderung von Systemrisiken.
• Bewertung und Abschwächung möglicher systemischer Risiken, einschließlich ihrer Quellen.
• Verfolgung, Dokumentation und Meldung schwerwiegender Vorfälle und möglicher Abhilfemaßnahmen an das AI-Büro und die jeweils zuständigen nationalen Behörden ohne unangemessene Verzögerung.
• Gewährleistung eines angemessenen Niveaus an Cybersicherheitsschutz.

Alle Anbieter von GPAI-Modellen können die Einhaltung ihrer Verpflichtungen nachweisen, indem sie sich freiwillig an einen Verhaltenskodex halten, bis harmonisierte europäische Normen veröffentlicht werden, deren Einhaltung zu einer Konformitätsvermutung führt. Anbieter, die sich nicht an einen Verhaltenskodex halten, müssen für die Genehmigung durch die Kommission alternative angemessene Mittel zur Einhaltung der Vorschriften nachweisen.

Verhaltenskodizes

• Wird internationalen Ansätzen Rechnung tragen.
• Sie wird sich auf die oben genannten Verpflichtungen erstrecken, aber nicht notwendigerweise darauf beschränkt sein, insbesondere auf die relevanten Informationen, die in die technischen Unterlagen für Behörden und nachgeschaltete Anbieter aufzunehmen sind, auf die Ermittlung von Art und Charakter der Systemrisiken und ihrer Quellen sowie auf die Modalitäten des Risikomanagements, die den besonderen Herausforderungen bei der Bewältigung von Risiken aufgrund der Art und Weise, wie sie in der gesamten Wertschöpfungskette entstehen und sich verwirklichen können, Rechnung tragen.
• Das AI-Büro kann Anbieter von GPAI-Modellen und die zuständigen nationalen Behörden auffordern, sich an der Ausarbeitung der Kodizes zu beteiligen, während die Zivilgesellschaft, die Industrie, die Wissenschaft, nachgelagerte Anbieter und unabhängige Experten den Prozess unterstützen können.

Governance

Wie wird das KI-Gesetz umgesetzt?

• Das AI-Büro wird innerhalb der Kommission eingerichtet, um die effektive Umsetzung und Einhaltung der GPAI-Modellanbieter zu überwachen.
• Nachgelagerte Anbieter können beim AI-Büro eine Beschwerde über die Verletzung durch vorgelagerte Anbieter einreichen.
• Das AI-Büro kann Bewertungen des GPAI-Modells durchführen, um:
  • die Einhaltung der Vorschriften zu bewerten, wenn die im Rahmen ihrer Befugnisse zur Anforderung von Informationen gesammelten Informationen unzureichend sind.
  • Untersuchung der systemischen Risiken, insbesondere im Anschluss an einen qualifizierten Bericht des wissenschaftlichen Gremiums unabhängiger Sachverständiger.

Zeitleisten

• Nach seinem Inkrafttreten wird das AI-Gesetz innerhalb der folgenden Fristen gelten:
  • 6 Monate für verbotene KI-Systeme.
  • 12 Monate für GPAI. 
  • 24 Monate für AI-Systeme mit hohem Risiko gemäß Anhang III. 
  • 36 Monate für AI-Systeme mit hohem Risiko gemäß Anhang I.
• Die Verhaltenskodizes müssen 9 Monate nach Inkrafttreten fertig sein. 

Alle wichtigen Meilensteine für die Umsetzung des AI-Gesetzes finden Sie in unserem Zeitplan.