Überblick über den Verhaltenskodex

30 Jul, 2025

Der Verhaltenskodex bietet einen klaren Rahmen, der den Entwicklern von KI-Modellen für allgemeine Zwecke (GPAI) hilft, die Anforderungen des EU-KI-Gesetzes zu erfüllen. Anbieter können den Kodex befolgen, es steht ihnen aber auch frei, die Einhaltung durch andere geeignete Methoden nachzuweisen. Dieser Beitrag gibt einen kurzen Überblick über die einzelnen Kapitel, Verpflichtungen und Maßnahmen in einfachen Worten.

Die GPAI-Vorschriften treten am 2. August 2025 in Kraft, d. h. alle neuen Modelle, die ab diesem Datum auf den Markt kommen, müssen den Vorschriften entsprechen. Die Durchsetzungsmaßnahmen der Kommission - wie Auskunftsersuchen, Zugang zu Modellen oder Modellrückrufe - beginnen jedoch erst ein Jahr später, am 2. August 2026. Diese Frist gibt den Anbietern Zeit, mit dem Amt für künstliche Intelligenz zusammenzuarbeiten, um sicherzustellen, dass sie die Standards einhalten.

Für Modelle, die vor dem 2. August 2025 auf den Markt gebracht wurden, haben die Anbieter bis zum 2. August 2027 Zeit, um sie mit den Vorschriften in Einklang zu bringen.

Siehe unseren vollständigen Zeitplan für die Umsetzung.

Interaktive Website zum Verhaltenskodex

Sehen Sie sich den vollständigen Text des Verhaltenskodex auf einer interaktiven Website an.
Website anzeigen

Erläuterung des Verhaltenskodex auf hohem Niveau

Was ist der Verhaltenskodex, welche Funktionen erfüllt er und wie wurde er entwickelt?
View explainer

In diesem Beitrag geht es weiter:

Kurzfassung

Kapitel Transparenz

Die Unterzeichner verpflichten sich, eine aktuelle und umfassende Dokumentation für jedes in der EU verbreitete GPAI-Modell zu führen, mit Ausnahme von Modellen, die frei und quelloffen sind und kein systemisches Risiko darstellen. Diese Dokumentation muss einem standardisierten Modelldokumentationsformular folgen, in dem Lizenzierung, technische Spezifikationen, Anwendungsfälle, Datensätze, Rechen- und Energienutzung und mehr aufgeführt sind. Sie sollte mindestens zehn Jahre lang sicher aufbewahrt und dem KI-Büro und den nachgeschalteten Nutzern auf Anfrage zur Verfügung gestellt werden. Die Veröffentlichung dieser Informationen wird zur Förderung der Transparenz empfohlen.

Copyright Kapitel

Dieses Kapitel gewährleistet die Angleichung an das EU-Urheberrecht, insbesondere das Erfordernis einer vorherigen Genehmigung, es sei denn, es gelten besondere Ausnahmen (z. B. für Text- und Data-Mining). Die Unterzeichner sind verpflichtet, eine solide Urheberrechtspolitik zu entwickeln und regelmäßig zu aktualisieren, die die internen Zuständigkeiten klar definiert und den rechtlichen Standards entspricht. Sie müssen sicherstellen, dass die durch Web-Crawling gesammelten Daten rechtmäßig zugänglich sind, maschinenlesbare Rechtssignale wie robots.txt respektieren und den Zugriff auf Websites vermeiden, die wegen Urheberrechtsverletzungen gekennzeichnet sind. Technische Sicherheitsvorkehrungen sollten die Generierung rechtsverletzender Inhalte minimieren, und die Nutzungsbedingungen müssen die unerlaubte Nutzung eindeutig untersagen. Urheberrechtsinhabern muss eine Kontaktstelle zur Verfügung gestellt werden, bei der sie Beschwerden einreichen können, und es müssen effiziente und faire Verfahren für die Bearbeitung dieser Beschwerden eingerichtet werden.

Kapitel Sicherheit und Gefahrenabwehr

In diesem Kapitel werden umfassende Verpflichtungen für Entwickler von GPAI-Modellen mit systemischen Risiken festgelegt, um Sicherheitsrisiken während des gesamten Lebenszyklus des Modells zu identifizieren, zu bewerten, zu mindern und transparent zu melden. Es legt einen Rahmen für die Risikosteuerung fest, der sich auf Bewertungen vor der Markteinführung, laufende Überwachung und kontinuierliche Aufsicht konzentriert.

Die Unterzeichner müssen vor der Freigabe des Modells einen hochmodernen Sicherheitsrahmen entwickeln, in dem Bewertungsauslöser, Risikokategorien, Minderungsstrategien, Prognosemethoden und organisatorische Zuständigkeiten festgelegt sind. Dieser Rahmen sollte regelmäßig aktualisiert werden, um auf neue Risiken, Zwischenfälle oder wesentliche Änderungen des Modells oder seiner Umgebung zu reagieren.

Systemische Risiken werden durch strukturierte Prozesse wie Bestandsaufnahmen, Szenarioanalysen und Konsultationen mit internen und externen Experten ermittelt. Diese Risiken werden dann mit Hilfe strenger Bewertungsmethoden wie Simulationen, Tests und Überwachung nach der Markteinführung analysiert.

Bevor sie mit der Entwicklung oder dem Einsatz fortfahren, müssen die Unterzeichner bewerten, ob die festgestellten Risiken akzeptabel sind, wobei sie festgelegte Risikostufen mit eingebauten Sicherheitsmargen anwenden. Werden die Risiken als inakzeptabel eingestuft, sind sofortige Abhilfemaßnahmen erforderlich.

Um ein akzeptables Risikoniveau aufrechtzuerhalten, müssen Sicherheitsmaßnahmen während des gesamten Lebenszyklus des Modells integriert werden, einschließlich Filterung, kontinuierliche Überwachung, Schulung zur Ablehnung, stufenweise Zugangskontrollen, nachgelagerte Tool-Sicherungen und sichere Einsatzumgebungen. Parallele Sicherheitskontrollen müssen unbefugten Zugriff oder Missbrauch verhindern, indem sie starke digitale und physische Schutzmaßnahmen anwenden, bis das Modell entweder öffentlich freigegeben oder außer Betrieb genommen wird.

Vor der Freigabe muss ein obligatorischer Bericht über das Sicherheitsmodell vorgelegt und bei sich entwickelnden Risiken aktualisiert werden. Dieser Bericht sollte eine detaillierte Dokumentation über die Identifizierung von Risiken, die Analyse, die Bemühungen zur Risikominderung, das Verhalten des Modells, externe Bewertungen und alle wesentlichen Änderungen der Risikolandschaft enthalten.

Organisatorische Verantwortlichkeit ist der Schlüssel. Die Unterzeichner müssen innerhalb ihrer Governance-Strukturen die Aufgaben der Aufsicht, der Eigenverantwortung, der Überwachung und der Qualitätssicherung klar zuweisen und für angemessene Ressourcen, eine starke Risikokultur und den Schutz von Hinweisgebern sorgen.

Schwerwiegende Vorfälle müssen umgehend verfolgt, dokumentiert und den Aufsichtsbehörden je nach Schweregrad und innerhalb enger Fristen gemeldet werden (z. B. innerhalb von zwei Tagen bei Vorfällen, die kritische Infrastrukturen betreffen). Die Berichte müssen regelmäßig aktualisiert und mindestens fünf Jahre lang aufbewahrt werden.

Schließlich sind die Unterzeichner verpflichtet, detaillierte Aufzeichnungen über Sicherheits- und Risikomanagementaktivitäten für mindestens zehn Jahre aufzubewahren. Hochrangige Zusammenfassungen ihrer Sicherheitsrahmen und Modellberichte sollten veröffentlicht werden, wenn dies zur Risikominderung erforderlich ist, es sei denn, das Modell erfüllt bestimmte Kriterien, die es als "ähnlich sicher oder sicherer" qualifizieren.

Kapitel Transparenz

In diesem Kapitel werden klare Erwartungen an die Art und Weise formuliert, wie die Unterzeichner ihre Transparenzpflichten gemäß Artikel 53 Absatz 1 Buchstaben a bis b und den Anhängen XI und XII des AI-Gesetzes erfüllen sollten. Das Hauptziel besteht darin, sicherzustellen, dass wichtige Informationen sowohl an nachgeschaltete Anbieter als auch an das AI-Büro effektiv weitergeleitet werden und gleichzeitig ein angemessenes Maß an Vertraulichkeit gewahrt bleibt.

Verpflichtung 1: Dokumentation

Die Unterzeichner verpflichten sich dazu:

Führen Sie für jedes Modell eine umfassende, aktuelle Dokumentation (Maßnahme 1.1)
Erleichterung des Informationsaustauschs mit dem Amt für künstliche Intelligenz und den nachgeschalteten Anbietern (Maßnahme 1.2)
Sicherstellung der Richtigkeit, der Vollständigkeit und des Schutzes aller Unterlagen (Maßnahme 1.3)

Diese Verpflichtungen gelten nicht für freie und quelloffene Modelle, es sei denn, sie werden als GPAI-Modell mit systemischem Risiko eingestuft.

Maßnahme 1.1: Erstellung und Pflege der Modelldokumentation

Bevor ein GPAI-Modell auf dem EU-Markt in Verkehr gebracht wird, müssen die Unterzeichner eine umfassende Dokumentation erstellen, die alle im Formular für die Modelldokumentation (siehe unten) aufgeführten Elemente enthält.
Diese Dokumentation muss auf dem neuesten Stand bleiben, alle wesentlichen Änderungen widerspiegeln und mindestens 10 Jahre lang nach der ersten Veröffentlichung des Modells aufbewahrt werden.

Maßnahme 1.2: Bereitstellung von relevanten Informationen

Die Unterzeichner müssen öffentlich Kontaktdaten angeben, die es dem AI-Büro und nachgeschalteten Anbietern ermöglichen, Zugang zu den Unterlagen zu verlangen.
Auf Verlangen müssen sie die neueste Version der Dokumentation innerhalb des vorgesehenen Zeitrahmens an das AI-Büro liefern.
Nachgelagerte Anbieter müssen die notwendigen Unterlagen - zusammen mit den erforderlichen Abklärungen - innerhalb von 14 Tagen erhalten, sofern keine berechtigten Gründe für eine Verzögerung vorliegen.
Es wird empfohlen, die Dokumentation zu veröffentlichen, um die Transparenz insgesamt zu erhöhen.

Maßnahme 1.3: Gewährleistung der Qualität, Integrität und Sicherheit von Informationen

Die Unterzeichner sind dafür verantwortlich, dass die Dokumentation präzise ist, vor unbefugten Änderungen geschützt und sicher aufbewahrt wird, um die Einhaltung der Vorschriften nachzuweisen.

Das Musterdokumentationsformular

Das Formular deckt die folgenden Kategorien für die behördliche und nachgeschaltete Verwendung ab:

Lizenzierung und Vertrieb
Modellidentifikation (Name, Version, Freigabedatum, Entität)
Technische Spezifikationen (Architektur, Größe, E/A-Formate)
Beabsichtigte und genehmigte Anwendungsfälle
Abhängigkeiten bei der Integration (Plattformen, Software/Hardware)
Schulungsmethodik und Grundprinzipien der Gestaltung
Details zum Datensatz (Quelle, Typ, Umfang, Volumen, Kuratierung, Vermeidung von Verzerrungen)
Energie- und Rechnernutzung (Training & Inferenz)

Copyright Kapitel

Dieses Kapitel erleichtert die Einhaltung von Artikel 53(1)(c) des AI-Gesetzes, der vorschreibt, dass Anbieter eine Urheberrechtspolitik einführen, die mit den EU-Rechtsvorschriften zum Urheberrecht und zu verwandten Schutzrechten im Einklang steht. Die Befolgung dieser Leitlinien unterstützt zwar die Bemühungen um die Einhaltung der Vorschriften, stellt aber keine Garantie für die vollständige Einhaltung der Rechtsvorschriften dar, die letztlich von der Auslegung durch die nationalen Gerichte und den Gerichtshof der EU (EuGH) abhängen.

Das Urheberrecht der Europäischen Union beruht auf dem Grundprinzip, dass für die Nutzung geschützter Werke eine vorherige Genehmigung erforderlich ist, es sei denn, es gelten besondere Ausnahmen - wie die Bestimmungen zum Text- und Data-Mining (TDM) gemäß Artikel 4 Absatz 1 der Richtlinie (EU) 2019/790 - und die Rechteinhaber haben sich ihre Rechte nicht ausdrücklich vorbehalten.

Verpflichtung 1: Urheberrechtspolitik

Die Unterzeichner verpflichten sich, eine umfassende Urheberrechtspolitik einzuführen, aufrechtzuerhalten und umzusetzen, die für alle in der EU vertriebenen GPAI-Modelle gilt. Diese Politik muss mit den in diesem Kapitel dargelegten Standards übereinstimmen.

Die Einhaltung der Anforderungen dieses Kapitels ersetzt jedoch nicht die grundlegende Verpflichtung zur Einhaltung der Urheberrechtsvorschriften der Union und der Mitgliedstaaten. Die Unterzeichner tragen die volle Verantwortung dafür, dass ihre Tätigkeiten mit dem geltenden Rechtsrahmen, einschließlich Artikel 4 Absatz 3 der Richtlinie (EU) 2019/790, übereinstimmen, bevor sie urheberrechtlich relevante Aktivitäten durchführen.

Maßnahme 1.1: Ausarbeitung, Aktualisierung und Umsetzung einer Urheberrechtspolitik

Die Unterzeichner müssen eine einheitliche, regelmäßig aktualisierte Urheberrechtspolitik entwickeln und pflegen, die die Einhaltung der Anforderungen dieses Kapitels nachweist und die internen Verantwortungsstrukturen klar definiert.
Die Veröffentlichung einer Zusammenfassung der Politik wird empfohlen, um die Transparenz und das Verständnis der Öffentlichkeit zu verbessern.

Maßnahme 1.2: Beim Crawlen des World Wide Web nur rechtmäßig zugängliche, urheberrechtlich geschützte Inhalte wiedergeben und extrahieren

Web-Crawling-Systeme, die zu Schulungszwecken eingesetzt werden, müssen den Zugang auf legal verfügbare Inhalte beschränken.
Die Umgehung technischer Barrieren (wie Paywalls oder Zugangsbeschränkungsmechanismen) ist untersagt.
Die Anbieter müssen Websites ausschließen, die von den EU-/EWR-Behörden auf der Grundlage eines öffentlich geführten EU-Registers als ständige Urheberrechtsverletzer eingestuft wurden.

Maßnahme 1.3: Identifizierung und Einhaltung von Rechtevorbehalten beim Crawlen des World Wide Web

Crawling-Systeme müssen in der Lage sein, maschinenlesbare Rechtevorbehalte, einschließlich robots.txt-Dateien, gemäß RFC 9309-Standards zu erkennen und zu berücksichtigen.
Die Anbieter müssen sich an andere allgemein anerkannte und technisch praktikable Standards halten, die im Rahmen von Konsultationen auf EU-Ebene genehmigt wurden.
Die Unterzeichner werden aufgefordert, sich aktiv an der Entwicklung solcher technischen Protokolle zu beteiligen.
Sie müssen Transparenz hinsichtlich ihrer Crawler-Operationen und ihres Umgangs mit urheberrechtlich geschützten Inhalten schaffen und automatische Benachrichtigungssysteme für Rechteinhaber anbieten.
Die Betreiber von Suchmaschinen müssen sicherstellen, dass die Einhaltung der Rechtevorbehalte ihre Indexierungsmöglichkeiten nicht beeinträchtigt.

Maßnahme 1.4: Minderung des Risikos urheberrechtsverletzender Ergebnisse

Die Anbieter müssen technische Schutzmaßnahmen ergreifen, um die Wahrscheinlichkeit zu minimieren, dass KI-Modelle urheberrechtsverletzende Inhalte produzieren.
Sie müssen verletzende Verwendungen in ihren Nutzungsbedingungen oder ihrer Dokumentation ausdrücklich verbieten, auch für Open-Source-Modell-Distributionen.
Diese Schutzmaßnahmen müssen wirksam bleiben, unabhängig davon, ob das Modell direkt oder über Drittimplementierungen verwendet wird.

Maßnahme 1.5: Benennung einer Kontaktstelle und Ermöglichung der Einreichung von Beschwerden

Die Unterzeichner müssen eine spezielle Kontaktstelle für Rechteinhaber einrichten und ein System zur Entgegennahme begründeter elektronischer Beschwerden einführen.
Alle Beschwerden müssen angemessen geprüft und rechtzeitig beantwortet werden, es sei denn, es handelt sich um offensichtlich unbegründete oder sich wiederholende Beschwerden.
Dieser Beschwerdemechanismus gilt unbeschadet anderer Rechtsbehelfe, die den Rechteinhabern zum Schutz ihrer Interessen zur Verfügung stehen.

Kapitel Sicherheit und Gefahrenabwehr

Verpflichtung 1: Rahmen für Sicherheit und Gefahrenabwehr

Die Unterzeichner verpflichten sich, einen dem neuesten Stand der Technik entsprechenden Rahmen für Sicherheit und Gefahrenabwehr zu schaffen, der umfassende Verfahren und Maßnahmen für das Management von Systemrisiken festlegt, um ein akzeptables Niveau von Systemrisiken aufrechtzuerhalten. Dies umfasst die Entwicklung, Umsetzung und regelmäßige Aktualisierung des Rahmens, wobei das AI-Büro über alle Entwicklungen auf dem Laufenden gehalten wird.

Maßnahme 1.1: Schaffung des Rahmens

Die Unterzeichner entwickeln ein Rahmenwerk, das sowohl die bestehenden als auch die geplanten Verfahren zur Bewertung und Abschwächung systemischer Risiken dokumentiert. Das Rahmenwerk muss Folgendes umfassen:

Begründete Auslösungspunkte, die festlegen, wann leichtere und härtere Modellevaluierungen während des Lebenszyklus des Modells stattfinden sollen.
Für die Akzeptanz systemischer Risiken (Verpflichtung 4):
- Klare Kriterien und Begründungen für die Festlegung von Systemrisikokategorien und deren praktische Anwendung.
- Umfassende Strategien zur Risikominderung auf hoher Ebene für jede Risikokategorie.
- Voraussichtliche Zeitpläne, die angeben, wann die Modelle voraussichtlich die derzeitige höchste Risikostufe überschreiten werden, unterstützt durch eine detaillierte Begründung, zugrunde liegende Annahmen und die Verwendung von Prognosemethoden, Expertenbefragungen oder professionellen Schätzungen.
- Klare Beschreibung, wie externe Leitlinien (einschließlich staatlicher Vorgaben) die Entscheidungen über Entwicklung und Einsatz beeinflussen.

Klare Zuweisung der Zuständigkeiten für das Management systemischer Risiken (Verpflichtung 8).
Verfahren für Aktualisierungen und Überarbeitungen des Rahmens.
Die Unterzeichner müssen die Rahmenvereinbarung innerhalb von vier Wochen, nachdem sie der Kommission mitgeteilt haben, dass ihr GPAI-Modell den Schwellenwert für die Einstufung als GPAI-Modell mit systemischem Risiko erreicht, und mindestens zwei Wochen vor der Markteinführung bestätigen.

Maßnahme 1.2: Umsetzung des Rahmens

Die Unterzeichner führen eine kontinuierliche Bewertung der systemischen Risiken durch:

Durchführung rationalisierter Modellevaluierungen (z. B. automatisierte Evaluierungen) zu bestimmten Auslösungspunkten (die auf der Grundlage von Zeitrahmen, Computerschulungsressourcen, Entwicklungsmeilensteinen, Benutzerzugänglichkeit, Inferenzrechnerkapazität und/oder Möglichkeiten festgelegt werden).
Laufende Überwachung nach dem Inverkehrbringen,
Einbeziehung von Erkenntnissen aus Berichten über schwere Zwischenfälle.
Ausweitung des Umfangs und der Intensität der Bewertung, wenn die Umstände dies rechtfertigen, oder Durchführung umfassender Protokolle zur Bewertung und Minderung systemischer Risiken auf der Grundlage von Bewertungsergebnissen, Überwachungsdaten nach dem Inverkehrbringen und Informationen über schwerwiegende Vorfälle.

Sie setzen kontinuierlich Maßnahmen zur Minderung des Systemrisikos ein, die die Ergebnisse der Bewertungen (Modellbewertungen, Überwachung nach dem Inverkehrbringen und Analyse schwerwiegender Zwischenfälle) widerspiegeln.

Sie führen umfassende Protokolle zur Bewertung und Minderung systemischer Risiken durch:

Systematische Ermittlung von Systemrisiken.
Gründliche Analyse jedes identifizierten systemischen Risikos.
Bestimmung des Akzeptanzniveaus für systemische Risiken.
Umsetzung von Maßnahmen zur Risikominderung und Neubewertung, wenn sich die Risiken als inakzeptabel erweisen, gefolgt von der Einführung von Gegenmaßnahmen im Bereich der Sicherheit und/oder Gefahrenabwehr, wobei der Prozess zur Risikoermittlung zurückkehrt

Dieser Prozess muss vor der Markteinführung abgeschlossen sein.

Sie muss wiederholt werden, wenn:

Die vernünftigerweise vorhersehbaren Umstände, die die Rechtfertigung für akzeptable systemische Risikoniveaus, einschließlich eingebauter Sicherheitsmargen, untermauern, wären nicht mehr gültig.
Die Anwendung des Modells oder seine Integration in KI-Systeme hat eine wesentliche Änderung erfahren oder wird voraussichtlich eine solche erfahren.

Die Unterzeichner müssen dem AI-Büro eine umfassende Berichterstattung über alle Maßnahmen und Prozesse vorlegen.

Maßnahme 1.3: Aktualisierung des Rahmens

Die Unterzeichner überarbeiten das Rahmenwerk bei Bedarf - unverzüglich nach jeder Bewertung -, um sicherzustellen, dass es aktuell bleibt und den neuesten Standards entspricht. Alle Aktualisierungen müssen eine umfassende Änderungsdokumentation enthalten, in der die Gründe, die Versionsbezeichnung und das Einführungsdatum angegeben sind.

Es werden Rahmenbewertungen durchgeführt:

Mindestens einmal jährlich nach der Markteinführung des Modells; oder
Früher, wenn begründete Hinweise darauf vorliegen, dass die Angemessenheit oder die Einhaltung der Vorschriften erheblich beeinträchtigt wurde.

Zu den auslösenden Bedingungen gehören:

Wesentliche Änderungen, die vorhersehbar zu inakzeptablen Systemrisiken führen könnten.
Schwerwiegende Vorfälle oder Beinaheunfälle, die auf realisierte systemische Risiken hinweisen.
Bemerkenswerte Veränderungen der systemischen Risikoprofile (einschließlich der Entwicklung der Modellfähigkeit oder der abnehmenden Wirksamkeit der Risikominderung).

Evaluierungen untersuchen:

Angemessenheit: Ob die Verfahren und Maßnahmen der Rahmenregelung systemische Risiken wirksam bekämpfen.
Einhaltung: Einhaltung der Rahmenvorgaben, Erklärungen für etwaige Nichteinhaltung, ergriffene Korrekturmaßnahmen und - falls eine künftige Nichteinhaltung möglich erscheint - detaillierte Abhilfestrategien.

Maßnahme 1.4: Rahmenbescheide

Die Unterzeichner gewähren dem AI-Büro innerhalb von fünf Arbeitstagen nach der endgültigen Bestätigung vollständigen, ungeschwärzten Zugang zu ihrem Rahmenwerk und allen nachfolgenden Aktualisierungen.

Verpflichtung 2: Ermittlung systemischer Risiken

Die Unterzeichner verpflichten sich, systemische Risiken durch eine systematische Methodik zu ermitteln, einschließlich der Erstellung von Risikoszenarien, die als Grundlage für die Analyse systemischer Risiken und Akzeptanzentscheidungen dienen.

Maßnahme 2.1: Verfahren zur Ermittlung systemischer Risiken

Die Unterzeichner ermitteln systemische Risiken durch:

Erstellung eines umfassenden Inventars potenzieller Risiken (Anhang 1.1), wobei modellagnostische Quellen, modellspezifische Informationen (einschließlich Daten nach dem Inverkehrbringen und Berichte über Zwischenfälle) sowie Leitlinien des AI-Büros, des wissenschaftlichen Gremiums oder des internationalen Netzwerks der AI-Sicherheitsinstitute (sofern offiziell anerkannt) herangezogen werden.
Prüfung der einschlägigen Merkmale (Anhang 1.2) und Quellen (Anhang 1.3).
Identifizierung systemischer Risiken aus dieser umfassenden Analyse.
Identifizierung von Risiken, die in Anhang 1.4 aufgeführt sind.

Maßnahme 2.2: Szenarien für systemische Risiken

Die Unterzeichner erstellen detaillierte Systemrisikoszenarien, in denen die optimale Menge und Granularität für jedes ermittelte Systemrisiko festgelegt wird.

Verpflichtung 3: Systemische Risikoanalyse

Die Unterzeichner verpflichten sich, jedes identifizierte Systemrisiko gründlich zu untersuchen, um Entscheidungen über die Akzeptanz von Systemrisiken zu treffen. Dies umfasst die Sammlung von modellunabhängigen Informationen, die Durchführung von Modellbewertungen, Risikomodellierung, Schätzungsaktivitäten und die laufende Überwachung von Systemrisiken.

Maßnahme 3.1: Modell-unabhängige Informationen

Die Unterzeichner sammeln sachdienliche modellunabhängige Informationen durch Ansätze wie umfassende Literaturrecherchen, Markt- und Ausbildungsdatenanalysen, Studien über Unfallmuster, Trendprognosen, Expertenkonsultationen und öffentliche Meinungsforschung.

Maßnahme 3.2: Modellbewertungen

Die Unterzeichner führen modernste Evaluierungen in allen relevanten Modalitäten durch, um Modellfähigkeiten, Verhaltenstendenzen, operationelle Merkmale und reale Auswirkungen zu untersuchen (Anhang 3).

Evaluierungen müssen geeignete Methoden anwenden, ergebnisoffene Tests für neu entstehende Eigenschaften beinhalten und von modellunabhängigen Informationen geleitet sein. Zu den Ansätzen gehören: strukturierte Befragung, aufgabenorientierte Bewertung, standardisierte Benchmarks, kontradiktorische Tests, Studien zur Verbesserung der menschlichen Fähigkeiten, Forschung an Modellorganismen, Simulationsübungen und stellvertretende Bewertungen für begrenzte Inhaltsbereiche.

Maßnahme 3.3: Modellierung des systemischen Risikos

Die Unterzeichner führen eine fortgeschrittene Modellierung des Systemrisikos durch, die sich auf Risikoszenarien stützt und sich auf festgestellte Risiken und umfassende Analysen stützt.

Maßnahme 3.4: Schätzung des systemischen Risikos

Die Unterzeichner berechnen die Wahrscheinlichkeit und den Schweregrad potenzieller Schäden unter Verwendung von Methoden, die dem Stand der Technik entsprechen. Die Schätzungen können quantitativer, halbquantitativer oder qualitativer Art sein und umfassen Risikobewertungssysteme, Risikomatrizen oder Wahrscheinlichkeitsverteilungen und müssen ermittelte Risiken, Analyseergebnisse und Daten zu schweren Zwischenfällen berücksichtigen.

Maßnahme 3.5: Überwachung nach dem Inverkehrbringen

Die Unterzeichner richten umfassende Überwachungssysteme für die Zeit nach dem Inverkehrbringen ein, um Systemrisikobestimmungen, Aktualisierungen des Modellberichts und zeitliche Prognosen zu ermöglichen.

Bei den Überwachungsmaßnahmen werden die Fähigkeiten, Neigungen, Möglichkeiten und Auswirkungen des Modells unter anderem durch folgende Methoden bewertet:

Sammlung von Endbenutzer-Feedback, spezielle Meldekanäle, Bug-Bounty-Programme, Community-gesteuerte Bewertungen.
Überwachung von Code-Repositories und Social-Media-Plattformen, Initiativen zur Unterstützung der Forschung.
Datenprotokollierung unter Wahrung der Privatsphäre (einschließlich Wasserzeichen und Herkunftsnachweis).
Überwachung von Verstößen gegen Nutzungsbeschränkungen und daraus resultierenden Vorfällen.
Verfolgung undurchsichtiger Modellmerkmale, die für die Bewertung des Systemrisikos relevant sind.

Unterzeichner, die KI-Systeme betreiben, die ihre GPAI-Modelle einbeziehen, müssen entsprechende Überwachungsprotokolle für diese Systeme einführen.

Zur Erleichterung einer wirksamen Überwachung gewähren die Unterzeichner einer ausreichenden Zahl unabhängiger externer Evaluatoren kostenlosen Zugang zu den fortgeschrittensten Versionen des Modells, einschließlich Varianten mit minimalen Sicherheitseinschränkungen, sofern nicht gleichwertige sichere Modelle zur Verfügung gestellt werden. Zu den Zugangsmechanismen gehören API-Schnittstellen, Vor-Ort-Installationen, die Bereitstellung spezieller Hardware oder die öffentliche Verteilung des Modells.

Die Unterzeichner veröffentlichen transparente Standards für die Auswahl der Bewerter und verwenden die Bewertungsergebnisse ausschließlich für Zwecke der Bewertung des Systemrisikos. Inputs und Outputs von Bewertern dürfen nicht ohne ausdrückliche Zustimmung in Modellschulungsprozesse einbezogen werden.

Die Unterzeichner sehen von rechtlichen oder technischen Vergeltungsmaßnahmen gegen Evaluatoren ab, die in gutem Glauben Tests und Veröffentlichungen durchführen, vorausgesetzt, dass sie:

Aufrechterhaltung der Modellverfügbarkeit ohne Unterbrechung.
Gehen Sie verantwortungsvoll mit sensiblen Daten um.
Vermeiden Sie die Gefährdung der öffentlichen Sicherheit.
Verzicht auf die zwangsweise Anwendung von Erkenntnissen.
Halten Sie sich an verantwortungsbewusste Offenlegungsprotokolle.

Diese Offenlegungsgrundsätze müssen eine Veröffentlichung innerhalb von 30 Geschäftstagen ermöglichen, es sei denn, eine längere Frist ist aufgrund von Bedenken hinsichtlich eines erhöhten Systemrisikos gerechtfertigt.

Kleine und mittlere Unternehmen (KMU) und Small Midcaps (SMC) können die Unterstützung des AI-Büros für Überwachungsaktivitäten in Anspruch nehmen.

Verpflichtung 4: Festlegung der Akzeptanz von systemischen Risiken

Die Unterzeichner verpflichten sich, klare Standards für die Akzeptanz von Systemrisiken festzulegen und zu bestimmen, ob Systemrisiken akzeptabel sind, bevor sie mit der Entwicklung, der Markteinführung oder der operativen Einführung fortfahren.

Maßnahme 4.1: Akzeptanzkriterien für systemische Risiken und Festlegung der Akzeptanz

Die Unterzeichner müssen die Kriterien für die Akzeptanz von Systemrisiken in ihrer Rahmenwerksdokumentation darlegen und begründen.

Die Kriterien müssen quantifizierbare Risikostufen - die mindestens eine noch nicht erreichte Kategorie umfassen - auf der Grundlage von Fähigkeitsbewertungen, Verhaltensneigungen, Risikoberechnungen oder alternativen Maßstäben umfassen.

Sie wenden diese Kategorien mit angemessenen Sicherheitsmargen an, um die Annehmbarkeit einzelner und aggregierter Systemrisiken unter Berücksichtigung der Ergebnisse der Risikoermittlung und -analyse zu bewerten.

Sicherheitsabstände müssen berücksichtigt werden:

Unsicherheiten bei den Quellen des systemischen Risikos (wie z.B. das Entstehen von Fähigkeiten nach der Bewertung).
Beschränkungen der Bewertungsmethodik (einschließlich Fragen der Untererhebung).
Wirksamkeit der Abschwächung von Schwachstellen (z. B. Umgehungsrisiken).

Maßnahme 4.2: Weiterverfolgung oder Nichtweiterverfolgung auf der Grundlage der Entscheidung über die Annahme eines systemischen Risikos

Die Unterzeichner setzen die Entwicklung und Einführung nur dann fort, wenn die systemischen Risiken als akzeptabel eingestuft werden.

Wenn Risiken unannehmbar sind oder werden könnten, müssen sie geeignete Korrekturmaßnahmen ergreifen, einschließlich Nutzungsbeschränkungen, Marktrückzug, verstärkte Abhilfemaßnahmen und umfassende Neubewertung.

Verpflichtung 5: Sicherheitsvorkehrungen

Die Unterzeichner verpflichten sich, während des gesamten Lebenszyklus des Modells geeignete Sicherheitsvorkehrungen zu treffen, um ein akzeptables Niveau des Systemrisikos zu wahren.

Maßnahme 5.1: Angemessene Sicherheitsvorkehrungen

Abhilfemaßnahmen müssen sich als widerstandsfähig gegen Angriffe erweisen und mit der Verteilungsstrategie des Modells in Einklang stehen.

Beispiele für die Umsetzung sind:

Umfassende Filterung der Trainingsdaten.
Eingangs- und Ausgangsüberwachung in Echtzeit.
Verhaltensänderungen (einschließlich Protokolle zum Verweigerungstraining).
Stufenmodell für den Zugang.
Abhilfemaßnahmen für nachgeschaltete Anwender.
Quantitative Sicherheitsgarantien.
Sichere Agenten-Ökosysteme (einschließlich Modellidentifizierung, spezialisierte Protokolle, Tools für die Reaktion auf Vorfälle).
Instrumente zur Verbesserung der Transparenz (einschließlich Zugänglichkeit der Gedankenkette, Bewertung der Dauerhaftigkeit von Abhilfemaßnahmen).

Mittelbindung 6: Sicherheitsvorkehrungen

Die Unterzeichner verpflichten sich, während des gesamten Lebenszyklus des Modells robuste Cybersicherheitsmaßnahmen aufrechtzuerhalten, um Risiken durch unbefugte Freigabe, Zugriff oder Diebstahl zu vermeiden. Ausgeschlossen sind Modelle mit geringeren Fähigkeiten als mindestens ein Modell mit Parametern, die zum öffentlichen Download zur Verfügung stehen. Die Sicherheitsmaßnahmen bleiben in Kraft, bis die Modellparameter öffentlich zugänglich gemacht oder sicher gelöscht werden.

Maßnahme 6.1: Sicherheit Ziel

Die Unterzeichner legen ein umfassendes Sicherheitsziel fest, in dem die Bedrohungsakteure genannt werden, vor denen die Maßnahmen zum Schutz vor Bedrohungen auf der Grundlage aktueller und geplanter Modellfähigkeiten schützen sollen.

Maßnahme 6.2: Geeignete Sicherheitsvorkehrungen

Die Unterzeichner setzen Sicherheitsmaßnahmen ein, die mit ihren festgelegten Sicherheitszielen übereinstimmen und die in Anlage 4 aufgeführten Maßnahmen einschließen.
Jede Abweichung von Anhang 4.1-4.5(a) muss gleichwertige Schutzwirkungen nachweisen.
Die Umsetzung kann schrittweise erfolgen, um der Entwicklung der Modellfähigkeit zu entsprechen.

Verpflichtung 7: Sicherheitsmodellberichte

Die Unterzeichner verpflichten sich, vor der Markteinführung umfassende Sicherheitsmodellberichte zu erstellen, für deren Aktualisierung zu sorgen und das AI-Büro rechtzeitig zu informieren. Die Berichte können sich auf frühere Einreichungen beziehen und ggf. mehrere Modelle umfassen. Kleine und mittlere Unternehmen (KMU) und Small Midcaps (SMC) können einen geringeren Detailgrad vorlegen.

Maßnahme 7.1: Modellbeschreibung und Verhalten

Der Musterbericht muss enthalten:

Eine ausführliche Beschreibung der Architektur, der Fähigkeiten, der Neigungen, der Möglichkeiten und der Entwicklungsmethodik des Modells (einschließlich Trainingsansätze und Datenquellen).
Aktuelle und geplante Anwendungen des Modells.
Verfügbare Modellvarianten und Versionen.
Modellspezifikationen (einschließlich Leitprinzipien, Prinzipienhierarchie, Ablehnungskategorien, Systemaufforderungen).

Maßnahme 7.2: Gründe für das Vorgehen

Der Bericht muss klar begründen, warum systemische Risiken als akzeptabel erachtet werden, und zwar unter anderem:

Umfassende Begründung und eingebaute Sicherheitsmargen.
Vernünftigerweise vorhersehbare Umstände, unter denen die Rechtfertigung ungültig werden könnte.
Einzelheiten zum Entscheidungsfindungsprozess (ggf. einschließlich des Beitrags der Behörden).

Maßnahme 7.3: Dokumentation der Ermittlung, Analyse und Minderung systemischer Risiken

Der Bericht muss eine umfassende Dokumentation enthalten:

Ergebnisse der Identifizierung und Analyse systemischer Risiken, einschließlich:
- Beschreibung des Verfahrens zur Ermittlung systemischer Risiken.
- Erläuterung der Unsicherheiten und Annahmen bei der Verwendung von Modellen und der Integration in KI-Systeme.
- Zusammenfassung der Ergebnisse der Modellierung des systemischen Risikos.
- Detaillierte Beschreibung der vom Modell ausgehenden systemischen Risiken, einschließlich der Evaluierungsverfahren, der während der Evaluierung durchgeführten Tests und Aufgaben, der Bewertungsmethoden, des Prozesses zur Erhebung der Fähigkeiten, der Vergleiche der Bewertungsergebnisse mit den menschlichen Ausgangsdaten, der verschiedenen Modellversionen und Evaluierungsumgebungen.
- Fünf zufällig ausgewählte Stichproben von Inputs und Outputs aus jeder relevanten Modellevaluation (z. B. Textvervollständigungen, Inhaltsgenerationen oder Agententrajektorien), um die unabhängige Interpretation der Evaluationsergebnisse und die Bewertung des Systemrisikos zu unterstützen. Trajektorien, die bei der Erklärung des systemischen Risikos eine wichtige Rolle spielen, müssen einbezogen werden. Zusätzliche Stichproben müssen auf Anfrage des AI Office zur Verfügung gestellt werden.
- Beschreibung der Ressourcen und des Zugangs zu: internen Modellbewertungsteams und unabhängigen externen Bewertern, die sie auch selbst direkt dem AI-Büro zur Verfügung stellen können.
- Gegebenenfalls Nachweis, dass die Kriterien "sicheres Referenzmodell" und "ähnlich sicheres oder sichereres Modell" erfüllt sind.
Beschreibung aller durchgeführten Sicherheitsmaßnahmen, ihrer Übereinstimmung mit den in der Maßnahme 5.1 festgelegten Standards und der Einschränkungen der Maßnahmen.
Beschreibung des Sicherheitsziels (Maßnahme 6.1); alle durchgeführten Sicherheitsmaßnahmen; wie sie das Sicherheitsziel erreichen, einschließlich der Angleichung an internationale Standards; und Begründung, wie alternative Ansätze das beabsichtigte Sicherheitsziel erreichen, falls die Sicherheitsmaßnahmen in den Anhängen 4.1-4.5(a) nicht befolgt wurden.
Detaillierte Beschreibung der geplanten Techniken und Ressourcen für die Modellentwicklung in den nächsten sechs Monaten, einschließlich der Verwendung anderer KI-Systeme, der erwarteten Unterschiede bei den Fähigkeiten und dem Verhalten künftiger Modelle sowie der geplanten neuen oder erheblich aktualisierten Sicherheitsvorkehrungen.

Maßnahme 7.4: Externe Berichte

Der Bericht muss Folgendes enthalten:

Hyperlinks oder Zitate zu Berichten unabhängiger externer Evaluatoren (Anhang 3.5) und unabhängiger Sicherheitsüberprüfer (Anhang 4.5), wobei die Vertraulichkeitsanforderungen und die Aufsicht über die Evaluatoren zu beachten sind.
Begründung, wenn kein externer Evaluator beauftragt wurde (siehe Anhang 3.5).
Erläuterung der Auswahl des Bewerters auf der Grundlage der nachgewiesenen Qualifikationen.

Maßnahme 7.5: Wesentliche Änderungen der Systemrisikolandschaft

Der Bericht muss wesentliche Veränderungen im Umfeld des Systemrisikos beschreiben, die sich aus der Entwicklung oder Einführung des Modells ergeben, wie z. B.:

Neuartige Skalierungsbeziehungen.
Bahnbrechende architektonische Innovationen.
Erhöhte oder verringerte Wirksamkeit der Schadensbegrenzung.
Neue Ausbildungsmethoden, die die Durchführbarkeit der verteilten Ausbildung verbessern.

Maßnahme 7.6: Aktualisierungen des Modellberichts

Die Berichte müssen aktualisiert werden, wenn die Begründungen für die Akzeptanz des Systemrisikos in erheblichem Maße untergraben werden:

Aktivierung bestimmter Auslösebedingungen (Kapazitätsverschiebungen, neue Integrationen, schwerwiegende Vorfälle).
Wesentliche Änderungen der Fähigkeiten, Neigungen oder Möglichkeiten aufgrund zusätzlicher Nachschulung, Integration mit neuen Werkzeugen oder verstärkter Inferenzberechnung.
Eine wesentliche Änderung der Art und Weise, wie das Modell verwendet oder in KI-Systeme integriert wird.
Schwerwiegende Zwischenfälle oder Beinaheunfälle mit dem Modell oder einem ähnlichen Modell.
Entwicklungen, die entweder:
- die externe Validität bereits durchgeführter Modellevaluierungen materiell zu untergraben,
- den Stand der Technik bei der Modellbewertung erheblich verbessern oder
- anderweitig darauf hinweisen, dass die ursprüngliche Bewertung des systemischen Risikos in erheblichem Maße unzutreffend ist.
Die Aktualisierungen sollten innerhalb eines angemessenen Zeitrahmens abgeschlossen werden.
Aktualisierungen aufgrund bewusster Änderungen müssen abgeschlossen sein, bevor die Änderung auf dem Markt verfügbar gemacht wird.
Für die leistungsfähigsten Modelle, die derzeit auf dem Markt sind, muss der Unterzeichner dem AI-Büro mindestens alle sechs Monate einen aktualisierten Modellbericht vorlegen, es sei denn:
- Die Fähigkeiten, Neigungen und Möglichkeiten des Modells haben sich seit dem letzten Bericht nicht wesentlich verändert;
- Der Unterzeichner beabsichtigt, innerhalb eines Monats ein leistungsfähigeres Modell herauszubringen; oder
- Das Modell wird gemäß Anhang 2.2 für jedes gemäß Maßnahme 2.1 ermittelte systemische Risiko als "ähnlich sicher oder sicherer" eingestuft.
Der aktualisierte Musterbericht muss Folgendes enthalten:
- Aktualisierte Inhalte gemäß den Maßnahmen 7.1 bis 7.5 auf der Grundlage der jüngsten vollständigen Bewertung des systemischen Risikos und des Prozesses zur Risikominderung; und
- Ein Änderungsprotokoll, das beschreibt, was aktualisiert wurde, warum die Änderungen vorgenommen wurden, die neue Versionsnummer und das Datum der Aktualisierung.

Maßnahme 7.7: Benachrichtigungen über Modellberichte

Die Berichte müssen bis zum Zeitpunkt der Markteinführung (ungeschwärzt, sofern nicht durch nationale Sicherheitsvorschriften eingeschränkt) vorgelegt werden.
Aktualisierungen müssen innerhalb von 5 Werktagen nach der Bestätigung eingereicht werden.
Eine Verlängerung um 15 Tage ist zulässig, wenn:
- Das AI-Büro stellt fest, dass der Unterzeichner in gutem Glauben handelt; und
- Unverzüglich wird ein Zwischenbericht vorgelegt, der eine Begründung für das weitere Vorgehen (Maßnahme 7.2) und die Veränderungen in der systemischen Risikolandschaft (Maßnahme 7.5) enthält.

Verpflichtung 8: Zuweisung der Verantwortung für systemische Risiken

Die Unterzeichner verpflichten sich, die Zuständigkeiten für das Management der mit ihren Modellen verbundenen systemischen Risiken auf allen Ebenen der Organisation klar zuzuweisen, den mit dem Management der systemischen Risiken betrauten Personen oder Teams angemessene Ressourcen zuzuweisen und eine solide Risikokultur innerhalb der Organisation zu fördern.

Maßnahme 8.1: Festlegung klarer Zuständigkeiten

Aufsicht über systemische Risiken: Überwachung der Prozesse zur Bewertung und Minderung systemischer Risiken.
Verantwortung für systemische Risiken: Tägliches Management von Systemrisiken, einschließlich Bewertungen, Schadensbegrenzung und Reaktion auf Vorfälle.
Unterstützung und Überwachung des systemischen Risikos: Laufende Unterstützung und Überwachung von Prozessen für systemische Risiken.
Sicherung des systemischen Risikos: Interne und/oder externe Überprüfung der Angemessenheit des Risikomanagements gegenüber dem aufsichtsrechtlichen Leitungsorgan oder einer gleichwertigen unabhängigen Stelle.

Die Zuständigkeiten müssen entsprechend der Leitungsstruktur und der Komplexität des Unterzeichners zugewiesen werden, einschließlich:

Aufsichtsfunktion des Leitungsorgans (z. B. Vorstand, Risiko-/Prüfungsausschuss);
Exekutivfunktion des Leitungsorgans;
Operative Teams;
Interne Prüfer (z. B. interne Revision), falls vorhanden;
Externe Prüfer (z. B. externe Wirtschaftsprüfer), falls vorhanden.

Die Maßnahme gilt als erfüllt, wenn sie in einem angemessenen Verhältnis zu den systemischen Risiken des Modells steht:

Die Aufsicht erfolgt durch einen speziellen Ausschuss oder ein unabhängiges Gremium (z. B. einen Risiko-/Prüfungsausschuss). Bei KMUs/SMCs kann eine Person in der Aufsichtsfunktion ausreichen.
Die Verantwortung wird geeigneten Personen auf Führungsebene übertragen (z. B. dem Leiter der Forschungs-/Produktabteilung), wobei die Verantwortung kaskadenartig an die operativen Führungskräfte weitergegeben wird.
Unterstützung und Überwachung wird Mitgliedern der Geschäftsleitung zugewiesen, die nicht direkt an risikobehafteten Geschäften beteiligt sind (z. B. CRO oder VP of Safety). KMUs/SMCs müssen mindestens ein Mitglied der Geschäftsleitung haben, das für diese Funktion verantwortlich ist.
Die Prüfung wird von einer bestimmten Person oder Funktion (z. B. dem Leiter der Innenrevision) geleitet, die von internen/externen Prüfern unterstützt wird. Für KMUs/SMCs ist eine regelmäßige aufsichtliche Bewertung erforderlich.

Maßnahme 8.2: Zuweisung angemessener Ressourcen

Die Leitungsorgane der Unterzeichner müssen die Zuteilung von Ressourcen überwachen und sicherstellen, die ausreichen, um die mit der Verantwortung für Systemrisiken betrauten Personen (gemäß Maßnahme 8.1) zu unterstützen, und zwar im Verhältnis zur Höhe des Systemrisikos. Zu den Arten von Ressourcen gehören Personal, finanzielle Ressourcen, Zugang zu Informationen und Wissen sowie rechnerische Ressourcen.

Maßnahme 8.3: Förderung einer gesunden Risikokultur

Tonfall der Führung: Die oberste Führungsebene kommuniziert den Rahmen für systemische Risiken klar.
Offene Kommunikation: Die Mitarbeiter können Entscheidungen über systemische Risiken ansprechen und in Frage stellen.
Unabhängigkeit und Anreize: Das Risikopersonal ist unabhängig und hat Anreize, um eine Unter- oder Überschätzung des Risikos zu vermeiden.
Bewusstsein des Personals: Die Umfragen bestätigen, dass die Mitarbeiter über die Risiken und die Möglichkeiten, Bedenken zu äußern, informiert sind.
Effektive Berichtswege: Meldemechanismen werden genutzt und es wird entsprechend gehandelt.
Whistleblower-Politik: Die Arbeitnehmer werden jährlich informiert, und die Maßnahmen sind öffentlich zugänglich.
Keine Vergeltungsmaßnahmen: Gegen Personen, die den Behörden in gutem Glauben systemische Risiken melden, werden keine nachteiligen Maßnahmen ergriffen.

Verpflichtung 9: Meldung schwerwiegender Zwischenfälle

Die Unterzeichner verpflichten sich, schwerwiegende Vorfälle mit ihren Modellen systematisch zu verfolgen, zu dokumentieren und dem AI-Büro und den zuständigen nationalen Behörden ohne unnötige Verzögerung zu melden. Die Berichte müssen Abhilfemaßnahmen enthalten und in einem angemessenen Verhältnis zur Schwere des Vorfalls stehen.

Maßnahme 9.1: Methoden zur Ermittlung schwerer Zwischenfälle

Um schwerwiegende Vorfälle zu identifizieren, müssen die Unterzeichner:

Anwendung der in Maßnahme 3.5 beschriebenen Methoden, einschließlich einer systematischen Überwachung nach dem Inverkehrbringen.
Konsultieren Sie externe Quellen, darunter Polizei- und Medienberichte, Inhalte sozialer Medien, akademische Recherchen und Datenbanken zu Vorfällen.
Ermöglichung der Berichterstattung durch Dritte, indem nachgelagerte Anbieter, Nutzer und andere Beteiligte über verfügbare direkte Berichtswege informiert werden und die Berichterstattung entweder an den Unterzeichner oder direkt an das AI-Büro und/oder die nationalen Behörden erleichtert wird.

Maßnahme 9.2: Relevante Informationen für die Verfolgung, Dokumentation und Meldung schwerer Zwischenfälle

Die Unterzeichner müssen mindestens und nach bestem Wissen und Gewissen die folgenden Informationen verfolgen, dokumentieren und an das AI-Büro und gegebenenfalls an die zuständigen nationalen Behörden melden (in angemessener Weise geschwärzt, um die Datenschutzbestimmungen der Union und andere geltende Gesetze einzuhalten):

Beginn und Ende des Vorfalls (oder bestmögliche Annäherung).
Beschreibung des entstandenen Schadens und der betroffenen Personen oder Gruppen.
Die Kausalkette der Ereignisse.
Identifizierung des betreffenden Modells.
Belege für die Beteiligung des Modells.
Vom Unterzeichner getroffene oder geplante Maßnahmen.
Empfehlungen für Maßnahmen des AI-Büros oder der zuständigen Behörden.
Analyse der Grundursachen, einschließlich:
- Die Modellergebnisse, die den Vorfall verursacht oder zu ihm beigetragen haben.
- Verwendete Eingaben.
- Systemische Fehler bei der Schadensbegrenzung oder Umgehungen.
Muster aus der Überwachung nach dem Inverkehrbringen, die sinnvollerweise mit dem Vorfall in Verbindung stehen (z. B. Beinaheunfälle, Trends bei Anomalien).

Hinweis: Wenn bestimmte Informationen zum Zeitpunkt der Meldung nicht verfügbar sind, muss dies im Bericht ausdrücklich vermerkt werden. Der Detaillierungsgrad muss der Schwere des Vorfalls entsprechen.

Maßnahme 9.3: Fristen für die Berichterstattung

Erster Bericht: Muss die in den Punkten (1)-(7) der Maßnahme 9.2 genannten Informationen enthalten und wie folgt vorgelegt werden:

Störung kritischer Infrastrukturen: ≤ 2 Tage ab Kenntnisnahme)
Schwerwiegende Verletzung der Cybersicherheit (z. B. Exfiltration, Cyberangriff): ≤ 5 Tage ab Kenntnisnahme
Tod einer Person: ≤ 10 Tage ab Kenntnis
Schwerer Schaden für Gesundheit, Grundrechte, Eigentum oder Umwelt: ≤ 15 Tage ab Kenntnisnahme

Die Kenntnis umfasst sowohl die nachgewiesene als auch die begründete Vermutung, dass das Modell des Unterzeichners beteiligt ist.

Zwischenbericht: Bleibt ein Vorfall ungelöst, müssen die Unterzeichner mindestens alle vier Wochen nach der Einreichung des ersten Berichts aktualisierte Informationen einschließlich zusätzlicher Details aus Maßnahme 9.2 vorlegen.

Abschlussbericht: Muss spätestens 60 Tage nach Beendigung des Vorfalls vorgelegt werden und alle in Maßnahme 9.2 geforderten Informationen enthalten.

Konsolidierte Berichterstattung: Treten innerhalb eines Meldezeitraums mehrere ähnliche schwerwiegende Vorfälle auf, können sie in denselben Bericht aufgenommen werden wie der erste Vorfall, sofern die individuellen Meldefristen für diesen ersten Fall eingehalten werden.

Maßnahme 9.4: Aufbewahrungsfrist

Alle Unterlagen und relevanten Informationen, die im Rahmen dieser Maßnahme gesammelt werden, müssen mindestens fünf (5) Jahre lang aufbewahrt werden, je nachdem, was später eintritt: das Datum der Dokumentation oder das Datum des schwerwiegenden Vorfalls - unbeschadet etwaiger EU-rechtlicher Verpflichtungen zur Aufbewahrung von Informationen.

Mittelbindung 10: Zusätzliche Dokumentation und Transparenz

Die Unterzeichner verpflichten sich, ihre Umsetzung des Kapitels Sicherheit zu dokumentieren und zusammengefasste Fassungen ihrer Rahmen- und Modellberichte zu veröffentlichen, wenn dies zur Minderung des Systemrisikos erforderlich ist.

Maßnahme 10.1: Zusätzliche Dokumentation

Aufzubewahrende und auf Verlangen vorzulegende Kerndokumentation: Die Unterzeichner müssen die folgenden Unterlagen erstellen und aufbewahren, damit sie dem AI-Büro auf Anfrage zur Verfügung gestellt werden können, und sicherstellen, dass diese Dokumente auf dem neuesten Stand bleiben:

Eine detaillierte Beschreibung der Architektur des Modells.
Ausführliche Erläuterung der Integration des Modells in KI-Systeme, einschließlich der Art und Weise, wie die Softwarekomponenten aufeinander aufbauen oder sich gegenseitig ergänzen, und ihrer Integration in die gesamte Verarbeitungspipeline, soweit dem Unterzeichner bekannt.
Eine detaillierte Darstellung der im Rahmen dieses Kapitels durchgeführten Modellevaluierungen, einschließlich der Evaluierungsstrategien und der Evaluierungsergebnisse.
Ausführliche Beschreibung der Sicherheitsmaßnahmen, die gemäß der Verpflichtung 5 durchgeführt wurden.

Diese Unterlagen müssen mindestens zehn (10) Jahre lang aufbewahrt werden, nachdem das betreffende Modell in Verkehr gebracht wurde.

Zusätzliche Aufzeichnungen zum Nachweis der Einhaltung von Maßnahmen gegen systemische Risiken: Um die Einhaltung dieses Kapitels auf Verlangen des AI-Büros nachzuweisen, sind die Unterzeichner außerdem verpflichtet, Folgendes zu verfolgen und aufzubewahren, sofern es nicht bereits in den oben genannten Unterlagen enthalten ist:

Verfahren, Maßnahmen und wichtige Entscheidungen, die Teil der Bemühungen des Unterzeichners zur Bewertung und Minderung von Systemrisiken sind.
Begründungen für die Auswahl eines bestimmten bewährten Verfahrens, eines dem Stand der Technik entsprechenden Prozesses oder einer Maßnahme oder eines anderen innovativen Prozesses oder einer Maßnahme, wenn diese zum Nachweis der Einhaltung dieses Kapitels herangezogen werden.

Hinweis: Die oben genannten Informationen müssen nicht in einem einzigen Archiv zusammengestellt oder gespeichert werden. Sie müssen jedoch abrufbar sein und auf Anfrage des AI-Büros zur Verfügung gestellt werden.

Maßnahme 10.2: Öffentliche Transparenz

Wenn es für die Bewertung und/oder Abschwächung von Systemrisiken erforderlich ist, müssen die Unterzeichner (z. B. über ihre Website) eine zusammengefasste Version ihres Rahmens (gemäß Verpflichtung 1) und ihres Modellberichts (gemäß Verpflichtung 7), einschließlich aller Aktualisierungen, veröffentlichen.

Die veröffentlichte Version muss Zusammenfassungen der Ergebnisse der systemischen Risikobewertung und Beschreibungen der umgesetzten Sicherheitsmaßnahmen enthalten.

Bei jeder Veröffentlichung müssen Informationen, die die Wirksamkeit von Sicherheitsvorkehrungen untergraben oder sensible Geschäftsinformationen gefährden würden, ausgeschlossen oder unkenntlich gemacht werden.

Die Veröffentlichung ist nicht erforderlich für:

Rahmen - wenn alle Modelle des Unterzeichners als "ähnlich sichere oder sicherere Modelle" gemäß Anlage 2.2 eingestuft werden.
Modellberichte - wenn das betreffende Modell als "ähnlich sicheres oder sichereres Modell" gemäß Anhang 2.2 eingestuft wird.

Anhänge

Anhang 1: Systemische Risiken und andere Überlegungen

Anhang 1.1: Arten von Risiken

Um festzustellen, ob ein Systemrisiko vorliegt (gemäß Artikel 3 Absatz 65 des AI-Gesetzes), werden die Risiken in fünf Haupttypen unterteilt, die sich überschneiden können:

Risiken für die öffentliche Gesundheit
Risiken für die Sicherheit
Risiken für die öffentliche Sicherheit
Gefährdung der Grundrechte
Risiken für die Gesellschaft als Ganzes

Beispiele sind Bedrohungen für kritische Infrastrukturen, die psychische Gesundheit der Bevölkerung, die Meinungsfreiheit, den Datenschutz, die wirtschaftliche Sicherheit, die Umwelt und die Demokratie. Spezifische Risiken wie Desinformation, nicht-einvernehmliche intime Bilder (NCII) und Material über sexuellen Kindesmissbrauch (CSAM) werden ebenfalls behandelt.

Anhang 1.2: Art der systemischen Risiken

Anhang 1.2.1: Wesentliche Merkmale

Ein Risiko ist systemisch, wenn es:

ist spezifisch für hochwirksame KI-Fähigkeiten,
hat erhebliche Auswirkungen auf den gesamten EU-Markt, und
Kann über die gesamte KI-Wertschöpfungskette skaliert werden.

Anhang 1.2.2: Beitragende Merkmale

Dazu gehören:

Abhängigkeit von den Fähigkeiten oder der Reichweite: Das Risiko wächst mit der Leistung oder Nutzung des Modells.
Hohe Geschwindigkeit: Schnelles Auftreten, schneller als die Abhilfemaßnahmen.
Kaskadierende Wirkung: Löst Kettenreaktionen aus.
Unumkehrbarkeit: Anhaltender oder dauerhafter Schaden.
Asymmetrie: Nur wenige Akteure können großflächige Auswirkungen verursachen.

Anhang 1.3 Quellen für systemische Risiken

Anhang 1.3.1 Modellfähigkeiten

Risiken können sich aus Funktionen wie den folgenden ergeben:

Offensiv-Cyber- oder CBRN-Fähigkeiten,
Überredende oder täuschende Interaktion,
Autonomie, Selbstreplikation oder Planung,
Einsatz von Werkzeugen und Kontrolle von physikalischen Systemen,
Selbstbegründung und Umgehung der Aufsicht.

Anhang 1.3.2 Modellneigungen

Diese beziehen sich auf Tendenzen wie z. B.:

Unvereinbarkeit mit menschlichen Absichten oder Werten,
Diskriminierende Voreingenommenheit, Halluzinationen oder Gesetzlosigkeit,
Zielstrebigkeit oder Machtstreben,
Kollusion oder Konflikt mit anderen Systemen.

Anhang 1.3.3 Modellabhängigkeit und andere systemische Risikoquellen

Ein systemisches Risiko kann auch entstehen durch:

Zugang zu leistungsfähigen Werkzeugen oder Infrastrukturen,
Schwache Sicherheit, mangelhafte Überwachung oder Missbrauch,
Breiter Einsatz oder Nutzerbasis,
Schwachstellen in Freigabestrategien,
Unzureichende Erklärbarkeit oder Transparenz.

Anhang 1.4 Spezifische systemische Risiken

Für die Zwecke der Risikoermittlung (Maßnahme 2.1, Punkt 2) werden die folgenden Risiken als spezifizierte systemische Risiken behandelt:

CBRN-Risiko: AI senkt die Barrieren oder erhöht die Auswirkungen von chemischen, biologischen, radiologischen oder nuklearen Angriffen.
Kontrollverlust: Die Unfähigkeit des Menschen, Modelle aufgrund von Fehlausrichtung, Autonomie oder Widerstand zu ändern oder abzuschalten.
Cyberangriffe: KI ermöglicht fortgeschrittene Cyberangriffe, insbesondere auf kritische Infrastrukturen.
Schädliche Manipulation: Strategische Überredung oder Täuschung von Bevölkerungen oder Entscheidungsträgern, die potenziell demokratische Prozesse oder Grundrechte untergraben.

Anhang 2: Ähnlich sichere oder sicherere Modelle

Anhang 2.1 Sichere Referenzmodelle

Ein Modell gilt in Bezug auf ein bestimmtes Systemrisiko als sicheres Referenzmodell, wenn alle der folgenden Bedingungen erfüllt sind:

Rechtlicher Status:
- Das Modell wurde vor der Veröffentlichung dieses Kapitels in Verkehr gebracht; oder
- Sie hat die vollständige Bewertung der systemischen Risiken und der Risikominderung abgeschlossen, und das AI-Büro hat seinen Modellbericht erhalten, in dem die Risiken als akzeptabel eingestuft werden.
Ausreichende Sichtbarkeit:
- Der Unterzeichner hat vollen Einblick in die Architektur, die Fähigkeiten, die Tendenzen, die Möglichkeiten und die Abhilfemaßnahmen des Modells.
- Dies gilt für die eigenen Modelle des Unterzeichners oder für Fälle, in denen ein vollständiger technischer Zugang gewährt wird (einschließlich der Modellparameter).
Keine gegenteiligen Beweise:
- Es gibt keine anderen vernünftigen Gründe für die Annahme, dass die systemischen Risiken des Modells nicht akzeptabel sind.

Anhang 2.2 Ähnlich sichere oder sicherere Modelle

Ein Modell kann in Bezug auf ein bestimmtes systemisches Risiko als ähnlich sicher oder sicherer eingestuft werden, wenn:

Risikovergleich:
- Nach der Ermittlung des systemischen Risikos sieht der Unterzeichner nach vernünftigem Ermessen kein wesentlich anderes Risikoszenario als das sichere Referenzmodell.
Benchmarking:
- Das Modell schneidet bei allen relevanten, leichtgewichtigen Benchmarks, die dem neuesten Stand der Technik entsprechen, mit nur geringfügigen Leistungssteigerungen, die das Risiko nicht wesentlich erhöhen, auf dem Niveau des Referenzmodells oder darunter ab.
- Die Benchmarks müssen gemäß den festgelegten Verfahren durchgeführt werden (Maßnahme 3.2).
Technische Gleichwertigkeit:
- Es sind keine architektonischen oder verhaltensbedingten Unterschiede bekannt, die vernünftigerweise zu einem erhöhten Systemrisiko führen würden.
- Es gibt auch keine anderen vernünftigen Gründe für die Annahme, dass das Risiko wesentlich höher ist als beim Referenzmodell.

Wichtiger Hinweis: Die Bewertungen in Anlage 2.2 Punkte (2) und (3) und Anlage 2.1 Punkt (2) müssen angemessene Sicherheitsmargen enthalten, um Unsicherheiten, wie unvollständige Informationen oder Messfehler, zu berücksichtigen.

Verliert ein zuvor als sichere Referenz verwendetes Modell diesen Status, muss der Unterzeichner innerhalb von sechs Monaten handeln, um entweder:

ein neues sicheres Referenzmodell zu identifizieren, oder
Anwendung aller aufsichtsrechtlichen Verpflichtungen auf das betreffende Modell, einschließlich des Abschlusses aller zuvor ausgenommenen oder reduzierten Elemente des Verfahrens zur Bewertung des Systemrisikos.

Anhang 3: Modellbewertungen

Anhang 3.1: Strenge Modellbewertungen

Alle Modellevaluierungen müssen mit einem hohen Maß an wissenschaftlicher und technischer Strenge durchgeführt werden, um sicherzustellen:

Interne Validität (die Ergebnisse spiegeln das getestete Szenario genau wider),
Externe Validität (die Ergebnisse sind auf die reale Welt übertragbar), und
Reproduzierbarkeit (unabhängige Replikation ist möglich).

Anhang 3.2: Erhebung des Modells

Bei der Bewertung müssen alle Fähigkeiten, Tendenzen und potenziellen Auswirkungen des Modells mit Hilfe modernster Techniken ermittelt werden, die darauf ausgerichtet sind:

Minimierung der Untererfassung (Fehlen relevanter Verhaltensweisen),
Verhinderung von Täuschungen durch das Modell während der Tests (z. B. Sandbagging).
Zu den Techniken gehören Änderungen beim Zugriff auf den Computer, die Gestaltung von Eingabeaufforderungen, Gerüstbau und Feinabstimmung.

Die Unterzeichner müssen:

die Erhebungsmöglichkeiten potenzieller Missbrauchsakteure abgleichen und
den erwarteten Nutzungskontext widerspiegeln, einschließlich geplanter oder bereits für ähnliche Modelle verwendeter Tools und Integrationen.

Anhang 3.3: Bewertung der Wirksamkeit von Abhilfemaßnahmen

Bei den Bewertungen muss geprüft werden, wie gut die Sicherheitsvorkehrungen funktionieren, insbesondere wenn die Akzeptanz von Systemrisiken von ihnen abhängt. Dies schließt ein:

ob die Abhilfemaßnahmen wie vorgesehen funktionieren,
ob sie umgangen oder unterwandert werden können (z. B. durch Jailbreaking),
ob ihre Wirksamkeit mit der Zeit nachlässt.

Bei den Tests müssen modernste gegnerische Techniken eingesetzt werden, um Schwachstellen aufzuspüren.

Anhang 3.4: Qualifizierte Bewertungsteams und Ressourcen

Die Bewertungen müssen von multidisziplinären Teams durchgeführt werden, die sowohl über technisches als auch über fachliches Know-how in Bezug auf das jeweilige systemische Risiko verfügen. Zu den indikativen Qualifikationen gehören:

Einschlägige Promotion oder von Fachleuten begutachtete Arbeiten,
Erfahrung in der Entwicklung von Methoden zur Modellbewertung,
Mindestens 3 Jahre einschlägige Arbeits- oder Forschungserfahrung.

Die Teams müssen mit folgenden Mitteln ausgestattet sein:

Ausreichender Zugriff auf das Modell, einschließlich interner Komponenten (z. B. Logits, Aktivierungen) und ggf. unveränderter Versionen,
Modellinformationen, einschließlich Spezifikationen und Trainingsdaten,
Zeit (z. B. mindestens 20 Arbeitstage für die meisten Aufgaben), und
Ressourcen, einschließlich Datenverarbeitung, technische Unterstützung und Personal.

Bei der Gewährung des Zugriffs auf sensible Modellkomponenten müssen Sicherheitsaspekte berücksichtigt werden.

Anhang 3.5 Unabhängige externe Modellbewertungen

Zusätzlich zu den internen Überprüfungen müssen die Unterzeichner qualifizierte, unabhängige externe Gutachter benennen, es sei denn, es handelt sich um eine interne Überprüfung:

Das Modell wird bereits als "ähnlich sicher oder sicherer" eingestuft (Anhang 2.2), oder
Trotz redlicher Bemühungen (z. B. ein 20-tägiger öffentlicher Aufruf) können keine geeigneten externen Bewerter gefunden werden.

Unabhängige Gutachter müssen:

Sie verfügen über einschlägige fachliche und technische Kenntnisse,
strenge Sicherheitsprotokolle zu befolgen, und
Sie erklären sich bereit, vertrauliche Geschäftsinformationen zu schützen.

Sie müssen über ausreichenden Zugang, Informationen, Zeit und Ressourcen verfügen, wie in Anhang 3.4 dargelegt. Die Unterzeichner dürfen die Integrität externer Tests nicht beeinträchtigen (z. B. durch unerlaubtes Aufzeichnen von Testdaten).

Kleine und mittlere Unternehmen (KMUs/SMCs) können das AI-Büro um Unterstützung bitten, um diese Anforderungen zu erfüllen.

Anhang 4: Ziele und Maßnahmen zur Risikominderung

Anhang 4.1 Allgemeine Sicherheitsvorkehrungen

Die Unterzeichner müssen grundlegende Cybersicherheitsmaßnahmen zum Schutz vor allgemeinen Bedrohungen ergreifen. Dazu gehören:

Netzzugangskontrolle: Identitäts- und Zugriffsmanagement (z. B. MFA, starke Passwörter, Zero-Trust-Architektur, drahtlose Sicherheit gleichwertig zu kabelgebundenen, Isolierung von Gastnetzwerken).
Schutz vor Social Engineering: E-Mail-Filterung zur Erkennung von Phishing und verdächtigen Anhängen.
Malware und Wechselmedien: Richtlinien, die die Verwendung von USB-Geräten und ähnlichen Geräten einschränken.
Software-Sicherheit: Regelmäßige Software-Updates und Patch-Management zur Verhinderung von Sicherheitslücken.

Anhang 4.2 Schutz der nicht freigegebenen Modellparameter

Um sensible Modelldaten zu schützen, müssen die Unterzeichner:

Verfolgung aller gespeicherten Kopien: Führen Sie ein sicheres Register der Geräte/Standorte mit Modellparametern.
Beschränken Sie das Kopieren auf nicht verwaltete Geräte: Erzwingen Sie Zugriffskontrollen und überwachen Sie die unbefugte Datenübertragung.
Verschlüsseln Sie Parameter bei der Übertragung und im Ruhezustand: Verwenden Sie 256-Bit-Verschlüsselung und sichere Schlüsselspeicherung (z. B. TPM).
Sichere temporäre Speicherung: Entschlüsseln Sie Parameter nur im nicht-persistenten Speicher zur rechtmäßigen Verwendung.
Sichere Parameter bei der Verwendung: Einsatz vertraulicher Datenverarbeitungstechniken wie bescheinigte vertrauenswürdige Ausführungsumgebungen.
Kontrolle des physischen Zugangs: Beschränken Sie den Zugang zu sensiblen Umgebungen (z. B. Rechenzentren) und führen Sie Inspektionen auf unbefugte Anwesenheit oder Geräte durch.

Anhang 4.3 Härtungsschnittstelle - Zugriff auf nicht freigegebene Modellparameter

Die Unterzeichner müssen alle Schnittstellen, die auf unveröffentlichte Modellparameter zugreifen, absichern:

Beschränken Sie den Zugang zur Schnittstelle: Beschränken Sie den Zugriff auf autorisierte Benutzer/Software mit MFA und überprüfen Sie die Berechtigungen mindestens alle 6 Monate.
Sicherer Schnittstellencode: Führen Sie eingehende manuelle oder automatisierte Sicherheitsüberprüfungen von Code durch, der mit dem Zugriff auf Modellparameter verbunden ist.
Verhindern Sie die Exfiltration: Wenden Sie Methoden wie die Begrenzung der Ausgaberate auf Schnittstellen an.
Minimieren Sie den Zugang von Insidern: Begrenzen Sie, wer auf nicht gehärtete Schnittstellen mit Modellparametern zugreifen kann.

Anhang 4.4 Insider-Bedrohungen

Zum Schutz vor Sabotage oder internem Diebstahl (auch durch oder über Modelle):

Personalüberprüfung: Führen Sie Hintergrundüberprüfungen bei Personen durch, die Zugang zu sensiblen Modelldaten/-systemen haben.
Bewusstsein für Insider-Bedrohungen: Schulung der Mitarbeiter zur Erkennung und Meldung von Insider-Bedrohungen.
Verhinderung der Selbstexfiltration durch Modelle: Verwenden Sie Sandboxing und Isolierung der Codeausführung.
Sichern Sie die Modellschulung: Überprüfen Sie die Trainingsdaten auf Manipulationen oder Sabotage.

Anhang 4.5 Gewährleistung der Sicherheit

Um zu überprüfen, ob die Sicherheitsmaßnahmen wirksam sind, müssen die Unterzeichner:

Nutzen Sie unabhängige externe Überprüfungen, wenn die internen Kapazitäten nicht ausreichen.
Durchführung von Red-Teaming zur Ermittlung von Sicherheitslücken in Netzen und Einrichtungen.
Führen Sie gegebenenfalls Bug-Bounty-Programme für öffentlich zugängliche Endpunkte durch.
Testen von Protokollen zur Eindämmung von Insidern, einschließlich Bewertungen der personellen Integrität.
Erleichtern Sie die Meldung von Problemen über sichere Kommunikationskanäle Dritter.
Aktive Überwachung der Systeme mit Endpoint Detection and Response (EDR) oder Intrusion Detection Systems (IDS).
Schnelle Reaktion auf Bedrohungen durch geschulte Sicherheitsteams für die Bearbeitung von Vorfällen und die Wiederherstellung.

Dieser Beitrag wurde am 30 Jul, 2025 veröffentlicht