1. Für AI-Systeme mit hohem Risiko wird ein Risikomanagementsystem eingerichtet, umgesetzt, dokumentiert und aufrechterhalten.
2. Das Risikomanagementsystem ist als ein kontinuierlicher, iterativer Prozess zu verstehen, der während des gesamten Lebenszyklus eines risikoreichen AI-Systems geplant und durchgeführt wird und eine regelmäßige systematische Überprüfung und Aktualisierung erfordert. Es umfasst die folgenden Schritte:
(a) die Ermittlung und Analyse der bekannten und der vernünftigerweise vorhersehbaren Risiken, die das AI-System mit hohem Risiko für die Gesundheit, die Sicherheit oder die Grundrechte darstellen kann, wenn das AI-System mit hohem Risiko bestimmungsgemäß verwendet wird;
(b) die Abschätzung und Bewertung der Risiken, die entstehen können, wenn das Hochrisiko-KI-System bestimmungsgemäß und unter den Bedingungen einer vernünftigerweise vorhersehbaren Fehlanwendung eingesetzt wird;
(c) die Bewertung anderer möglicherweise auftretender Risiken auf der Grundlage der Analyse von Daten, die im Rahmen des in Artikel 72 genannten Systems zur Überwachung nach dem Inverkehrbringen gesammelt wurden;
(d) die Verabschiedung geeigneter und gezielter Risikomanagementmaßnahmen, um den gemäß Buchstabe a ermittelten Risiken zu begegnen.
3. (3) Die in diesem Artikel genannten Risiken betreffen nur solche, die durch die Entwicklung oder Konstruktion des AI-Systems mit hohem Risiko oder durch die Bereitstellung angemessener technischer Informationen nach vernünftigem Ermessen eingedämmt oder ausgeschaltet werden können.
4. Bei den in Absatz 2 Buchstabe d genannten Risikomanagementmaßnahmen sind die Auswirkungen und möglichen Wechselwirkungen, die sich aus der kombinierten Anwendung der in diesem Abschnitt festgelegten Anforderungen ergeben, gebührend zu berücksichtigen, um die Risiken wirksamer zu minimieren und gleichzeitig ein angemessenes Gleichgewicht bei der Durchführung der Maßnahmen zur Erfüllung dieser Anforderungen zu erreichen.
5. Die in Absatz 2 Buchstabe d genannten Risikomanagementmaßnahmen müssen so beschaffen sein, dass das mit den einzelnen Gefahren verbundene relevante Restrisiko sowie das Gesamtrestrisiko der mit hohem Risiko behafteten AI-Systeme als annehmbar eingestuft wird. Bei der Ermittlung der am besten geeigneten Risikomanagementmaßnahmen ist Folgendes zu beachten:
(a) Beseitigung oder Verringerung der gemäß Absatz 2 ermittelten und bewerteten Risiken, soweit dies technisch möglich ist, durch eine angemessene Gestaltung und Entwicklung des AI-Systems für Hochrisikoprodukte;
(b) gegebenenfalls Durchführung angemessener Maßnahmen zur Abschwächung und Kontrolle von Risiken, die nicht beseitigt werden können;
(c) die Bereitstellung der gemäß Artikel 13 erforderlichen Informationen und gegebenenfalls die Schulung der Einsatzkräfte. Im Hinblick auf die Beseitigung oder Verringerung der Risiken im Zusammenhang mit dem Einsatz des Hochrisiko-KI-Systems werden die technischen Kenntnisse, die Erfahrung, die Ausbildung und die zu erwartende Schulung des Anwenders sowie der voraussichtliche Kontext, in dem das System eingesetzt werden soll, angemessen berücksichtigt.
6. AI-Systeme mit hohem Risiko werden getestet, um die am besten geeigneten und gezielten Risikomanagementmaßnahmen zu ermitteln. Durch die Tests wird sichergestellt, dass AI-Systeme mit hohem Risiko für den beabsichtigten Zweck durchgängig funktionieren und die in diesem Abschnitt festgelegten Anforderungen erfüllen.
7. Die Prüfverfahren können Prüfungen unter realen Bedingungen gemäß Artikel 60 umfassen.
8. Die Erprobung von KI-Systemen mit hohem Risiko erfolgt gegebenenfalls zu jedem Zeitpunkt des Entwicklungsprozesses, in jedem Fall aber vor dem Inverkehrbringen oder der Inbetriebnahme des Systems. Die Tests werden anhand zuvor festgelegter Messgrößen und Wahrscheinlichkeitsschwellen durchgeführt, die für den beabsichtigten Zweck des KI-Systems mit hohem Risiko geeignet sind.
9. (8) Bei der Anwendung des Risikomanagementsystems gemäß den Absätzen 1 bis 7 prüfen die Anbieter, ob das AI-System für hohe Risiken angesichts des beabsichtigten Zwecks nachteilige Auswirkungen auf Personen unter 18 Jahren und gegebenenfalls auf andere schutzbedürftige Gruppen haben könnte.
10. Bei Anbietern von KI-Systemen mit hohem Risiko, die aufgrund anderer einschlägiger Bestimmungen des Unionsrechts Anforderungen an interne Risikomanagementverfahren unterliegen, können die in den Absätzen 1 bis 9 genannten Aspekte Teil der gemäß diesen Rechtsvorschriften festgelegten Risikomanagementverfahren sein oder mit diesen kombiniert werden.