1. (1) KI-Systeme mit hohem Risiko sind so zu konzipieren und zu entwickeln, dass sie während ihres Einsatzes von natürlichen Personen wirksam überwacht werden können; dazu gehören auch geeignete Instrumente für die Mensch-Maschine-Schnittstelle.
2. Die menschliche Aufsicht zielt darauf ab, die Risiken für die Gesundheit, die Sicherheit oder die Grundrechte zu verhindern oder auf ein Mindestmaß zu reduzieren, die entstehen können, wenn ein KI-System mit hohem Risiko bestimmungsgemäß oder unter Bedingungen eines vernünftigerweise vorhersehbaren Missbrauchs verwendet wird, insbesondere wenn solche Risiken trotz der Anwendung anderer Anforderungen dieses
Abschnitt.
3. Die Aufsichtsmaßnahmen müssen den Risiken, dem Grad der Autonomie und dem Verwendungskontext des mit hohem Risiko behafteten KI-Systems angemessen sein und werden durch eine oder beide der folgenden Arten von Maßnahmen gewährleistet:
(a) Maßnahmen, die der Anbieter vor dem Inverkehrbringen oder der Inbetriebnahme des Hochrisiko-KI-Systems ermittelt und in dieses einbaut, sofern dies technisch machbar ist;
(b) Maßnahmen, die der Anbieter vor dem Inverkehrbringen oder der Inbetriebnahme des Hochrisiko-KI-Systems ermittelt hat und die vom Bereitsteller durchgeführt werden sollten.
4. (4) Für die Zwecke der Durchführung der Absätze 1, 2 und 3 wird das KI-System für hohe Risiken dem Einsatzbetrieb so zur Verfügung gestellt, dass natürliche Personen, denen die menschliche Aufsicht übertragen wird, in angemessener und verhältnismäßiger Weise in die Lage versetzt werden:
(a) die einschlägigen Kapazitäten und Grenzen des Hochrisiko-KI-Systems genau zu verstehen und in der Lage zu sein, seinen Betrieb ordnungsgemäß zu überwachen, auch im Hinblick auf die Erkennung und Behebung von Anomalien, Funktionsstörungen und unerwarteten Leistungen;
(b) sich der möglichen Tendenz bewusst zu sein, sich automatisch auf die von einem KI-System mit hohem Risiko erzeugten Ergebnisse zu verlassen oder sich zu sehr darauf zu verlassen ("automation bias"), insbesondere bei KI-Systemen mit hohem Risiko, die dazu verwendet werden, Informationen oder Empfehlungen für Entscheidungen zu liefern, die von natürlichen Personen zu treffen sind;
(c) die Ergebnisse des AI-Systems für hohe Risiken richtig zu interpretieren, z. B. unter Berücksichtigung der verfügbaren Interpretationsinstrumente und -methoden;
(d) in einer bestimmten Situation zu entscheiden, das AI-System für hohe Risiken nicht zu verwenden oder die Ergebnisse des AI-Systems für hohe Risiken auf andere Weise zu ignorieren, außer Kraft zu setzen oder umzukehren;
(e) in den Betrieb des Hochrisiko-KI-Systems einzugreifen oder das System durch eine "Stopp"-Taste oder ein ähnliches Verfahren zu unterbrechen, das es ermöglicht, das System in einem sicheren Zustand zum Stillstand zu bringen.
5. (5) Bei den in Anhang III Nummer 1 Buchstabe a genannten AI-Systemen mit hohem Risiko wird durch die in Absatz 3 des vorliegenden Artikels genannten Maßnahmen sichergestellt, dass der Bereitsteller darüber hinaus keine Maßnahmen oder Entscheidungen auf der Grundlage der durch das System vorgenommenen Identifizierung trifft, es sei denn, diese Identifizierung wurde von mindestens zwei natürlichen Personen mit der erforderlichen Kompetenz, Ausbildung und Autorität gesondert überprüft und bestätigt. Die Anforderung einer gesonderten Überprüfung durch mindestens zwei natürliche Personen gilt nicht für KI-Systeme mit hohem Risiko, die zu Zwecken der Strafverfolgung, der Migration, der Grenzkontrolle oder des Asyls eingesetzt werden, wenn das Unionsrecht oder das nationale Recht die Anwendung dieser Anforderung für unverhältnismäßig hält.