1. KI-Systeme mit hohem Risiko sind so zu konzipieren und zu entwickeln, dass sie ein angemessenes Niveau an Genauigkeit, Robustheit und Cybersicherheit erreichen und während ihres gesamten Lebenszyklus in dieser Hinsicht konsistent funktionieren.
2. Um die technischen Aspekte der Messung des in Absatz 1 genannten angemessenen Genauigkeits- und Robustheitsniveaus und anderer relevanter Leistungsindikatoren zu behandeln, fördert die Kommission in Zusammenarbeit mit den einschlägigen Interessengruppen und Organisationen wie Metrologie- und Benchmarking-Behörden gegebenenfalls die Entwicklung von Benchmarks und Messmethoden.
3. Die Genauigkeitsgrade und die relevanten Genauigkeitsmetriken von KI-Systemen mit hohem Risiko sind in der beiliegenden Gebrauchsanweisung anzugeben.
4. KI-Systeme mit hohem Risiko müssen so widerstandsfähig wie möglich gegenüber Fehlern, Störungen oder Unstimmigkeiten sein, die innerhalb des Systems oder der Umgebung, in der das System betrieben wird, auftreten können, insbesondere aufgrund ihrer Interaktion mit natürlichen Personen oder anderen Systemen. Zu diesem Zweck sind technische und organisatorische Maßnahmen zu treffen. Die Robustheit von KI-Systemen mit hohem Risiko kann durch technische Redundanzlösungen erreicht werden, die Backup- oder Fail-Safe-Pläne umfassen können. KI-Systeme mit hohem Risiko, die nach dem Inverkehrbringen oder der Inbetriebnahme weiter lernen, sind so zu entwickeln, dass das Risiko, dass möglicherweise verzerrte Ergebnisse den Input für künftige Operationen beeinflussen (Rückkopplungsschleifen), beseitigt oder so weit wie möglich verringert wird, und dass sichergestellt wird, dass solche Rückkopplungsschleifen durch geeignete Abhilfemaßnahmen angemessen berücksichtigt werden.
5. KI-Systeme mit hohem Risiko müssen gegen Versuche unbefugter Dritter, ihre Nutzung, ihre Ergebnisse oder ihre Leistung durch Ausnutzung von Systemschwachstellen zu verändern, widerstandsfähig sein. Die technischen Lösungen, die die Cybersicherheit von KI-Systemen mit hohem Risiko gewährleisten sollen, müssen den jeweiligen Umständen und Risiken angemessen sein. Die technischen Lösungen zur Behebung von KI-spezifischen Schwachstellen umfassen gegebenenfalls Maßnahmen zur Verhinderung, Erkennung, Reaktion, Behebung und Kontrolle von Angriffen, die darauf abzielen, den Trainingsdatensatz (Data Poisoning) oder bereits trainierte Komponenten, die beim Training verwendet werden (Model Poisoning), zu manipulieren, Eingaben, die das KI-Modell zu einem Fehler veranlassen sollen (gegnerische Beispiele oder Modellumgehung), sowie Angriffe auf die Vertraulichkeit oder Modellfehler.