Artikel 9: Systeem voor risicobeheer
1.
Met betrekking tot AI-systemen met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) wordt een systeem voor risicobeheer vastgesteld, uitgevoerd, gedocumenteerd en in stand gehouden.
2.
Onder het systeem voor risicobeheer wordt verstaan een tijdens de gehele levensduur van een AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) doorlopend en gepland iteratief proces, dat periodieke systematische toetsing en actualisering vereist. Het omvat de volgende stappen:
(a)
het vaststellen en analyseren van de bekende en de redelijkerwijs te voorziene risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2)’s die het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) kan inhouden voor de gezondheid, veiligheid of grondrechten indien het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) in overeenstemming met het beoogde doel ervan wordt gebruikt;
(b)
het inschatten en evalueren van de risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2)’s die zich kunnen voordoen wanneer het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) wordt gebruikt in overeenstemming met het beoogde doel ervan en in een situatie van redelijkerwijs te voorzien misbruikredelijkerwijs te voorzien misbruikhet gebruik van een AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) op een wijze die niet in overeenstemming is met het beoogde doel, maar die kan voortvloeien uit redelijkerwijs te voorzien menselijk gedrag of redelijkerwijs te voorziene interactie met andere systemen, waaronder andere AI-systemenArticle 3(13);
(c)
het evalueren van andere risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2)’s die zich kunnen voordoen op basis van de analyse van de data die zijn verzameld door het systeem voor monitoring na het in de handel brengenin de handel brengenhet voor het eerst in de Unie op de markt aanbieden van een AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) of een AI-model voor algemene doeleindenArticle 3(9)systeem voor monitoring na het in de handel brengenin de handel brengenhet voor het eerst in de Unie op de markt aanbieden van een AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) of een AI-model voor algemene doeleindenArticle 3(9)alle door aanbieders van AI-systemen verrichte activiteiten voor het verzamelen en evalueren van ervaringen met door hen in de handel gebrachte of in gebruik gestelde AI-systemen, teneinde te kunnen vaststellen of er onmiddellijk corrigerende dan wel preventieve maatregelen nodig zijnArticle 3(25), als bedoeld in artikel 72;
(d)
het vaststellen van gepaste en gerichte risicobeheersmaatregelen om de op grond van punt a) vastgestelde risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2)’s aan te pakken.
3.
De in dit artikel bedoelde risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2)’s omvatten uitsluitend risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2)’s die redelijkerwijs kunnen worden beperkt of weggenomen via het ontwikkelen of ontwerpen van het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) of de verstrekking van adequate technische informatie.
4.
Ten aanzien van de in lid 2, punt d), bedoelde risicobeheersmaatregelen wordt naar behoren rekening gehouden met de effecten en mogelijke wisselwerking die voortvloeien uit de gecombineerde toepassing van de in deze afdeling uiteengezette eisen, teneinde de risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2)’s doeltreffender tot een minimum te beperken en tegelijkertijd een passend evenwicht te bereiken bij de uitvoering van de maatregelen ter vervulling van de voorschriften.
5.
De in lid 2, punt d), bedoelde risicobeheersmaatregelen zijn zodanig dat het desbetreffende restrisico in verband met elk gevaar en het totale restrisico van de AI-systemen met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) aanvaardbaar wordt geacht.
Bij het vaststellen van de passendste risicobeheersmaatregelen wordt het volgende gewaarborgd:
(a)
uitsluiting of beperking van op grond van lid 2 vastgestelde en geëvalueerde risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2)’s voor zover technisch haalbaar door middel van een adequaat ontwerp en ontwikkeling van het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2);
(b)
waar passend worden adequate maatregelen voor beperking en controle genomen voor het aanpakken van risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2)’s die niet kunnen worden uitgesloten;
(c)
verstrekking van op grond van artikel 13 vereiste informatie en waar passend opleiding voor gebruiksverantwoordelijken.
Teneinde de risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2)’s in verband met het gebruik van het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) weg te nemen of te beperken, wordt naar behoren aandacht besteed aan de te verwachten technische kennis, ervaring, scholing en opleiding van de gebruiksverantwoordelijkegebruiksverantwoordelijkeeen natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteitArticle 3(4) en de vermoedelijke context waarin het systeem dient te worden gebruikt.
6.
AI-systemen met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) worden getest met het oog op het vaststellen van de passendste en gerichte risicobeheersmaatregelen. De tests zorgen ervoor dat AI-systemen met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) consistent presteren ten aanzien van het beoogde doel ervan en in overeenstemming zijn met de eisen van deze afdeling.
7.
De testprocedures kunnen onder meer bestaan in testen onder reële omstandighedentesten onder reële omstandighedenhet tijdelijk testen van een AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) voor zijn beoogde doel onder reële omstandigheden buiten een laboratorium of anderszins gesimuleerde omgeving teneinde betrouwbare en robuuste gegevens te verkrijgen, en te beoordelen en te verifiëren of het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) overeenstemt met de voorschriften van deze verordening en het wordt niet aangemerkt als het in de handel brengenin de handel brengenhet voor het eerst in de Unie op de markt aanbieden van een AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) of een AI-model voor algemene doeleindenArticle 3(9) of in gebruik stellenin gebruik stellende directe levering van een AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) aan de gebruiksverantwoordelijke voor het eerste gebruik of voor eigen gebruik in de Unie voor het beoogde doelArticle 3(11) van het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) in de zin van deze verordening, mits aan alle in artikel 57 of artikel 60 vastgestelde voorwaarden is voldaanArticle 3(57) overeenkomstig artikel 60.
8.
Het testen van AI-systemen met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) vindt, zoals passend, in de loop van het ontwikkelingsproces plaats en in ieder geval voordat het systeem in de handel wordt gebracht of in gebruik wordt gesteld. Er wordt getest aan de hand van vooraf vastgestelde beoordelingsmaatstaven en probabilistische drempels die passend zijn voor het beoogde doel van het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2).
9.
Bij de uitvoering van het in de leden 1 tot en met 7 bepaalde systeem voor risicobeheer houden aanbieders rekening met de vraag of het beoogde doel van het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) waarschijnlijk negatieve gevolgen zal hebben voor personen jonger dan 18 jaar en, in voorkomend geval, voor andere kwetsbare groepen.
10.
Voor aanbieders van AI-systemen met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) die onderworpen zijn aan eisen met betrekking tot interne risicobeheerprocessen uit hoofde van andere relevante bepalingen van het Unierecht, kunnen de in de leden 1 tot en met 9 bepaalde aspecten deel uitmaken van of gecombineerd worden met de op grond van dat recht vastgestelde risicobeheerprocedures.