1. AI-systemen met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) worden zodanig ontworpen en ontwikkeld, met inbegrip van passende mens-machine-interface-instrumenten, dat hierop tijdens de periode dat zij worden gebruikt, op doeltreffende wijze toezicht kan worden uitgeoefend door natuurlijke personen.

2. Het menselijk toezicht is gericht op het voorkomen of beperken van de risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2)’s voor de gezondheid, veiligheid of grondrechten die zich kunnen voordoen wanneer een AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) wordt gebruikt in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruikredelijkerwijs te voorzien misbruikhet gebruik van een AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) op een wijze die niet in overeenstemming is met het beoogde doel, maar die kan voortvloeien uit redelijkerwijs te voorzien menselijk gedrag of redelijkerwijs te voorziene interactie met andere systemen, waaronder andere AI-systemenArticle 3(13), met name wanneer dergelijke risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2)’s blijven bestaan ondanks de toepassing van andere eisen van deze afdeling.

3. De toezichtmaatregelen staan in verhouding met de risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2)’s, de mate van autonomie en de gebruikscontext van het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) en worden gewaarborgd door middel van een of alle van de volgende soorten maatregelen:

(a) door de aanbiederaanbiedereen natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem of een AI-model voor algemene doeleinden ontwikkelt of laat ontwikkelen en dat systeem of model in de handel brengt of het AI-systeem in gebruik stelt onder de eigen naam of merk, al dan niet tegen betalingArticle 3(3) bepaalde maatregelen die waar technisch haalbaar in het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) worden ingebouwd voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld;

(b) door de aanbiederaanbiedereen natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem of een AI-model voor algemene doeleinden ontwikkelt of laat ontwikkelen en dat systeem of model in de handel brengt of het AI-systeem in gebruik stelt onder de eigen naam of merk, al dan niet tegen betalingArticle 3(3) bepaalde maatregelen voordat het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) in de handel wordt gebracht of in gebruik wordt gesteld en die passend zijn om door de gebruiksverantwoordelijkegebruiksverantwoordelijkeeen natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteitArticle 3(4) te worden uitgevoerd.

4. Met het oog op de uitvoering van de leden 1, 2 en 3 wordt het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) zodanig aan de gebruiksverantwoordelijkegebruiksverantwoordelijkeeen natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteitArticle 3(4) verstrekt dat natuurlijke personen die verantwoordelijk zijn voor het menselijk toezicht, in staat worden gesteld om waar passend en evenredig:

(a) de relevante capaciteiten en beperkingen van het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) goed te begrijpen en de werking ervan naar behoren te kunnen monitoren, onder meer met het oog op het opsporen en aanpakken van onregelmatigheden, storingen en onverwachte prestaties;

(b) zich bewust te blijven van de mogelijke neiging om automatisch of te veel te vertrouwen op de output van een AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) (de zogenaamde “automation bias”), met name voor AI-systemen met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) die worden gebruikt om informatie of aanbevelingen te verstrekken voor beslissingen die door natuurlijke personen moeten worden genomen;

(c) de output van het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) juist te interpreteren, bijvoorbeeld de beschikbare instrumenten en methoden voor interpretatie;

(d) in alle specifieke situaties te kunnen besluiten om het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) niet te gebruiken of de output van het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) op andere wijze te negeren, door een andere beslissing te vervangen of terug te draaien;

(e) in te grijpen in de werking van het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) of het systeem te onderbreken door middel van een stopknop of een vergelijkbare procedure waarmee het systeem op veilige wijze kan worden stopgezet.

5. Voor AI-systemen met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) als bedoeld in bijlage III, punt 1, a), zijn de maatregelen als bedoeld in lid 3 van dit artikel zodanig dat zij waarborgen dat daarnaast door de gebruiksverantwoordelijkegebruiksverantwoordelijkeeen natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteitArticle 3(4) geen maatregelen worden getroffen of beslissingen worden genomen op basis van de identificatie door het systeem, tenzij deze identificatie door ten minste twee natuurlijke personen met de nodige bekwaamheid, opleiding en bevoegdheid apart zijn geverifieerd en bevestigd.