AI Act Documents:
Overweging 73
(73) AI-systemen met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) moeten op zodanige wijze worden ontworpen en ontwikkeld dat natuurlijke personen toezicht kunnen houden op de werking ervan en dat zij zoals beoogd worden gebruikt, en dat de gevolgen ervan gedurende de levenscyclus van het systeem worden aangepakt. Daartoe moeten passende maatregelen voor menselijk toezicht worden bepaald door de aanbiederaanbiedereen natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem of een AI-model voor algemene doeleinden ontwikkelt of laat ontwikkelen en dat systeem of model in de handel brengt of het AI-systeem in gebruik stelt onder de eigen naam of merk, al dan niet tegen betalingArticle 3(3) van het systeem voordat het in de handel wordt gebracht of in gebruik wordt gesteld. Dergelijke maatregelen moeten, waar passend, met name waarborgen dat voor het systeem ingebouwde operationele beperkingen gelden die niet door het systeem zelf kunnen worden omzeild, dat het systeem reageert op de menselijke operatoroperatoreen aanbieder, productfabrikant, gebruiksverantwoordelijke, gemachtigde, importeur of distributeurArticle 3(8) en dat de natuurlijke personen aan wie de taak van het menselijk toezicht is toegewezen, beschikken over de noodzakelijke competenties, opleiding en autoriteit om deze taak uit te voeren. Het is in voorkomend geval ook van essentieel belang dat AI-systemen met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) mechanismen bevatten om een natuurlijke persoon aan wie de taak van het menselijk toezicht is toegewezen, te begeleiden en te informeren zodat deze persoon geïnformeerd kan beslissen of, wanneer en hoe moet worden ingegrepen om negatieve gevolgen of risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2)’s te voorkomen, of om het systeem stop te zetten als het niet naar behoren functioneert. Gezien de aanzienlijke gevolgen voor personen in geval van een onjuiste match door bepaalde systemen voor biometrische identificatiebiometrische identificatiede geautomatiseerde herkenning van fysieke, fysiologische, gedragsgerelateerde of psychologische menselijke kenmerken om de identiteit van een natuurlijk persoon vast te stellen door biometrische gegevensbiometrische gegevenspersoonsgegevenspersoonsgegevenspersoonsgegevens zoals gedefinieerd in artikel 4, punt 1, van Verordening (EU) 2016/679Article 3(50) die het resultaat zijn van een specifieke technische verwerking met betrekking tot de fysieke, fysiologische of gedragsgerelateerde kenmerken van een natuurlijk persoon, zoals gezichtsafbeeldingen of vingerafdrukgegevensArticle 3(34) van die persoon te vergelijken met in een databank opgeslagen biometrische gegevensbiometrische gegevenspersoonsgegevenspersoonsgegevenspersoonsgegevens zoals gedefinieerd in artikel 4, punt 1, van Verordening (EU) 2016/679Article 3(50) die het resultaat zijn van een specifieke technische verwerking met betrekking tot de fysieke, fysiologische of gedragsgerelateerde kenmerken van een natuurlijk persoon, zoals gezichtsafbeeldingen of vingerafdrukgegevensArticle 3(34) van personenArticle 3(35), is het passend te voorzien in een voorschrift voor verscherpt menselijk toezicht voor die systemen, zodat er door de gebruiksverantwoordelijkegebruiksverantwoordelijkeeen natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) onder eigen verantwoordelijkheid gebruikt, tenzij het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) wordt gebruikt in het kader van een persoonlijke niet-beroepsactiviteitArticle 3(4) geen maatregelen of beslissingen kunnen worden genomen op basis van de identificatie door het systeem, tenzij deze identificatie door ten minste twee natuurlijke personen afzonderlijk is geverifieerd en bevestigd. Deze personen kunnen afkomstig zijn van een of meer entiteiten en deze functie kan worden vervuld door de persoon die het systeem exploiteert of gebruikt. Deze eis mag geen onnodige lasten of vertragingen met zich meebrengen en het kan volstaan dat de afzonderlijke verificaties door de verschillende personen automatisch worden geregistreerd in de logbestanden die door het systeem worden gegenereerd. Gezien de specifieke kenmerken van rechtshandhavingrechtshandhavingactiviteiten die worden verricht door of namens rechtshandhavings-instanties met het oog op de voorkoming van, het onderzoek naar, de opsporing of de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheidArticle 3(46), migratie, grenstoezicht en asiel, mag deze eis niet van toepassing zijn wanneer het Unierecht of het nationale recht de toepassing van dat vereiste onevenredig acht.