Overweging 59
(59)
Gezien hun rol en verantwoordelijkheid worden maatregelen van rechtshandhavings-instanties waarbij bepaalde toepassingen van AI-systemen worden gebruikt, gekenmerkt door een aanzienlijke mate van machtsverschillen en kunnen deze leiden tot de controle, de arrestatie of de vrijheidsberoving van natuurlijke personen, alsook tot andere negatieve effecten voor de grondrechten die door het Handvest worden gewaarborgd. Met name wanneer het AI-systeemAI-systeemeen op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na het inzetten ervan aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingenArticle 3(1) niet is getraind met kwalitatief hoogwaardige data, niet voldoet aan toereikende eisen wat betreft de prestaties, de nauwkeurigheid of robuustheid ervan of niet goed is ontworpen en getest voordat het in de handel is gebracht of anderszins in gebruik is gesteld, kan het personen op discriminerende wijze of anderszins onjuiste of onrechtvaardige wijze aanduiden. Bovendien kan de uitoefening van belangrijke procedurele grondrechten, zoals het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, evenals de rechten van de verdediging en het vermoeden van onschuld, worden belemmerd, met name wanneer dergelijke AI-systemen onvoldoende transparant, verklaarbaar en gedocumenteerd zijn. Het is daarom passend om een aantal AI-systemen dat bedoeld is voor gebruik in de context van rechtshandhavingrechtshandhavingactiviteiten die worden verricht door of namens rechtshandhavings-instanties met het oog op de voorkoming van, het onderzoek naar, de opsporing of de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheidArticle 3(46), waar nauwkeurigheid, betrouwbaarheid en transparantie bijzonder belangrijk zijn om negatieve effecten te voorkomen, het vertrouwen van het publiek te behouden en de verantwoording en doeltreffende voorziening in rechte te waarborgen, als systemen met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) te classificeren, voor zover het gebruik daarvan is toegestaan op grond van het toepasselijke Unierecht en nationale recht. Met het oog op de aard van de activiteiten en de hieraan gerelateerde risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2)’s moeten deze AI-systemen met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) met name AI-systemen omvatten die bedoeld zijn om door of namens rechtshandhavingsinstanties of instellingen, organen of instanties van de Unie ter ondersteuning van rechtshandhavingsinstanties te worden gebruikt voor het beoordelen van het risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) dat een natuurlijk persoon potentieel slachtoffer van strafbare feiten wordt, zoals leugendetectortests en vergelijkbare instrumenten, voor het beoordelen van de betrouwbaarheid van bewijsmateriaal tijdens het onderzoek naar of de vervolging van strafbare feiten en, voor zover niet verboden op grond van deze verordening, voor het beoordelen van het risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) dat een natuurlijk persoon een inbreuk pleegt of recidive pleegt, niet uitsluitend op basis van de profileringprofileringprofilering zoals gedefinieerd in artikel 4, punt 4, van Verordening (EU) 2016/679Article 3(52) van natuurlijke personen of de beoordeling van persoonlijkheidskenmerken of het criminele gedrag van natuurlijke personen of groepen in het verleden, voor profileringprofileringprofilering zoals gedefinieerd in artikel 4, punt 4, van Verordening (EU) 2016/679Article 3(52) in de loop van de opsporing, het onderzoek of de vervolging van strafbare feiten. AI-systemen die specifiek bedoeld zijn voor gebruik voor administratieve procedures van belasting- en douaneautoriteiten en door financiële-inlichtingeneenheden die administratieve taken uitvoeren en informatie analyseren overeenkomstig de antiwitwaswetgeving van de Unie, mogen niet worden geclassificeerd als AI-systemen met een hoog risicorisicode combinatie van de kans op schade en de ernst van die schadeArticle 3(2) die worden gebruikt door rechtshandhavingsinstanties met het oog op het voorkomen, opsporen, onderzoeken en vervolgen van strafbare feiten. Het gebruik van AI-instrumenten door rechtshandhavingsinstanties en andere relevante autoriteiten mag geen factor van ongelijkheid of uitsluiting worden. De gevolgen van het gebruik van AI-instrumenten voor de rechten van verdediging van verdachten mogen niet worden genegeerd, met name het probleem om betekenisvolle informatie over de werking van die systemen te verkrijgen, en het daaruit voortvloeiende probleem om de resultaten daarvan voor de rechtbank aan te vechten, met name door natuurlijke personen tegen wie een onderzoek loopt.