1. Systemy AI wysokiego ryzyka projektuje się i rozwija w taki sposób, w tym poprzez uwzględnienie odpowiednich narzędzi interfejsu człowiek-maszyna, aby w okresie ich wykorzystywania systemu AI mogły być skutecznie nadzorowane przez osoby fizyczne.

2. Nadzór ze strony człowieka ma na celu zapobieganie ryzyku dla zdrowia, bezpieczeństwa lub praw podstawowych lub minimalizowanie takiego ryzyka, które może się pojawić, gdy system AIsystem AIoznacza system maszynowy, który został zaprojektowany do działania z różnym poziomem autonomii po jego wdrożeniu oraz który może wykazywać zdolność adaptacji po jego wdrożeniu, a także który – na potrzeby wyraźnych lub dorozumianych celów – wnioskuje, jak generować na podstawie otrzymanych danych wejściowych wyniki, takie jak predykcje, treści, zalecenia lub decyzje, które mogą wpływać na środowisko fizyczne lub wirtualneArticle 3(1) wysokiego ryzyka jest wykorzystywany zgodnie z jego przeznaczeniem lub w warunkach dającego się racjonalnie przewidzieć niewłaściwego wykorzystania, w szczególności gdy takie ryzykoryzykooznacza połączenie prawdopodobieństwa wystąpienia szkody oraz jej dotkliwościArticle 3(2) utrzymuje się pomimo stosowania innych wymogów ustanowionych w niniejszej sekcji.

3. Środki nadzoru muszą być współmierne do ryzyka, poziomu autonomii i kontekstu wykorzystywania danego systemu AI wysokiego ryzyka, a nadzór zapewnia się za pomocą co najmniej jednego z następujących rodzajów środków:

(a) środków określonych i wbudowanych, jeżeli jest to technicznie wykonalne, w system AIsystem AIoznacza system maszynowy, który został zaprojektowany do działania z różnym poziomem autonomii po jego wdrożeniu oraz który może wykazywać zdolność adaptacji po jego wdrożeniu, a także który – na potrzeby wyraźnych lub dorozumianych celów – wnioskuje, jak generować na podstawie otrzymanych danych wejściowych wyniki, takie jak predykcje, treści, zalecenia lub decyzje, które mogą wpływać na środowisko fizyczne lub wirtualneArticle 3(1) wysokiego ryzyka przez dostawcę przed wprowadzeniem systemu do obrotu lub oddaniem do użytku;

(b) środków określonych przez dostawcę przed wprowadzeniem systemu AI wysokiego ryzyka do obrotu lub oddaniem go do użytku i które to środki nadają się do wdrożenia przez podmiot stosującypodmiot stosującyoznacza osobę fizyczną lub prawną, organ publiczny, agencję lub inny podmiot, które wykorzystują system AIsystem AIoznacza system maszynowy, który został zaprojektowany do działania z różnym poziomem autonomii po jego wdrożeniu oraz który może wykazywać zdolność adaptacji po jego wdrożeniu, a także który – na potrzeby wyraźnych lub dorozumianych celów – wnioskuje, jak generować na podstawie otrzymanych danych wejściowych wyniki, takie jak predykcje, treści, zalecenia lub decyzje, które mogą wpływać na środowisko fizyczne lub wirtualneArticle 3(1), nad którym sprawują kontrolę, z wyjątkiem sytuacji, gdy system AIsystem AIoznacza system maszynowy, który został zaprojektowany do działania z różnym poziomem autonomii po jego wdrożeniu oraz który może wykazywać zdolność adaptacji po jego wdrożeniu, a także który – na potrzeby wyraźnych lub dorozumianych celów – wnioskuje, jak generować na podstawie otrzymanych danych wejściowych wyniki, takie jak predykcje, treści, zalecenia lub decyzje, które mogą wpływać na środowisko fizyczne lub wirtualneArticle 3(1) jest wykorzystywany w ramach osobistej działalności pozazawodowejArticle 3(4).

4. Do celów wykonania ust. 1, 2 i 3 system AIsystem AIoznacza system maszynowy, który został zaprojektowany do działania z różnym poziomem autonomii po jego wdrożeniu oraz który może wykazywać zdolność adaptacji po jego wdrożeniu, a także który – na potrzeby wyraźnych lub dorozumianych celów – wnioskuje, jak generować na podstawie otrzymanych danych wejściowych wyniki, takie jak predykcje, treści, zalecenia lub decyzje, które mogą wpływać na środowisko fizyczne lub wirtualneArticle 3(1) wysokiego ryzyka udostępnia się podmiotowi stosującemu w taki sposób, aby umożliwić osobom fizycznym, którym powierzono sprawowanie nadzoru ze strony człowieka, odpowiednio i proporcjonalnie:

(a) należyte zrozumienie odpowiednich możliwości i ograniczeń systemu AI wysokiego ryzyka oraz należyte monitorowanie jego działania, w tym w celu wykrywania anomalii, nieprawidłowego funkcjonowania i nieoczekiwanych wyników działania oraz zaradzeniu im w przypadku ich wystąpienia;

(b) pozostawanie świadomym potencjalnej tendencji do automatycznego polegania lub nadmiernego polegania na wyniku wytworzonym przez system AIsystem AIoznacza system maszynowy, który został zaprojektowany do działania z różnym poziomem autonomii po jego wdrożeniu oraz który może wykazywać zdolność adaptacji po jego wdrożeniu, a także który – na potrzeby wyraźnych lub dorozumianych celów – wnioskuje, jak generować na podstawie otrzymanych danych wejściowych wyniki, takie jak predykcje, treści, zalecenia lub decyzje, które mogą wpływać na środowisko fizyczne lub wirtualneArticle 3(1) wysokiego ryzyka (tzw. „błąd automatyzacji”), w szczególności w przypadku systemów AI wysokiego ryzyka wykorzystywanych do udzielania informacji lub zaleceń na potrzeby decyzji podejmowanych przez osoby fizyczne;

(c) prawidłową interpretację wyniku systemu AI wysokiego ryzyka, biorąc pod uwagę na przykład dostępne narzędzia i metody interpretacji;

(d) podjęcie decyzji, w każdej konkretnej sytuacji, o niekorzystaniu z systemu AI wysokiego ryzyka lub w inny sposób zignorowanie, unieważnienie lub odwrócenie wyniku systemu AI wysokiego ryzyka;

(e) ingerowanie w działanie systemu AI wysokiego ryzyka lub przerwanie działania systemu za pomocą przycisku „stop” lub podobnej procedury, która pozwala na zatrzymanie systemu w stanie bezpiecznym.

5. W przypadku systemów AI wysokiego ryzyka, o których mowa w załączniku III pkt 1 lit. a), środki, o których mowa w ust. 3 niniejszego artykułu, muszą ponadto zapewniać, aby podmiot stosującypodmiot stosującyoznacza osobę fizyczną lub prawną, organ publiczny, agencję lub inny podmiot, które wykorzystują system AIsystem AIoznacza system maszynowy, który został zaprojektowany do działania z różnym poziomem autonomii po jego wdrożeniu oraz który może wykazywać zdolność adaptacji po jego wdrożeniu, a także który – na potrzeby wyraźnych lub dorozumianych celów – wnioskuje, jak generować na podstawie otrzymanych danych wejściowych wyniki, takie jak predykcje, treści, zalecenia lub decyzje, które mogą wpływać na środowisko fizyczne lub wirtualneArticle 3(1), nad którym sprawują kontrolę, z wyjątkiem sytuacji, gdy system AIsystem AIoznacza system maszynowy, który został zaprojektowany do działania z różnym poziomem autonomii po jego wdrożeniu oraz który może wykazywać zdolność adaptacji po jego wdrożeniu, a także który – na potrzeby wyraźnych lub dorozumianych celów – wnioskuje, jak generować na podstawie otrzymanych danych wejściowych wyniki, takie jak predykcje, treści, zalecenia lub decyzje, które mogą wpływać na środowisko fizyczne lub wirtualneArticle 3(1) jest wykorzystywany w ramach osobistej działalności pozazawodowejArticle 3(4) nie podejmował żadnego działania ani decyzji na podstawie identyfikacji będącej wynikiem działania systemu, jeżeli identyfikacji tej nie zweryfikowały ani nie potwierdziły odrębnie co najmniej dwie osoby fizyczne mające wymagane kompetencje, przeszkolenie i uprawnienia.