Articolo 9: Sistema di gestione dei rischi
1.
In relazione ai sistemi di IA ad alto rischiorischiola combinazione della probabilità del verificarsi di un danno e la gravità del danno stessoArticle 3(2) è istituito, attuato, documentato e mantenuto un sistema di gestione dei rischi.
2.
Il sistema di gestione dei rischi è inteso come un processo iterativo continuo pianificato ed eseguito nel corso dell'intero ciclo di vita di un sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) ad alto rischiorischiola combinazione della probabilità del verificarsi di un danno e la gravità del danno stessoArticle 3(2), che richiede un riesame e un aggiornamento costanti e sistematici. Esso comprende le fasi seguenti:
(a)
identificazione e analisi dei rischi noti e ragionevolmente prevedibili che il sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) ad alto rischiorischiola combinazione della probabilità del verificarsi di un danno e la gravità del danno stessoArticle 3(2) può porre per la salute, la sicurezza e i diritti fondamentali quando il sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) ad alto rischiorischiola combinazione della probabilità del verificarsi di un danno e la gravità del danno stessoArticle 3(2) è utilizzato conformemente alla sua finalità previstafinalità previstal'uso di un sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) previsto dal fornitorefornitoreuna persona fisica o giuridica, un'autorità pubblica, un'agenzia o un altro organismo che sviluppa un sistema di IA o un modello di IA per finalità generali o che fa sviluppare un sistema di IA o un modello di IA per finalità generali e immette tale sistema o modello sul mercato o mette in servizio il sistema di IA con il proprio nome o marchio, a titolo oneroso o gratuitoArticle 3(3), compresi il contesto e le condizioni d'uso specifici, come dettagliati nelle informazioni comunicate dal fornitorefornitoreuna persona fisica o giuridica, un'autorità pubblica, un'agenzia o un altro organismo che sviluppa un sistema di IA o un modello di IA per finalità generali o che fa sviluppare un sistema di IA o un modello di IA per finalità generali e immette tale sistema o modello sul mercato o mette in servizio il sistema di IA con il proprio nome o marchio, a titolo oneroso o gratuitoArticle 3(3) nelle istruzioni per l'uso, nel materiale promozionale o di vendita e nelle dichiarazioni, nonché nella documentazione tecnicaArticle 3(12);
(b)
stima e valutazione dei rischi che possono emergere quando il sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) ad alto rischiorischiola combinazione della probabilità del verificarsi di un danno e la gravità del danno stessoArticle 3(2) è usato conformemente alla sua finalità previstafinalità previstal'uso di un sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) previsto dal fornitorefornitoreuna persona fisica o giuridica, un'autorità pubblica, un'agenzia o un altro organismo che sviluppa un sistema di IA o un modello di IA per finalità generali o che fa sviluppare un sistema di IA o un modello di IA per finalità generali e immette tale sistema o modello sul mercato o mette in servizio il sistema di IA con il proprio nome o marchio, a titolo oneroso o gratuitoArticle 3(3), compresi il contesto e le condizioni d'uso specifici, come dettagliati nelle informazioni comunicate dal fornitorefornitoreuna persona fisica o giuridica, un'autorità pubblica, un'agenzia o un altro organismo che sviluppa un sistema di IA o un modello di IA per finalità generali o che fa sviluppare un sistema di IA o un modello di IA per finalità generali e immette tale sistema o modello sul mercato o mette in servizio il sistema di IA con il proprio nome o marchio, a titolo oneroso o gratuitoArticle 3(3) nelle istruzioni per l'uso, nel materiale promozionale o di vendita e nelle dichiarazioni, nonché nella documentazione tecnicaArticle 3(12) e in condizioni di uso improprio ragionevolmente prevedibileuso improprio ragionevolmente prevedibilel'uso di un sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) in un modo non conforme alla sua finalità previstafinalità previstal'uso di un sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) previsto dal fornitorefornitoreuna persona fisica o giuridica, un'autorità pubblica, un'agenzia o un altro organismo che sviluppa un sistema di IA o un modello di IA per finalità generali o che fa sviluppare un sistema di IA o un modello di IA per finalità generali e immette tale sistema o modello sul mercato o mette in servizio il sistema di IA con il proprio nome o marchio, a titolo oneroso o gratuitoArticle 3(3), compresi il contesto e le condizioni d'uso specifici, come dettagliati nelle informazioni comunicate dal fornitorefornitoreuna persona fisica o giuridica, un'autorità pubblica, un'agenzia o un altro organismo che sviluppa un sistema di IA o un modello di IA per finalità generali o che fa sviluppare un sistema di IA o un modello di IA per finalità generali e immette tale sistema o modello sul mercato o mette in servizio il sistema di IA con il proprio nome o marchio, a titolo oneroso o gratuitoArticle 3(3) nelle istruzioni per l'uso, nel materiale promozionale o di vendita e nelle dichiarazioni, nonché nella documentazione tecnicaArticle 3(12), ma che può derivare da un comportamento umano o da un'interazione con altri sistemi, ivi compresi altri sistemi di IA, ragionevolmente prevedibileArticle 3(13);
(c)
valutazione di altri eventuali rischi derivanti dall'analisi dei dati raccolti dal sistema di monitoraggio successivo all'immissione sul mercatoimmissione sul mercatola prima messa a disposizione di un sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) o di un modello di IA per finalità generali sul mercato dell'UnioneArticle 3(9)sistema di monitoraggio successivo all'immissione sul mercatoimmissione sul mercatola prima messa a disposizione di un sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) o di un modello di IA per finalità generali sul mercato dell'UnioneArticle 3(9)tutte le attività svolte dai fornitori di sistemi di IA al fine diraccogliere e analizzare l'esperienza maturata tramite l'uso dei sistemi di IA che immettono sul mercato o che mettono in servizio, al fine di individuare eventuali necessità di immediate azioni correttive o preventiveArticle 3(25) di cui all'articolo 72;
(d)
adozione di misure di gestione dei rischi opportune e mirate intese ad affrontare i rischi individuati ai sensi della lettera a).
3.
I rischi di cui al presente articolo riguardano solo quelli che possono essere ragionevolmente attenuati o eliminati attraverso lo sviluppo o la progettazione del sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) ad alto rischiorischiola combinazione della probabilità del verificarsi di un danno e la gravità del danno stessoArticle 3(2) o la fornitura di informazioni tecniche adeguate.
4.
Le misure di gestione dei rischi di cui al paragrafo 2, lettera d), tengono in debita considerazione gli effetti e la possibile interazione derivanti dall'applicazione combinata dei requisiti di cui alla presente sezione, al fine di ridurre al minimo i rischi con maggiore efficacia e raggiungere nel contempo un equilibrio adeguato nell'attuazione delle misure volte a soddisfare tali requisiti.
5.
Le misure di gestione dei rischi di cui al paragrafo 2, lettera d), sono tali che i pertinenti rischi residui associati a ciascun pericolo nonché il rischiorischiola combinazione della probabilità del verificarsi di un danno e la gravità del danno stessoArticle 3(2) residuo complessivo dei sistemi di IA ad alto rischiorischiola combinazione della probabilità del verificarsi di un danno e la gravità del danno stessoArticle 3(2) sono considerati accettabili.
Nell'individuare le misure di gestione dei rischi più appropriate, occorre garantire quanto segue:
(a)
l'eliminazione o la riduzione dei rischi individuati e valutati a norma del paragrafo 2, per quanto possibile dal punto di vista tecnico attraverso un'adeguata progettazione e fabbricazione del sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) ad alto rischiorischiola combinazione della probabilità del verificarsi di un danno e la gravità del danno stessoArticle 3(2);
(b)
ove opportuno, l'attuazione di adeguate misure di attenuazione e di controllo nell'affrontare i rischi che non possono essere eliminati;
(c)
la fornitura delle informazioni richieste a norma dell'articolo 13 e, ove opportuno, la formazione dei deployerdeployeruna persona fisica o giuridica, un’autorità pubblica, un’agenzia o un altro organismo che utilizza un sistema di IA sotto la propria autorità, tranne nel caso in cui il sistema di IA sia utilizzato nel corso di un'attività personale non professionaleArticle 3(4).
Al fine di eliminare o ridurre i rischi connessi all'uso del sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) ad alto rischiorischiola combinazione della probabilità del verificarsi di un danno e la gravità del danno stessoArticle 3(2), si tengono debitamente in considerazione le conoscenze tecniche, l'esperienza, l'istruzione e la formazione che ci si può aspettare dal deployerdeployeruna persona fisica o giuridica, un’autorità pubblica, un’agenzia o un altro organismo che utilizza un sistema di IA sotto la propria autorità, tranne nel caso in cui il sistema di IA sia utilizzato nel corso di un'attività personale non professionaleArticle 3(4) e il contesto presumibile in cui il sistema è destinato ad essere usato.
6.
I sistemi di IA ad alto rischiorischiola combinazione della probabilità del verificarsi di un danno e la gravità del danno stessoArticle 3(2) sono sottoposti a prova al fine di individuare le misure di gestione dei rischi più appropriate e mirate. Le prove garantiscono che i sistemi di IA ad alto rischiorischiola combinazione della probabilità del verificarsi di un danno e la gravità del danno stessoArticle 3(2) funzionino in modo coerente per la finalità previstafinalità previstal'uso di un sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) previsto dal fornitorefornitoreuna persona fisica o giuridica, un'autorità pubblica, un'agenzia o un altro organismo che sviluppa un sistema di IA o un modello di IA per finalità generali o che fa sviluppare un sistema di IA o un modello di IA per finalità generali e immette tale sistema o modello sul mercato o mette in servizio il sistema di IA con il proprio nome o marchio, a titolo oneroso o gratuitoArticle 3(3), compresi il contesto e le condizioni d'uso specifici, come dettagliati nelle informazioni comunicate dal fornitorefornitoreuna persona fisica o giuridica, un'autorità pubblica, un'agenzia o un altro organismo che sviluppa un sistema di IA o un modello di IA per finalità generali o che fa sviluppare un sistema di IA o un modello di IA per finalità generali e immette tale sistema o modello sul mercato o mette in servizio il sistema di IA con il proprio nome o marchio, a titolo oneroso o gratuitoArticle 3(3) nelle istruzioni per l'uso, nel materiale promozionale o di vendita e nelle dichiarazioni, nonché nella documentazione tecnicaArticle 3(12) e che siano conformi ai requisiti di cui alla presente sezione.
7.
Le procedure di prova possono comprendere prove in condizioni reali conformemente all'articolo 60.
8.
Le prove dei sistemi di IA ad alto rischiorischiola combinazione della probabilità del verificarsi di un danno e la gravità del danno stessoArticle 3(2) sono effettuate, a seconda dei casi, in un qualsiasi momento dell'intero processo di sviluppo e, in ogni caso, prima della loro immissione sul mercatoimmissione sul mercatola prima messa a disposizione di un sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) o di un modello di IA per finalità generali sul mercato dell'UnioneArticle 3(9) o messa in serviziomessa in serviziola fornitura di un sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) direttamente al deployerdeployeruna persona fisica o giuridica, un’autorità pubblica, un’agenzia o un altro organismo che utilizza un sistema di IA sotto la propria autorità, tranne nel caso in cui il sistema di IA sia utilizzato nel corso di un'attività personale non professionaleArticle 3(4) per il primo uso o per uso proprio nell'Unione per la finalità previstafinalità previstal'uso di un sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) previsto dal fornitorefornitoreuna persona fisica o giuridica, un'autorità pubblica, un'agenzia o un altro organismo che sviluppa un sistema di IA o un modello di IA per finalità generali o che fa sviluppare un sistema di IA o un modello di IA per finalità generali e immette tale sistema o modello sul mercato o mette in servizio il sistema di IA con il proprio nome o marchio, a titolo oneroso o gratuitoArticle 3(3), compresi il contesto e le condizioni d'uso specifici, come dettagliati nelle informazioni comunicate dal fornitorefornitoreuna persona fisica o giuridica, un'autorità pubblica, un'agenzia o un altro organismo che sviluppa un sistema di IA o un modello di IA per finalità generali o che fa sviluppare un sistema di IA o un modello di IA per finalità generali e immette tale sistema o modello sul mercato o mette in servizio il sistema di IA con il proprio nome o marchio, a titolo oneroso o gratuitoArticle 3(3) nelle istruzioni per l'uso, nel materiale promozionale o di vendita e nelle dichiarazioni, nonché nella documentazione tecnicaArticle 3(12)Article 3(11). Le prove sono effettuate sulla base di metriche e soglie probabilistiche definite precedentemente e adeguate alla finalità previstafinalità previstal'uso di un sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) previsto dal fornitorefornitoreuna persona fisica o giuridica, un'autorità pubblica, un'agenzia o un altro organismo che sviluppa un sistema di IA o un modello di IA per finalità generali o che fa sviluppare un sistema di IA o un modello di IA per finalità generali e immette tale sistema o modello sul mercato o mette in servizio il sistema di IA con il proprio nome o marchio, a titolo oneroso o gratuitoArticle 3(3), compresi il contesto e le condizioni d'uso specifici, come dettagliati nelle informazioni comunicate dal fornitorefornitoreuna persona fisica o giuridica, un'autorità pubblica, un'agenzia o un altro organismo che sviluppa un sistema di IA o un modello di IA per finalità generali o che fa sviluppare un sistema di IA o un modello di IA per finalità generali e immette tale sistema o modello sul mercato o mette in servizio il sistema di IA con il proprio nome o marchio, a titolo oneroso o gratuitoArticle 3(3) nelle istruzioni per l'uso, nel materiale promozionale o di vendita e nelle dichiarazioni, nonché nella documentazione tecnicaArticle 3(12) perseguita dal sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) ad alto rischiorischiola combinazione della probabilità del verificarsi di un danno e la gravità del danno stessoArticle 3(2).
9.
Nell'attuare il sistema di gestione dei rischi di cui ai paragrafi da 1 a 7, i fornitori prestano attenzione, nell'ottica della sua finalità previstafinalità previstal'uso di un sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) previsto dal fornitorefornitoreuna persona fisica o giuridica, un'autorità pubblica, un'agenzia o un altro organismo che sviluppa un sistema di IA o un modello di IA per finalità generali o che fa sviluppare un sistema di IA o un modello di IA per finalità generali e immette tale sistema o modello sul mercato o mette in servizio il sistema di IA con il proprio nome o marchio, a titolo oneroso o gratuitoArticle 3(3), compresi il contesto e le condizioni d'uso specifici, come dettagliati nelle informazioni comunicate dal fornitorefornitoreuna persona fisica o giuridica, un'autorità pubblica, un'agenzia o un altro organismo che sviluppa un sistema di IA o un modello di IA per finalità generali o che fa sviluppare un sistema di IA o un modello di IA per finalità generali e immette tale sistema o modello sul mercato o mette in servizio il sistema di IA con il proprio nome o marchio, a titolo oneroso o gratuitoArticle 3(3) nelle istruzioni per l'uso, nel materiale promozionale o di vendita e nelle dichiarazioni, nonché nella documentazione tecnicaArticle 3(12), all'eventualità che il sistema di IAsistema di IAun sistema automatizzato progettato per funzionare con livelli di autonomia variabili e che può presentare adattabilità dopo la diffusione e che, per obiettivi espliciti o impliciti, deduce dall'input che riceve come generare output quali previsioni, contenuti, raccomandazioni o decisioni che possono influenzare ambienti fisici o virtualiArticle 3(1) ad alto rischiorischiola combinazione della probabilità del verificarsi di un danno e la gravità del danno stessoArticle 3(2) possa avere un impatto negativo sulle persone di età inferiore a 18 anni o, a seconda dei casi, su altri gruppi vulnerabili.
10.
Per i fornitori di sistemi di IA ad alto rischiorischiola combinazione della probabilità del verificarsi di un danno e la gravità del danno stessoArticle 3(2) soggetti ai requisiti relativi ai processi interni di gestione dei rischi a norma di altre disposizioni pertinenti del diritto dell'Unione, gli aspetti di cui ai paragrafi da 1 a 9 possono far parte delle procedure di gestione dei rischi stabilite a norma di tale diritto oppure essere combinati con le stesse.