AI Act Documents:

Artículo 9: Sistema de gestión de riesgos

Entra en vigor 2 de diciembre de 2027 (alto riesgo con arreglo al anexo III) / 2 de agosto de 2028 (alto riesgo con arreglo al anexo I), de conformidad con Artículo 113(c)
1. Se establecerá, implantará, documentará y mantendrá un sistema de gestión de riesgos en relación con los sistemas de IA de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2).
2. El sistema de gestión de riesgos se entenderá como un proceso iterativo continuo planificado y ejecutado durante todo el ciclo de vida de un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2), que requerirá revisiones y actualizaciones sistemáticas periódicas. Constará de las siguientes etapas:
(a) la determinación y el análisis de los riesgos conocidos y previsibles que el sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) pueda plantear para la salud, la seguridad o los derechos fundamentales cuando el sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) se utilice de conformidad con su finalidad previstafinalidad previstael uso para el que un proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) concibe un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1), incluidos el contexto y las condiciones de uso concretos, según la información facilitada por el proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) en las instrucciones de uso, los materiales y las declaraciones de promoción y venta, y la documentación técnicaArticle 3(12);
(b) la estimación y la evaluación de los riesgos que podrían surgir cuando el sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) se utilice de conformidad con su finalidad previstafinalidad previstael uso para el que un proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) concibe un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1), incluidos el contexto y las condiciones de uso concretos, según la información facilitada por el proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) en las instrucciones de uso, los materiales y las declaraciones de promoción y venta, y la documentación técnicaArticle 3(12) y cuando se le dé un uso indebido razonablemente previsibleuso indebido razonablemente previsiblela utilización de un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de un modo que no corresponde a su finalidad previstafinalidad previstael uso para el que un proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) concibe un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1), incluidos el contexto y las condiciones de uso concretos, según la información facilitada por el proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) en las instrucciones de uso, los materiales y las declaraciones de promoción y venta, y la documentación técnicaArticle 3(12), pero que puede derivarse de un comportamiento humano o una interacción con otros sistemas, incluidos otros sistemas de IA, razonablemente previsibleArticle 3(13);
(c) la evaluación de otros riesgos que podrían surgir, a partir del análisis de los datos recogidos con el sistema de vigilancia poscomercializaciónsistema de vigilancia poscomercializacióntodas las actividades realizadas por los proveedores de sistemas de IA destinadas a recoger y examinar la experiencia obtenida con el uso de sistemas de IA que introducen en el mercado o ponen en servicio, con objeto de detectar la posible necesidad de aplicar inmediatamente cualquier tipo de medida correctora o preventiva que resulte necesariaArticle 3(25) a que se refiere el artículo 72;
(d) la adopción de medidas adecuadas y específicas de gestión de riesgos diseñadas para hacer frente a los riesgos detectados con arreglo a la letra a).
3. Los riesgos a que se refiere el presente artículo son únicamente aquellos que pueden mitigarse o eliminarse razonablemente mediante el desarrollo o el diseño del sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) o el suministro de información técnica adecuada.
4. Las medidas de gestión de riesgos mencionadas en el apartado 2, letra d), tendrán debidamente en cuenta los efectos y la posible interacción derivados de la aplicación combinada de los requisitos establecidos en la presente sección, con vistas a reducir al mínimo los riesgos de manera más eficaz al tiempo que se logra un equilibrio adecuado en la aplicación de las medidas para cumplir dichos requisitos.
5. Las medidas de gestión de riesgos mencionadas en el apartado 2, letra d), considerarán aceptables los riesgos residuales pertinentes asociados a cada peligro, así como el riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) residual general de los sistemas de IA de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2).
A la hora de determinar las medidas de gestión de riesgos más adecuadas, se procurará:
(a) eliminar o reducir los riesgos detectados y evaluados de conformidad con el apartado 2 en la medida en que sea técnicamente viable mediante un diseño y un desarrollo adecuados del sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2);
(b) implantar, cuando proceda, unas medidas de mitigación y control apropiadas que hagan frente a los riesgos que no puedan eliminarse;
(c) proporcionar la información requerida conforme al artículo 13 y, cuando proceda, impartir formación a los responsables del despliegue.
Con vistas a eliminar o reducir los riesgos asociados a la utilización del sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2), se tendrán debidamente en cuenta los conocimientos técnicos, la experiencia, la educación y la formación que se espera que posea el responsable del despliegueresponsable del despliegueuna persona física o jurídica, o autoridad pública, órgano u organismo que utilice un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) bajo su propia autoridad, salvo cuando su uso se enmarque en una actividad personal de carácter no profesionalArticle 3(4), así como el contexto en el que está previsto que se utilice el sistema.
6. Los sistemas de IA de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) serán sometidos a pruebas destinadas a determinar cuáles son las medidas de gestión de riesgos más adecuadas y específicas. Dichas pruebas comprobarán que los sistemas de IA de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) funcionan de manera coherente con su finalidad previstafinalidad previstael uso para el que un proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) concibe un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1), incluidos el contexto y las condiciones de uso concretos, según la información facilitada por el proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) en las instrucciones de uso, los materiales y las declaraciones de promoción y venta, y la documentación técnicaArticle 3(12) y cumplen los requisitos establecidos en la presente sección.
7. Los procedimientos de prueba podrán incluir pruebas en condiciones reales de conformidad con el artículo 60.
8. Las pruebas de los sistemas de IA de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) se realizarán, según proceda, en cualquier momento del proceso de desarrollo y, en todo caso, antes de su introducción en el mercadointroducción en el mercadola primera comercializacióncomercializaciónel suministro de un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) o de un modelo de IA de uso general para su distribución o utilización en el mercado de la Unión en el transcurso de una actividad comercial, previo pago o gratuitamenteArticle 3(10) en el mercado de la Unión de un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) o de un modelo de IA de uso generalArticle 3(9) o puesta en serviciopuesta en servicioel suministro de un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) para su primer uso directamente al responsable del despliegue o para uso propio en la Unión para su finalidad previstafinalidad previstael uso para el que un proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) concibe un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1), incluidos el contexto y las condiciones de uso concretos, según la información facilitada por el proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) en las instrucciones de uso, los materiales y las declaraciones de promoción y venta, y la documentación técnicaArticle 3(12)Article 3(11). Las pruebas se realizarán utilizando parámetros y umbrales de probabilidades previamente definidos que sean adecuados para la finalidad previstafinalidad previstael uso para el que un proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) concibe un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1), incluidos el contexto y las condiciones de uso concretos, según la información facilitada por el proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) en las instrucciones de uso, los materiales y las declaraciones de promoción y venta, y la documentación técnicaArticle 3(12) del sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2).
9. Cuando se implante el sistema de gestión de riesgos previsto en los apartados 1 a 7, los proveedores prestarán atención a si, en vista de su finalidad previstafinalidad previstael uso para el que un proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) concibe un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1), incluidos el contexto y las condiciones de uso concretos, según la información facilitada por el proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) en las instrucciones de uso, los materiales y las declaraciones de promoción y venta, y la documentación técnicaArticle 3(12), es probable que el sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) afecte negativamente a las personas menores de dieciocho años y, en su caso, a otros colectivos vulnerables.
10. En el caso de los proveedores de sistemas de IA de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) que estén sujetos a requisitos relativos a procesos internos de gestión de riesgos con arreglo a otras disposiciones pertinentes del Derecho de la Unión, los aspectos previstos en los apartados 1 a 9 podrán formar parte de los procedimientos de gestión de riesgos establecidos con arreglo a dicho Derecho, o combinarse con ellos.