AI Act Documents:

Artículo 14: Supervisión humana

Entra en vigor 2 de diciembre de 2027 (alto riesgo con arreglo al anexo III) / 2 de agosto de 2028 (alto riesgo con arreglo al anexo I), de conformidad con Artículo 113(c)
1. Los sistemas de IA de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) se diseñarán y desarrollarán de modo que puedan ser vigilados de manera efectiva por personas físicas durante el período que estén en uso, lo que incluye dotarlos de herramientas de interfaz humano-máquina adecuadas.
2. El objetivo de la supervisión humana será prevenir o reducir al mínimo los riesgos para la salud, la seguridad o los derechos fundamentales que pueden surgir cuando se utiliza un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) conforme a su finalidad previstafinalidad previstael uso para el que un proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) concibe un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1), incluidos el contexto y las condiciones de uso concretos, según la información facilitada por el proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) en las instrucciones de uso, los materiales y las declaraciones de promoción y venta, y la documentación técnicaArticle 3(12) o cuando se le da un uso indebido razonablemente previsibleuso indebido razonablemente previsiblela utilización de un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de un modo que no corresponde a su finalidad previstafinalidad previstael uso para el que un proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) concibe un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1), incluidos el contexto y las condiciones de uso concretos, según la información facilitada por el proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) en las instrucciones de uso, los materiales y las declaraciones de promoción y venta, y la documentación técnicaArticle 3(12), pero que puede derivarse de un comportamiento humano o una interacción con otros sistemas, incluidos otros sistemas de IA, razonablemente previsibleArticle 3(13), en particular cuando dichos riesgos persistan a pesar de la aplicación de otros requisitos establecidos en la presente sección.
3. Las medidas de supervisión serán proporcionales a los riesgos, al nivel de autonomía y al contexto de uso del sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2), y se garantizarán bien mediante uno de los siguientes tipos de medidas, bien mediante ambos:
(a) las medidas que el proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) defina y que integre, cuando sea técnicamente viable, en el sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) antes de su introducción en el mercadointroducción en el mercadola primera comercializacióncomercializaciónel suministro de un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) o de un modelo de IA de uso general para su distribución o utilización en el mercado de la Unión en el transcurso de una actividad comercial, previo pago o gratuitamenteArticle 3(10) en el mercado de la Unión de un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) o de un modelo de IA de uso generalArticle 3(9) o su puesta en serviciopuesta en servicioel suministro de un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) para su primer uso directamente al responsable del despliegue o para uso propio en la Unión para su finalidad previstafinalidad previstael uso para el que un proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) concibe un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1), incluidos el contexto y las condiciones de uso concretos, según la información facilitada por el proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) en las instrucciones de uso, los materiales y las declaraciones de promoción y venta, y la documentación técnicaArticle 3(12)Article 3(11);
(b) las medidas que el proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) defina antes de la introducción del sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) en el mercado o de su puesta en serviciopuesta en servicioel suministro de un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) para su primer uso directamente al responsable del despliegue o para uso propio en la Unión para su finalidad previstafinalidad previstael uso para el que un proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) concibe un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1), incluidos el contexto y las condiciones de uso concretos, según la información facilitada por el proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) en las instrucciones de uso, los materiales y las declaraciones de promoción y venta, y la documentación técnicaArticle 3(12)Article 3(11) y que sean adecuadas para que las ponga en práctica el responsable del despliegueresponsable del despliegueuna persona física o jurídica, o autoridad pública, órgano u organismo que utilice un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) bajo su propia autoridad, salvo cuando su uso se enmarque en una actividad personal de carácter no profesionalArticle 3(4).
4. A efectos de la puesta en práctica de lo dispuesto en los apartados 1, 2 y 3, el sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) se ofrecerá al responsable del despliegueresponsable del despliegueuna persona física o jurídica, o autoridad pública, órgano u organismo que utilice un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) bajo su propia autoridad, salvo cuando su uso se enmarque en una actividad personal de carácter no profesionalArticle 3(4) de tal modo que las personas físicas a quienes se encomiende la supervisión humana puedan, según proceda y de manera proporcionada a:
(a) entender adecuadamente las capacidades y limitaciones pertinentes del sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) y poder vigilar debidamente su funcionamiento, por ejemplo, con vistas a detectar y resolver anomalías, problemas de funcionamiento y comportamientos inesperados;
(b) ser conscientes de la posible tendencia a confiar automáticamente o en exceso en los resultados de salida generados por un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) («sesgo de automatización»), en particular con aquellos sistemas que se utilizan para aportar información o recomendaciones con el fin de que personas físicas adopten una decisión;
(c) interpretar correctamente los resultados de salida del sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2), teniendo en cuenta, por ejemplo, los métodos y herramientas de interpretación disponibles;
(d) decidir, en cualquier situación concreta, no utilizar el sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) o descartar, invalidar o revertir los resultados de salida que este genere;
(e) intervenir en el funcionamiento del sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) o interrumpir el sistema pulsando un botón de parada o mediante un procedimiento similar que permita que el sistema se detenga de forma segura.
5. En el caso de los sistemas de IA de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) mencionados en el anexo III, punto 1, letra a), las medidas a que se refiere el apartado 3 del presente artículo garantizarán, además, que el responsable del despliegueresponsable del despliegueuna persona física o jurídica, o autoridad pública, órgano u organismo que utilice un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) bajo su propia autoridad, salvo cuando su uso se enmarque en una actividad personal de carácter no profesionalArticle 3(4) no actúe ni tome ninguna decisión basándose en la identificación generada por el sistema, salvo si al menos dos personas físicas con la competencia, formación y autoridad necesarias han verificado y confirmado por separado dicha identificación.
El requisito de la verificación por parte de al menos dos personas físicas por separado no se aplicará a los sistemas de IA de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) utilizados con fines de garantía del cumplimiento del Derechogarantía del cumplimiento del Derecholas actividades realizadas por las autoridades garantes del cumplimiento del Derecho, o en su nombre, para la prevención, la investigación, la detección o el enjuiciamiento de delitos o la ejecución de sanciones penales, incluidas la protección frente a amenazas para la seguridad pública y la prevención de dichas amenazasArticle 3(46), de migración, de control fronterizo o de asilo cuando el Derecho nacional o de la Unión considere que la aplicación de este requisito es desproporcionada.