AI Act Documents:
Considerando 73
(73) Los sistemas de IA de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) deben diseñarse y desarrollarse de tal modo que las personas físicas puedan supervisar su funcionamiento, así como asegurarse de que se usan según lo previsto y de que sus repercusiones se abordan a lo largo del ciclo de vida del sistema. A tal fin, el proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) del sistema debe definir las medidas adecuadas de supervisión humana antes de su introducción en el mercadointroducción en el mercadola primera comercializacióncomercializaciónel suministro de un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) o de un modelo de IA de uso general para su distribución o utilización en el mercado de la Unión en el transcurso de una actividad comercial, previo pago o gratuitamenteArticle 3(10) en el mercado de la Unión de un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) o de un modelo de IA de uso generalArticle 3(9) o puesta en serviciopuesta en servicioel suministro de un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) para su primer uso directamente al responsable del despliegue o para uso propio en la Unión para su finalidad previstafinalidad previstael uso para el que un proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) concibe un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1), incluidos el contexto y las condiciones de uso concretos, según la información facilitada por el proveedorproveedoruna persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamenteArticle 3(3) en las instrucciones de uso, los materiales y las declaraciones de promoción y venta, y la documentación técnicaArticle 3(12)Article 3(11). Cuando proceda, dichas medidas deben garantizar, en concreto, que el sistema esté sujetosujetoa los efectos de la prueba en condiciones reales, una persona física que participa en la prueba en condiciones realesArticle 3(58) a limitaciones operativas incorporadas en el propio sistema que este no pueda desactivar, que responda al operadoroperadorun proveedor, fabricante del producto, responsable del despliegue, representante autorizado, importador o distribuidorArticle 3(8) humano y que las personas físicas a quienes se haya encomendado la supervisión humana posean las competencias, la formación y la autoridad necesarias para desempeñar esa función. También es esencial, según proceda, garantizar que los sistemas de IA de alto riesgoriesgola combinación de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicioArticle 3(2) incluyan mecanismos destinados a orientar e informar a las personas físicas a las que se haya asignado la supervisión humana para que tomen decisiones con conocimiento de causa acerca de si intervenir, cuándo hacerlo y de qué manera, a fin de evitar consecuencias negativas o riesgos, o de detener el sistema si no funciona según lo previsto. Teniendo en cuenta las enormes consecuencias para las personas en caso de una correspondencia incorrecta efectuada por determinados sistemas de identificación biométricaidentificación biométricael reconocimiento automatizado de características humanas de tipo físico, fisiológico, conductual o psicológico para determinar la identidad de una persona física comparando sus datos biométricosdatos biométricoslos datos personalesdatos personaleslos datos personales tal como se definen en el artículo 4, punto 1, del Reglamento (UE) 2016/679Article 3(50) obtenidos a partir de un tratamiento técnico específico, relativos a las características físicas, fisiológicas o conductuales de una persona física, como imágenes faciales o datos dactiloscópicosArticle 3(34) con los datos biométricosdatos biométricoslos datos personalesdatos personaleslos datos personales tal como se definen en el artículo 4, punto 1, del Reglamento (UE) 2016/679Article 3(50) obtenidos a partir de un tratamiento técnico específico, relativos a las características físicas, fisiológicas o conductuales de una persona física, como imágenes faciales o datos dactiloscópicosArticle 3(34) de personas almacenados en una base de datosArticle 3(35), conviene establecer un requisito de supervisión humana reforzada para dichos sistemas, de modo que el responsable del despliegueresponsable del despliegueuna persona física o jurídica, o autoridad pública, órgano u organismo que utilice un sistema de IAsistema de IAun sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtualesArticle 3(1) bajo su propia autoridad, salvo cuando su uso se enmarque en una actividad personal de carácter no profesionalArticle 3(4) no pueda actuar ni tomar ninguna decisión basándose en la identificación generada por el sistema, salvo si al menos dos personas físicas la han verificado y confirmado por separado. Dichas personas podrían proceder de una o varias entidades e incluir a la persona que maneja o utiliza el sistema. Este requisito no debe suponer una carga ni retrasos innecesarios y podría bastar con que las verificaciones que las distintas personas efectúen por separado se registren automáticamente en los registros generados por el sistema. Dadas las especificidades de los ámbitos de la garantía del cumplimiento del Derechogarantía del cumplimiento del Derecholas actividades realizadas por las autoridades garantes del cumplimiento del Derecho, o en su nombre, para la prevención, la investigación, la detección o el enjuiciamiento de delitos o la ejecución de sanciones penales, incluidas la protección frente a amenazas para la seguridad pública y la prevención de dichas amenazasArticle 3(46), la migración, el control fronterizo y el asilo, ese requisito no debe aplicarse cuando el Derecho nacional o de la Unión considere que su aplicación es desproporcionada.