Recital 73

Los sistemas de IA de alto riesgo deben diseñarse y desarrollarse de forma que las personas físicas puedan supervisar su funcionamiento, garantizar que se utilizan según lo previsto y que sus impactos se abordan a lo largo del ciclo de vida del sistema. A tal fin, el proveedor del sistema deberá determinar las medidas adecuadas de supervisión humana antes de su comercialización o puesta en servicio. En particular, cuando proceda, dichas medidas deben garantizar que el sistema esté sujeto a restricciones operativas incorporadas que no puedan ser anuladas por el propio sistema y que responda al operador humano, y que las personas físicas a las que se haya asignado la supervisión humana tengan la competencia, la formación y la autoridad necesarias para desempeñar esa función. También es esencial, según proceda, garantizar que los sistemas de IA de alto riesgo incluyan mecanismos para guiar e informar a la persona física a la que se haya asignado la supervisión humana para que tome decisiones con conocimiento de causa sobre si debe intervenir, cuándo y cómo hacerlo para evitar consecuencias negativas o riesgos, o detener el sistema si no funciona según lo previsto. Teniendo en cuenta las importantes consecuencias para las personas en caso de coincidencia incorrecta por parte de determinados sistemas de identificación biométrica, conviene establecer un requisito reforzado de supervisión humana para dichos sistemas, de modo que el responsable de la aplicación no pueda adoptar ninguna medida o decisión sobre la base de la identificación resultante del sistema a menos que ésta haya sido verificada y confirmada por separado por al menos dos personas físicas. Dichas personas podrán pertenecer a una o varias entidades e incluir a la persona que opere o utilice el sistema. Este requisito no debería suponer una carga o un retraso innecesarios y podría bastar con que las verificaciones por separado de las distintas personas se registraran automáticamente en los registros generados por el sistema. Dadas las especificidades de los ámbitos de la aplicación de la ley, la migración, el control de fronteras y el asilo, este requisito no debe aplicarse cuando el Derecho de la Unión o nacional considere desproporcionada la aplicación de dicho requisito.