1. Les systèmes d'IA à haut risque sont conçus et développés, y compris avec des outils d'interface homme-machine appropriés, de manière à pouvoir être effectivement contrôlés par des personnes physiques pendant la période où ils sont utilisés.
2. La surveillance humaine vise à prévenir ou à réduire au minimum les risques pour la santé, la sécurité ou les droits fondamentaux qui peuvent apparaître lorsqu'un système d'IA à haut risque est utilisé conformément à sa destination ou dans des conditions de mauvaise utilisation raisonnablement prévisibles, en particulier lorsque ces risques persistent malgré l'application des autres exigences énoncées dans la présente section.
section.
3. Les mesures de contrôle sont proportionnées aux risques, au niveau d'autonomie et au contexte d'utilisation du système d'IA à haut risque, et sont assurées par l'un ou l'autre des types de mesures suivants, ou par les deux :
(a) des mesures identifiées et intégrées, lorsque cela est techniquement possible, dans le système d'IA à haut risque par le fournisseur avant qu'il ne soit mis sur le marché ou mis en service ;
(b) les mesures identifiées par le fournisseur avant la mise sur le marché ou la mise en service du système d'IA à haut risque et qui sont appropriées pour être mises en œuvre par le déployeur.
4. Aux fins de la mise en œuvre des paragraphes 1, 2 et 3, le système d'IA à haut risque est fourni au responsable du déploiement de telle sorte que les personnes physiques auxquelles la surveillance humaine est confiée soient habilitées, selon ce qui est approprié et proportionné :
(a) bien comprendre les capacités et les limites du système d'IA à haut risque et être en mesure de contrôler dûment son fonctionnement, notamment en vue de détecter et de traiter les anomalies, les dysfonctionnements et les performances inattendues ;
(b) de rester conscients de la tendance possible à se fier automatiquement ou de manière excessive aux résultats produits par un système d'IA à haut risque (biais d'automatisation), en particulier pour les systèmes d'IA à haut risque utilisés pour fournir des informations ou des recommandations en vue de décisions à prendre par des personnes physiques ;
(c) d'interpréter correctement les résultats du système d'IA à haut risque, en tenant compte, par exemple, des outils et des méthodes d'interprétation disponibles ;
(d) de décider, dans une situation donnée, de ne pas utiliser le système d'IA à haut risque ou de ne pas tenir compte des résultats du système d'IA à haut risque, de les ignorer ou de les inverser ;
(e) intervenir dans le fonctionnement du système d'IA à haut risque ou interrompre le système au moyen d'un bouton "stop" ou d'une procédure similaire permettant au système de s'arrêter dans un état sûr.
5. Pour les systèmes d'IA à haut risque visés à l'annexe III, point 1 a), les mesures visées au paragraphe 3 du présent article sont de nature à garantir que, en outre, aucune action ou décision n'est prise par le responsable du déploiement sur la base de l'identification résultant du système, à moins que cette identification n'ait été vérifiée et confirmée séparément par au moins deux personnes physiques possédant les compétences, la formation et l'autorité nécessaires. L'exigence d'une vérification séparée par au moins deux personnes physiques ne s'applique pas aux systèmes d'IA à haut risque utilisés à des fins répressives, de migration, de contrôle aux frontières ou d'asile, lorsque le droit de l'Union ou le droit national considère que l'application de cette exigence est disproportionnée.