1. La conception et le développement des systèmes d’IA à haut risquerisquela combinaison de la probabilité d’un préjudice et de la sévérité de celui-ciArticle 3(2) permettent, notamment au moyen d’interfaces homme-machine appropriées, un contrôle effectif par des personnes physiques pendant leur période d’utilisation.

2. Le contrôle humain vise à prévenir ou à réduire au minimum les risques pour la santé, la sécurité ou les droits fondamentaux qui peuvent apparaître lorsqu’un système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1) à haut risquerisquela combinaison de la probabilité d’un préjudice et de la sévérité de celui-ciArticle 3(2) est utilisé conformément à sa destinationdestinationl’utilisation à laquelle un système d’IA est destiné par le fournisseur, y compris le contexte et les conditions spécifiques d’utilisation, tels qu’ils sont précisés dans les informations communiquées par le fournisseur dans la notice d’utilisation, les indications publicitaires ou de vente et les déclarations, ainsi que dans la documentation techniqueArticle 3(12) ou dans des conditions de mauvaise utilisation raisonnablement prévisiblemauvaise utilisation raisonnablement prévisiblel’utilisation d’un système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1) d’une manière qui n’est pas conforme à sa destinationdestinationl’utilisation à laquelle un système d’IA est destiné par le fournisseur, y compris le contexte et les conditions spécifiques d’utilisation, tels qu’ils sont précisés dans les informations communiquées par le fournisseur dans la notice d’utilisation, les indications publicitaires ou de vente et les déclarations, ainsi que dans la documentation techniqueArticle 3(12), mais qui peut résulter d’un comportement humain raisonnablement prévisible ou d’une interaction raisonnablement prévisible avec d’autres systèmes, y compris d’autres systèmes d’IAArticle 3(13), en particulier lorsque de tels risques persistent malgré l’application d’autres exigences énoncées dans la présente section.

3. Les mesures de contrôle sont proportionnées aux risques, au niveau d’autonomie et au contexte d’utilisation du système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1) à haut risquerisquela combinaison de la probabilité d’un préjudice et de la sévérité de celui-ciArticle 3(2), et sont assurées au moyen d’un ou des deux types de mesures suivants:

(a) des mesures identifiées et, lorsque cela est techniquement possible, intégrées par le fournisseurfournisseurune personne physique ou morale, une autorité publique, une agence ou tout autre organisme qui développe ou fait développer un système d’IA ou un modèle d’IA à usage général et le met sur le marché ou met le système d’IA en service sous son propre nom ou sa propre marque, à titre onéreux ou gratuitArticle 3(3) dans le système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1) à haut risquerisquela combinaison de la probabilité d’un préjudice et de la sévérité de celui-ciArticle 3(2) avant la mise sur le marchémise sur le marchéla première mise à disposition d’un système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1) ou d’un modèle d’IA à usage général sur le marché de l’UnionArticle 3(9) ou la mise en servicemise en servicela fourniture d’un système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1) en vue d’une première utilisation directement au déployeurdéployeurune personne physique ou morale, une autorité publique, une agence ou un autre organisme utilisant sous sa propre autorité un système d’IA sauf lorsque ce système est utilisé dans le cadre d’une activité personnelle à caractère non professionnelArticle 3(4) ou pour usage propre dans l’Union, conformément à la destinationdestinationl’utilisation à laquelle un système d’IA est destiné par le fournisseur, y compris le contexte et les conditions spécifiques d’utilisation, tels qu’ils sont précisés dans les informations communiquées par le fournisseur dans la notice d’utilisation, les indications publicitaires ou de vente et les déclarations, ainsi que dans la documentation techniqueArticle 3(12) du système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1)Article 3(11) de ce dernier;

(b) des mesures identifiées par le fournisseurfournisseurune personne physique ou morale, une autorité publique, une agence ou tout autre organisme qui développe ou fait développer un système d’IA ou un modèle d’IA à usage général et le met sur le marché ou met le système d’IA en service sous son propre nom ou sa propre marque, à titre onéreux ou gratuitArticle 3(3) avant la mise sur le marchémise sur le marchéla première mise à disposition d’un système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1) ou d’un modèle d’IA à usage général sur le marché de l’UnionArticle 3(9) ou la mise en servicemise en servicela fourniture d’un système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1) en vue d’une première utilisation directement au déployeurdéployeurune personne physique ou morale, une autorité publique, une agence ou un autre organisme utilisant sous sa propre autorité un système d’IA sauf lorsque ce système est utilisé dans le cadre d’une activité personnelle à caractère non professionnelArticle 3(4) ou pour usage propre dans l’Union, conformément à la destinationdestinationl’utilisation à laquelle un système d’IA est destiné par le fournisseur, y compris le contexte et les conditions spécifiques d’utilisation, tels qu’ils sont précisés dans les informations communiquées par le fournisseur dans la notice d’utilisation, les indications publicitaires ou de vente et les déclarations, ainsi que dans la documentation techniqueArticle 3(12) du système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1)Article 3(11) du système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1) à haut risquerisquela combinaison de la probabilité d’un préjudice et de la sévérité de celui-ciArticle 3(2) et qui se prêtent à une mise en œuvre par le déployeurdéployeurune personne physique ou morale, une autorité publique, une agence ou un autre organisme utilisant sous sa propre autorité un système d’IA sauf lorsque ce système est utilisé dans le cadre d’une activité personnelle à caractère non professionnelArticle 3(4).

4. Aux fins de la mise en œuvre des dispositions des paragraphes 1, 2 et 3, le système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1) à haut risquerisquela combinaison de la probabilité d’un préjudice et de la sévérité de celui-ciArticle 3(2) est fourni au déployeurdéployeurune personne physique ou morale, une autorité publique, une agence ou un autre organisme utilisant sous sa propre autorité un système d’IA sauf lorsque ce système est utilisé dans le cadre d’une activité personnelle à caractère non professionnelArticle 3(4) de telle manière que les personnes physiques chargées d’effectuer un contrôle humain, dans la mesure où cela est approprié et proportionné, ont la possibilité:

(a) de comprendre correctement les capacités et les limites pertinentes du système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1) à haut risquerisquela combinaison de la probabilité d’un préjudice et de la sévérité de celui-ciArticle 3(2) et d’être en mesure de surveiller correctement son fonctionnement, y compris en vue de détecter et de traiter les anomalies, les dysfonctionnements et les performances inattendues;

(b) d’avoir conscience d’une éventuelle tendance à se fier automatiquement ou excessivement aux sorties produites par un système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1) à haut risquerisquela combinaison de la probabilité d’un préjudice et de la sévérité de celui-ciArticle 3(2) (biais d’automatisation), en particulier pour les systèmes d’IA à haut risquerisquela combinaison de la probabilité d’un préjudice et de la sévérité de celui-ciArticle 3(2) utilisés pour fournir des informations ou des recommandations concernant les décisions à prendre par des personnes physiques;

(c) d’interpréter correctement les sorties du système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1) à haut risquerisquela combinaison de la probabilité d’un préjudice et de la sévérité de celui-ciArticle 3(2), compte tenu par exemple des outils et méthodes d’interprétation disponibles;

(d) de décider, dans une situation particulière, de ne pas utiliser le système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1) à haut risquerisquela combinaison de la probabilité d’un préjudice et de la sévérité de celui-ciArticle 3(2) ou d’ignorer, remplacer ou inverser la sortie du système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1) à haut risquerisquela combinaison de la probabilité d’un préjudice et de la sévérité de celui-ciArticle 3(2);

(e) d’intervenir dans le fonctionnement du système d’IAsystème d’IAun système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuelsArticle 3(1) à haut risquerisquela combinaison de la probabilité d’un préjudice et de la sévérité de celui-ciArticle 3(2) ou d’interrompre le système au moyen d’un bouton d’arrêt ou d’une procédure similaire permettant au système de s’arrêter de manière sécurisée.

5. Pour les systèmes d’IA à haut risquerisquela combinaison de la probabilité d’un préjudice et de la sévérité de celui-ciArticle 3(2) visés à l’annexe III, point 1 a), les mesures prévues au paragraphe 3 du présent article sont de nature à garantir que, en outre, aucune mesure ou décision n’est prise par le déployeurdéployeurune personne physique ou morale, une autorité publique, une agence ou un autre organisme utilisant sous sa propre autorité un système d’IA sauf lorsque ce système est utilisé dans le cadre d’une activité personnelle à caractère non professionnelArticle 3(4) sur la base de l’identification résultant du système sans vérification et confirmation distinctes de cette identification par au moins deux personnes physiques disposant des compétences, de la formation et de l’autorité nécessaires.