Une gouvernance solide pour la loi sur l'IA : Perspectives et points forts de Novelli et al. (2024)

Dans leur récente publication sur une gouvernance européenne robuste de l'IA, Claudio Novelli, Philipp Hacker, Jessica Morley, Jarle Trondal et Luciano Floridi poursuivent deux objectifs principaux : expliquer le cadre de gouvernance de la loi sur l'IA et fournir des recommandations pour assurer son exécution uniforme et coordonnée (Novelli et al., 2024).

Ce qui suit fournit un aperçu sélectif de la publication, avec un accent particulier sur l'Office AI et le GPAI. Il est important de noter que cette vue d'ensemble s'abstient d'introduire de nouvelles perspectives, mais se concentre uniquement sur la réitération des conclusions les plus pertinentes de la publication, dans un souci de clarté et d'accessibilité pour les décideurs politiques.

La publication originale est disponible sur SSRN via le lien SSRN, ou le lien DOI.

1. Mise en œuvre et application de la loi sur l'IA : les étapes restantes pour la Commission

Aspects clés	Tâches et responsabilités de la Commission
a) Procédures	- Établir des actes d'exécution et des actes délégués et collaborer avec l'Office AI et le Conseil AI à leur élaboration - Mener la procédure de comitologie avec les États membres pour l'adoption et la mise en œuvre des actes - Gérer l'adoption des actes délégués, en consultant des experts et en les soumettant à l'examen du Parlement européen et du Conseil
b) Lignes directrices	- Publier des lignes directrices sur l'application de la définition d'un système d'IA et des règles de classification des systèmes à haut risque - Créer des méthodes d'évaluation des risques pour identifier et atténuer les risques - Définir des règles pour les "modifications significatives" qui changent le niveau de risque d'un système à haut risque
c) Classification	- Mettre à jour l'annexe III afin d'ajouter ou de supprimer des cas d'utilisation de systèmes d'IA à haut risque par le biais d'actes délégués - Classer les GPAI comme présentant un "risque systémique" sur la base de critères tels que les FLOP et les capacités à fort impact - Ajuster les paramètres réglementaires (seuils, critères de référence) pour la classification des GPAI par le biais d'actes délégués
d) Systèmes interdits	- Élaborer des lignes directrices sur les pratiques d'IA interdites en vertu de l'article 5 (AIA) - Définir des normes et des bonnes pratiques pour contrer les techniques de manipulation et les risques - Définir des critères pour les exceptions aux interdictions, par exemple pour l'utilisation par les services répressifs de l'identification biométrique à distance et en temps réel
e) Normes harmonisées et obligations à haut risque	- Définir des normes et des obligations harmonisées pour les fournisseurs de systèmes à haut risque, y compris un système de gestion des risques à l'intérieur des bâtiments(article 9 de la LAI) - Normaliser les exigences en matière de documentation technique et mettre à jour l'annexe IV par le biais d'actes délégués si nécessaire - Approuver les codes de pratique(article 56, paragraphe 6, de la LAI)
f) Information et transparence	- Fixer des obligations d'information pour les fournisseurs de systèmes à haut risque tout au long de la chaîne de valeur de l'IA - Publier des orientations pour garantir le respect des exigences de transparence, en particulier pour les GPAI
g) Exécution	- Clarifier l'interaction entre l'EAI et les autres cadres législatifs de l'UE - Réglementer les bacs à sable réglementaires et les fonctions de supervision - Superviser la mise en place par les États membres de sanctions et de mesures d'application efficaces, proportionnées et dissuasives

1.1 Lignes directrices pour une classification de l'IA basée sur les risques

• Dans le cadre de l'évaluation des risques, la Commission doit encore définir des règles concernant les "modifications significatives" qui changent le niveau de risque d'un système une fois qu'il a été introduit sur le marché(Art 43(4) AIA). Novelli et al. estiment que l'ajustement standard des modèles de fondations ne devrait pas conduire à une modification substantielle, à moins que le processus n'implique explicitement la suppression de couches de sécurité ou d'autres actions qui augmentent clairement le risque.
• Une approche complémentaire de l'évaluation des risques proposée par Novelli et al. consiste à adopter des plans de gestion du changement prédéterminés, semblables à ceux utilisés en médecine ; il s'agit de documents décrivant les modifications prévues (par exemple, ajustements des performances, changement de l'utilisation prévue) et les méthodes d'évaluation de ces changements.

1.2 Classification des IA à usage général (GPAI)

• La Commission dispose d'une autorité notable en vertu de l'AIA pour classer les GPAI comme présentant un "risque systémique"(article 51 de l'AIA). Novelli et al. considèrent que cette distinction est cruciale : seuls les GPAI présentant un risque systémique sont soumis aux obligations plus ambitieuses en matière de sécurité de l'IA concernant l'évaluation et le red teaming, l'évaluation et l'atténuation globales des risques, la déclaration des incidents et la cybersécurité(article 55 de la LAI). La Commission peut prendre la décision de classer un GPAI comme présentant un risque systémique, ou le faire en réponse à une alerte du groupe scientifique.
• La Commission est en mesure d'ajuster dynamiquement les paramètres réglementaires. Novelli et al. estiment qu'il s'agit là d'un élément essentiel pour un modèle de gouvernance robuste, notamment parce que la tendance en matière de développement de l'IA est de créer des modèles plus puissants, mais plus "petits" (qui nécessitent moins de FLOP).
• L'article 52 précise comment les fournisseurs de GPAI peuvent contester les décisions de la Commission en matière de classification des risques. Novelli et al. prévoient que cela pourrait devenir un des principaux sujets de discorde dans le cadre de la loi sur l'IA. Les fournisseurs de GPAI dont les modèles sont entraînés avec moins de 10^25 FLOPs, mais qui sont considérés par la Commission comme présentant un risque systémique, devraient contester cette décision, en allant éventuellement jusqu'à la Cour de justice de l'Union européenne (CJUE). Cela permet aux fournisseurs qui ont les poches pleines de retarder l'application des règles plus strictes. Simultanément, cela renforce l'importance du seuil de 10^25 FLOP pour le GPAI, qui est en train de disparaître rapidement.

1.3 Calendrier d'application : délai de grâce et exemptions

• Les systèmes GPAI déjà sur le marché bénéficient d'un délai de grâce de 24 mois avant de devoir se conformer pleinement à l'accord de reconnaissance mutuelle(article 83, paragraphe 3, de l'accord de reconnaissance mutuelle). Novelli et al. notent que, plus important encore, les systèmes à haut risque déjà sur le marché pendant 24 mois après l'entrée en vigueur sont entièrement exemptés de l'accord préalable en connaissance de cause jusqu'à ce que des "changements significatifs" (définis dans la section 3.2) soient apportés à leur conception(article 83, paragraphe 2, de l'accord préalable en connaissance de cause). Ils soutiennent que cette disposition est en profonde contradiction avec un principe de la législation sur la sécurité des produits : elle s'applique à tous les modèles sur le marché, quelle que soit la date de leur entrée sur le marché. En outre, le délai de grâce pour la GPAI et l'exemption pour les systèmes à haut risque existants favorisent les opérateurs historiques par rapport aux nouveaux venus, ce qui est discutable du point de vue de la concurrence.

3. Les autorités supranationales : l'Office AI, l'Office AI et les autres organes

Organe et structure de l'institution	Mission et tâches
Office AI (art. 64 de la LAI et décision de la Commission) Centralisé au sein de la DG-CNECT de la Commission	- Harmoniser la mise en œuvre et l'application de l'EAI dans l'UE - Soutenir les actes d'exécution et les actes délégués - Normalisation et meilleures pratiques - Aider à la mise en place et au fonctionnement des "bacs à sable" réglementaires - Évaluer et contrôler les AMPI et contribuer aux enquêtes sur les violations des règles - Fournir un soutien administratif à d'autres organes (conseil d'administration, forum consultatif, groupe scientifique) - Consulter les parties prenantes et coopérer avec elles - Coopérer avec d'autres DG et services compétents de la Commission - Coopération internationale
Commission AI (art. 65 de la LAI) Représentants de chaque État membre, l'Office AI et le Contrôleur européen de la protection des données participant en tant qu'observateurs.	- Faciliter l'application cohérente et efficace de l'EAI - Coordonner les autorités nationales compétentes - Harmoniser les pratiques administratives. - Émettre des recommandations et des avis (à la demande de la Commission) - Soutenir la mise en place et le fonctionnement de "bacs à sable" réglementaires - Recueillir des informations en retour sur les alertes liées à l'AMPI
Forum consultatif (Art 67 AIA) Parties prenantes nommées par la Commission	- Fournir une expertise technique - Préparer des avis et des recommandations (à la demande du Conseil et de la Commission) - Créer des sous-groupes pour l'examen de questions spécifiques - Préparer un rapport annuel d'activités
Groupe scientifique (Art 68 AIA) Experts indépendants sélectionnés par la Commission	- Soutenir l'application de la réglementation en matière d'IA, en particulier pour les GPAI - Fournir des conseils sur la classification des modèles d'IA présentant un risque systémique - Alerter l'Office de l'IA des risques systémiques - Développer des outils et des méthodologies d'évaluation pour les GPAI - Soutenir les autorités de surveillance du marché et les activités transfrontalières
Autorités de notification (Artt 28-29 AIA) Désignées ou établies par les États membres	- Traiter les demandes de notification des organismes d'évaluation de la conformité (OEC) - Contrôler les OEC - Coopérer avec les autorités des autres États membres - Veiller à l'absence de conflit d'intérêts avec les organismes d'évaluation de la conformité - Prévention des conflits d'intérêts et impartialité de l'évaluation
Organismes notifiés (Artt 29-38 AIA) Organisme tiers d'évaluation de la conformité (doté de la personnalité juridique) notifié en vertu de la LAI	- Vérifier la conformité des systèmes d'IA à haut risque - Délivrer des certifications - Gérer et documenter les accords de sous-traitance - Activités d'évaluation périodique (audits) - Participer aux activités de coordination et à la normalisation européenne
Autorités de surveillance du marché (Artt 70-72 AIA) Entités désignées ou établies par les États membres en tant que points de contact uniques.	- Enquête de non-conformité et correction des systèmes d'IA à haut risque (par exemple, mesures de risque) - Supervision des essais en conditions réelles et gestion des rapports d'incidents graves - Guide et conseils sur la mise en œuvre du règlement, en particulier pour les PME et les jeunes entreprises - Soutien à la protection des consommateurs et à la concurrence loyale

3.1 L'Office AI

1. Composition institutionnelle et autonomie opérationnelle

• Novelli et al. notent que la structure organisationnelle précise et l'autonomie opérationnelle de l'Office restent ambiguës. Aucune disposition, que ce soit dans l'AIA ou dans la décision de la Commission, n'a été établie concernant la composition de l'Office AI, sa dynamique de collaboration avec les différents Connects au sein de la DG, ou l'étendue de son autonomie opérationnelle. Novelli et al. émettent l'hypothèse que cette absence est probablement justifiée par le fait que le Bureau utilisera en partie l'infrastructure existante de la DG-CNECT. Néanmoins, Novelli et al. soulignent que le recrutement d'experts et un financement substantiel constitueront des défis importants, car le Bureau sera en concurrence avec certaines des entreprises privées les mieux financées de la planète.
• En ce qui concerne son autonomie opérationnelle, l'intégration de l'Office dans la DG-CNECT signifie que le plan de gestion de la DG guidera les priorités stratégiques de l'Office AI. Novelli et al. notent que cette intégration influence directement la portée et l'orientation des initiatives de l'AI Office.
  

2. Mission(s) et tâche(s)

• Selon la décision de la Commission, la mission principale du Bureau de l'IA est d'assurer la mise en œuvre et l'application harmonisées de l'EAI (article 2, point 1 de la décision). La décision décrit également des missions auxiliaires, telles que le renforcement d'une approche stratégique de l'UE à l'égard des "initiatives" mondiales en matière d'IA, la promotion d'actions qui maximisent les avantages sociaux et économiques de l'IA, le soutien des systèmes d'IA qui stimulent la compétitivité de l'UE et le suivi des progrès du marché de l'IA. 
• Novelli et al. considèrent cette formulation très large, une interprétation qu'ils proposent est que le rôle de l'Office de l'IA pourrait aller au-delà du champ d'application de l'EAI pour inclure des cadres normatifs supplémentaires en matière d'IA (tels que la directive révisée sur la responsabilité du fait des produits ou la directive sur la responsabilité en matière d'intelligence artificielle (AILD)). Dans ce cas, Novelli et al. observent que le Bureau pourrait avoir besoin d'être restructuré en un organisme plus autonome, comme le CERT-UE, ce qui pourrait nécessiter de le détacher du cadre administratif de la Commission. 
• Novelli et al. considèrent que l'ambiguïté du cadre normatif actuel concernant la portée et le champ d'action de l'office d'audit interne est un aspect crucial. Ils estiment que les responsabilités attribuées à l'office d'audit interne sont définies de manière générale et que leur mise en œuvre précise évoluera en fonction de l'expérience pratique.
• Un aspect important à considérer dans le cadre du champ d'action de l'Office est la nature de ses décisions. Novelli et al. notent que l'Office AI n'émet pas de décisions contraignantes de son propre chef, mais qu'il soutient et conseille la Commission. Ils craignent que l'efficacité des mécanismes de recours contre les décisions de la Commission ne soit compromise par la nature opaque du soutien de l'office à la Commission, de ses interactions avec la DG-CNECT et de ses relations avec des organismes externes, tels que les autorités nationales. Novelli et al. estiment que cette question est particulièrement pertinente étant donné l'engagement de l'Office AI avec des experts et des parties prenantes externes. Ils soulignent que la documentation et la divulgation des contributions de l'AI Office deviennent cruciales. 

3.2 Le conseil d'administration de l'IA, le forum consultatif et le groupe scientifique

1. Structures, rôles et compositions des trois organes

• Pour Novelli et al, le fait d'avoir trois entités distinctes avec des compositions relativement similaires soulève des questions. Le conseil d'administration de l'IA est compréhensible pour assurer la représentation et maintenir une certaine indépendance par rapport aux institutions de l'UE. Mais la raison d'être d'un forum consultatif et d'un groupe scientifique n'est pas évidente. Le forum est destiné à recueillir les différents points de vue de la société civile et de l'industrie, agissant essentiellement comme une forme institutionnalisée de lobbying tout en équilibrant les intérêts commerciaux et non commerciaux. En revanche, le groupe scientifique est composé d'experts indépendants et (espérons-le) impartiaux, chargés de tâches spécifiques liées au GPAI. 

2. Mission(s) et tâches

• Novelli et al. notent que la Commission n'a pas le pouvoir de réviser les décisions des agences nationales de surveillance. Ils estiment que cela peut s'avérer un net inconvénient, entravant l'application uniforme de la loi si certains États membres interprètent l'accord préalable en connaissance de cause de manière très idiosyncratique. Par exemple, on peut penser en particulier au contrôle des limitations des outils de surveillance utilisant l'identification biométrique à distance. 
• Novelli et al. considèrent que la distinction entre le forum consultatif et le groupe scientifique est moins claire que la séparation entre le conseil d'administration et l'office. Ils s'interrogent sur l'exclusivité du soutien du forum au conseil d'administration et à la Commission, étant donné que le groupe soutient directement l'office AI, et se demandent si l'expertise spécialisée du groupe en matière de GPAI pourrait profiter à ces entités. La participation de l'Office AI aux réunions du conseil d'administration est un moyen indirect pour l'expertise du groupe d'influencer des discussions plus larges, mais Novelli et al. considèrent que cet arrangement n'est pas entièrement satisfaisant. L'avis spécialisé du groupe pourrait avoir moins d'impact, étant donné que l'office AI n'a pas le droit de vote lors des réunions du conseil d'administration. 

4. Recommandations pour une gouvernance solide de la loi sur l'IA

Sur la base de leur analyse, Novelli et al. envisagent les mises à jour importantes suivantes qui devraient être apportées à la structure de gouvernance de la loi sur l'IA. 

4.1 Clarifier la conception institutionnelle de l'Office AI

• Compte tenu du large éventail de tâches prévues pour l'Office AI, des orientations organisationnelles plus détaillées sont nécessaires. En outre, le mandat de l'Office manque de spécificité en ce qui concerne les critères de sélection des experts chargés d'effectuer les évaluations(considérant 164 de la LAI). 
• L'intégration de l'Office AI dans le cadre de la Commission peut nuire à sa transparence opérationnelle, étant donné l'obligation d'adhérer aux politiques générales de la Commission en matière de communication et de confidentialité. Par exemple, le droit d'accès du public aux documents de la Commission (règlement (CE) n° 1049/2001) comprend de nombreuses exceptions qui pourraient empêcher la publication de documents relatifs à l'AI Office. Novelli et al. citent l'exception des documents qui compromettraient "[...] les intérêts commerciaux d'une personne physique ou morale, y compris la propriété intellectuelle", une disposition définie de manière large et dépourvue de limites spécifiques et applicables. Une interprétation plus étroite de ces exceptions pourrait être appliquée à l'office d'audit interne afin de contourner les problèmes de transparence. 
• Il est nécessaire de clarifier davantage l'autonomie opérationnelle de l'Office AI. Novelli et al. proposent que cela prenne la forme de lignes directrices concernant le pouvoir de décision, l'indépendance financière et les capacités d'engagement avec des parties externes.
• Une autre approche, potentiellement plus efficace, consisterait à faire de l'AI Office une agence décentralisée dotée d'une identité juridique propre, à l'instar de l'EFSA et de l'EMA. Ce modèle conférerait à l'office de l'IA une autonomie accrue, y compris une relative liberté par rapport aux agendas politiques au niveau de la Commission, une mission définie, des pouvoirs exécutifs et l'autorité d'émettre des décisions contraignantes. Novelli et al. observent un certain risque de dérive des agences, mais affirment que les données empiriques suggèrent que les principaux interlocuteurs des agences de l'UE sont les DG "mères" de la Commission. 

4.2 Intégration du Forum et du Panel en un seul organe

• Novelli et al. soutiennent que la consolidation du Forum et du Panel en une seule entité réduirait les duplications et renforcerait le processus de délibération avant de parvenir à une décision. Cette entité fusionnerait les bases de connaissances de la société civile, du secteur des affaires et de la communauté universitaire, ce qui, selon Novelli et al, devrait favoriser des discussions inclusives et réfléchies sur les besoins identifiés par la Commission. Ils concluent que cette approche pourrait améliorer de manière significative la qualité des conseils fournis au conseil d'administration, au Bureau et aux autres institutions ou agences de l'UE. 
• Si la fusion du Forum et du Panel s'avère infaisable, une solution alternative pourrait consister à mieux coordonner leurs opérations, en séparant clairement les champs d'application, les rôles et les tâches, mais en unifiant les rapports. Novelli et al. suggèrent de produire un rapport annuel commun regroupant les contributions du Forum et du Groupe, ce qui réduirait les chevauchements administratifs et permettrait à la Commission, au Conseil et aux États membres de s'exprimer d'une seule voix. 
• La fusion ou le renforcement de la coordination entre le Forum et le Panel favorise une gouvernance solide de l'AIA en rationalisant les rôles consultatifs pour favoriser l'agilité et l'innovation, également en réponse aux changements technologiques perturbateurs. 

4.3 Coordination des entités de l'UE qui se chevauchent : l'intérêt d'un centre de coordination de l'IA

• À mesure que les technologies d'IA prolifèrent dans l'UE, la collaboration entre les entités réglementaires devient de plus en plus critique, en particulier lorsque l'introduction de nouvelles applications d'IA se heurte à des intérêts contradictoires. La décision de l'autorité italienne de protection des données de suspendre ChatGPT en est un bon exemple. Novelli et al. considèrent qu'il est crucial d'incorporer des mécanismes de coordination efficaces dans le cadre législatif de l'UE. 
• En outre, ils considèrent que la création d'une plateforme centralisée, le Centre de coordination de l'intelligence artificielle de l'Union européenne (EU AICH), constitue une alternative convaincante. Novelli et al. soutiennent que la mise en place d'une telle plateforme augmentera considérablement l'uniformité de l'application de l'AIA, tout en améliorant l'efficacité opérationnelle et en réduisant les incohérences dans le traitement d'affaires similaires.

4.4 Contrôle de l'utilisation abusive de l'IA au niveau de l'UE

• L'absence d'autorité permettant à la Commission de l'IA de réviser les décisions des autorités nationales ou d'y remédier constitue une lacune notable dans la mise en place d'une réglementation cohérente en matière d'IA. Cette situation est préoccupante, notamment en ce qui concerne les restrictions imposées par l'AIA aux outils de surveillance, y compris les technologies de reconnaissance faciale. 
• Sans la possibilité de corriger ou d'harmoniser les décisions nationales, il existe un risque accru que l'IA soit utilisée à mauvais escient dans certains États membres, ce qui pourrait faciliter la mise en place de régimes de surveillance illibéraux et étouffer la dissidence légitime. Novelli et al. soulignent la nécessité d'un mécanisme au sein de la commission de l'IA pour garantir une application uniforme de la loi et empêcher les applications abusives de l'IA, en particulier dans des domaines sensibles tels que la surveillance biométrique.

4.5 Mécanismes d'apprentissage

• Compte tenu de leur capacité de développement et d'ajustement plus rapide, Novelli et al. considèrent l'agilité des actes non législatifs comme une opportunité de gouvernance réactive dans le domaine de l'IA. Ils notent toutefois que la souplesse du cadre réglementaire doit correspondre à la capacité d'adaptation des organismes de réglementation. Les mécanismes d'apprentissage et de collaboration inter et intra-agences sont essentiels pour relever les défis techniques et sociétaux à multiples facettes de l'IA. Ils suggèrent d'introduire des obligations d'examen ex ante et ex post spécifiques. 
• Plus important encore, Novelli et al. proposent qu'une unité spécialisée, par exemple au sein de l'Office AI, soit chargée d'identifier les meilleures et les pires pratiques dans toutes les entités concernées (de l'Office au Forum). En liaison avec les centres de compétence des États membres, cette unité pourrait devenir un centre d'apprentissage et de perfectionnement institutionnel et individuel de l'IA, dans le cadre de l'EAI et au-delà. 

Références

Novelli, Claudio et Hacker, Philipp et Morley, Jessica et Trondal, Jarle et Floridi, Luciano, A Robust Governance for the AI Act : AI Office, AI Board, Scientific Panel, and National Authorities (5 mai 2024). Disponible sur SSRN : https://ssrn.com/abstract=4817755 ou http://dx.doi.org/10.2139/ssrn.4817755