Vue d'ensemble du code de pratique

Le code de bonnes pratiques offre un cadre clair pour aider les développeurs de modèles d'IA à usage général (GPAI) à répondre aux exigences de la loi européenne sur l'IA. Les fournisseurs peuvent choisir de suivre le code, mais ils sont également libres de démontrer leur conformité par d'autres méthodes appropriées. Ce billet donne un aperçu concis de chaque chapitre, engagement et mesure en termes simples.

Les règles de l'AMPI entrent en vigueur le 2 août 2025, ce qui signifie que tous les nouveaux modèles commercialisés à partir de cette date doivent être conformes. Toutefois, les mesures d'application de la Commission - telles que les demandes d'informations, l'accès aux modèles ou les rappels de modèles - ne commenceront qu'un an plus tard, le 2 août 2026. Ce délai de grâce donne aux fournisseurs le temps de travailler avec l'Office AI pour s'assurer qu'ils respectent les normes.

Pour les modèles commercialisés avant le 2 août 2025, les fournisseurs ont jusqu'au 2 août 2027 pour les mettre en conformité.

Voir notre calendrier complet de mise en œuvre.

---

---

À venir dans ce billet :

• Résumé
  • Chapitre sur le droit d'auteur
  • Chapitre sur la sûreté et la sécurité
  • Chapitre sur la transparence
• Chapitre sur la transparence
  • Engagement 1 : Documentation
  • Le modèle de formulaire de documentation
• Chapitre sur le droit d'auteur
  • Engagement 1 : Politique en matière de droits d'auteur
• Chapitre sur la sûreté et la sécurité
  • Engagement 1 : Cadre de sûreté et de sécurité
  • Engagement 2 : Identification des risques systémiques
  • Engagement 3 : Analyse du risque systémique
  • Engagement 4 : Détermination de l'acceptation des risques systémiques
  • Engagement 5 : Mesures d'atténuation de la sécurité
  • Engagement 6 : Mesures d'atténuation de la sécurité
  • Engagement 7 : Rapports types sur la sûreté et la sécurité
  • Engagement 8 : Répartition des responsabilités en matière de risque systémique
  • Engagement 9 : Signalement des incidents graves
  • Engagement 10 : Documentation supplémentaire et transparence
• Annexes
  • Annexe 1 : Risques systémiques et autres considérations
  • Annexe 2 : Modèles similaires ou plus sûrs 
  • Annexe 3 : Évaluations des modèles
  • Annexe 4 : Objectifs et mesures d'atténuation de la sécurité

---

Résumé

Chapitre sur la transparence

Les signataires s'engagent à tenir à jour une documentation complète pour chaque modèle GPAI distribué dans l'UE, à l'exception des modèles gratuits, à code source ouvert et ne présentant pas de risque systémique. Cette documentation doit suivre un formulaire de documentation de modèle standardisé, détaillant les licences, les spécifications techniques, les cas d'utilisation, les ensembles de données, les calculs et l'utilisation de l'énergie, et plus encore. Elle doit être conservée en toute sécurité pendant au moins dix ans et mise à la disposition, sur demande, de l'Office de l'IA et des utilisateurs en aval. La publication de ces informations est encouragée afin de promouvoir la transparence.

Chapitre sur le droit d'auteur

Ce chapitre garantit l'alignement sur la législation européenne en matière de droits d'auteur, en particulier l'exigence d'une autorisation préalable, sauf exceptions spécifiques (telles que l'exploration de textes et de données). Les signataires sont tenus d'élaborer et de mettre régulièrement à jour une politique solide en matière de droits d'auteur, qui définisse clairement les responsabilités internes et soit conforme aux normes juridiques. Ils doivent s'assurer que les données collectées par l'exploration du web sont légalement accessibles, respecter les signaux de droits lisibles par les machines tels que robots.txt, et éviter d'accéder à des sites web signalés pour violation des droits d'auteur. Les mesures de protection techniques doivent minimiser la production de contenu illicite et les conditions de service doivent clairement interdire toute utilisation non autorisée. Un point de contact désigné doit être mis à la disposition des détenteurs de droits d'auteur pour qu'ils puissent déposer des plaintes, et des procédures efficaces et équitables doivent être mises en place pour les traiter.

Chapitre sur la sûreté et la sécurité

Ce chapitre définit des obligations complètes pour les développeurs de modèles GPAI présentant un risque systémique, afin d'identifier, d'évaluer, d'atténuer et de rendre compte de manière transparente des risques de sûreté et de sécurité tout au long du cycle de vie du modèle. Il établit un cadre de gouvernance des risques axé sur les évaluations préalables à la mise sur le marché, le contrôle permanent et la surveillance continue.

Les signataires doivent élaborer un cadre de sûreté et de sécurité de pointe avant la publication du modèle, en décrivant les déclencheurs d'évaluation, les catégories de risques, les stratégies d'atténuation, les méthodes de prévision et les responsabilités organisationnelles. Ce cadre doit être régulièrement mis à jour en fonction des nouveaux risques, des incidents ou des changements importants survenus dans le modèle ou son environnement.

Les risques systémiques sont identifiés grâce à des processus structurés tels que des inventaires, des analyses de scénarios et la consultation d'experts internes et externes. Ces risques sont ensuite analysés à l'aide de méthodes d'évaluation rigoureuses telles que les simulations, les essais contradictoires et la surveillance après la mise sur le marché.

Avant de poursuivre le développement ou le déploiement, les signataires doivent évaluer si les risques identifiés sont acceptables, en appliquant des cadres de niveau de risque définis avec des marges de sécurité intégrées. Si les risques sont jugés inacceptables, des mesures correctives immédiates sont nécessaires.

Pour maintenir des niveaux de risque acceptables, des mesures de sécurité doivent être intégrées tout au long du cycle de vie du modèle, y compris le filtrage, la surveillance continue, la formation au refus, les contrôles d'accès progressifs, les sauvegardes des outils en aval et les environnements de déploiement sécurisés. Les contrôles de sécurité parallèles doivent empêcher tout accès non autorisé ou toute utilisation abusive, en utilisant des protections numériques et physiques solides jusqu'à ce que le modèle soit rendu public ou mis hors service.

Un rapport obligatoire sur le modèle de sûreté et de sécurité doit être soumis avant la publication et mis à jour en fonction de l'évolution des risques. Ce rapport doit contenir une documentation détaillée sur l'identification des risques, l'analyse, les efforts d'atténuation, le comportement du modèle, les évaluations externes et tout changement important dans le paysage des risques.

La responsabilité organisationnelle est essentielle. Les signataires doivent clairement attribuer les rôles de supervision, d'appropriation, de contrôle et d'assurance au sein de leurs structures de gouvernance et garantir des ressources adéquates, une forte culture du risque et des protections pour les dénonciateurs.

Les incidents graves doivent être rapidement suivis, documentés et signalés aux régulateurs en fonction de leur gravité et dans des délais serrés (par exemple, dans les deux jours pour les incidents affectant des infrastructures critiques). Les rapports doivent être régulièrement mis à jour et conservés pendant au moins cinq ans.

Enfin, les signataires sont tenus de conserver des dossiers détaillés sur les activités de sécurité et de gestion des risques pendant au moins dix ans. Les résumés de haut niveau de leurs cadres de sécurité et les rapports sur les modèles doivent être publiés lorsque cela est nécessaire pour réduire les risques, à moins que le modèle ne réponde à des critères spécifiques qui le qualifient de "tout aussi sûr ou plus sûr".

---

Chapitre sur la transparence

Le présent chapitre définit des attentes claires quant à la manière dont les signataires doivent s'acquitter de leurs obligations de transparence en vertu de l'article 53, paragraphe 1, points a) et b), et des annexes XI et XII de la loi sur l'IA. L'objectif principal est de garantir que les informations essentielles circulent efficacement vers les prestataires en aval et l'Office AI, tout en préservant des niveaux de confidentialité appropriés.

Engagement 1 : Documentation

Les signataires s'engagent à :

• Conserver une documentation complète et à jour pour chaque modèle (Mesure 1.1)
• Faciliter le partage d'informations avec l'Office AI et les prestataires en aval (Mesure 1.2)
• Garantir l'exactitude, l'exhaustivité et la protection de l'ensemble de la documentation (mesure 1.3)

Ces engagements ne s'appliquent pas aux modèles libres et gratuits, à moins qu'ils ne soient classés comme modèles GPAI présentant un risque systémique.

Mesure 1.1 : Établir et tenir à jour la documentation du modèle

• Avant de mettre un modèle GPAI sur le marché de l'Union européenne, les signataires doivent préparer une documentation complète portant sur tous les éléments spécifiés dans le formulaire de documentation du modèle (voir ci-dessous). 
• Cette documentation doit rester à jour, refléter toute modification importante et être conservée pendant au moins 10 ans après la publication initiale du modèle.

Mesure 1.2 : Fournir des informations pertinentes

• Les signataires doivent fournir publiquement les coordonnées permettant à l'Office AI et aux fournisseurs en aval de demander l'accès à la documentation.
• Sur demande, ils doivent fournir la dernière version de la documentation à l'Office AI dans les délais impartis.
• Les fournisseurs en aval doivent recevoir la documentation nécessaire - ainsi que toutes les clarifications requises - dans un délai de 14 jours, sauf raisons légitimes de retard.
• La publication de la documentation est recommandée comme moyen d'améliorer la transparence générale.

Mesure 1.3 : Assurer la qualité, l'intégrité et la sécurité de l'information

• Les signataires ont la responsabilité de conserver une documentation précise, protégée contre toute modification non autorisée et stockée en toute sécurité afin de démontrer la conformité réglementaire.

Le modèle de formulaire de documentation

Le formulaire couvre les catégories suivantes pour une utilisation réglementaire et en aval :

• Licences et distribution
• Identification du modèle (nom, version, date de publication, entité)
• Spécifications techniques (architecture, taille, formats d'E/S)
• Cas d'utilisation prévus et approuvés
• Dépendances en matière d'intégration (plates-formes, logiciels/matériel)
• Méthodologie de formation et justification de la conception
• Détails de l'ensemble de données (source, type, portée, volume, conservation, atténuation des biais)
• Consommation d'énergie et de calcul (formation et inférence)

---

Chapitre sur le droit d'auteur

Ce chapitre facilite le respect de l'article 53, paragraphe 1, point c), de la loi sur l'IA, qui impose aux fournisseurs d'établir des politiques de droits d'auteur conformes à la législation de l'UE en matière de droits d'auteur et de droits voisins. Bien que le respect de ces lignes directrices soutienne les efforts de conformité réglementaire, il ne constitue pas une garantie de conformité juridique totale, qui dépend en fin de compte des interprétations des tribunaux nationaux et de la Cour de justice de l'Union européenne (CJUE).

La législation de l'Union européenne en matière de droit d'auteur repose sur le principe fondamental selon lequel une autorisation préalable est requise pour l'utilisation d'œuvres protégées, sauf lorsque des exceptions spécifiques s'appliquent - telles que les dispositions relatives à l'exploration de textes et de données (TDM) en vertu de l'article 4, paragraphe 1, de la directive (UE) 2019/790 - et que les titulaires de droits n'ont pas expressément réservé leurs droits.

Engagement 1 : Politique en matière de droits d'auteur

Les signataires s'engagent à établir, maintenir et mettre en œuvre une politique globale en matière de droits d'auteur qui s'applique à tous les modèles GPAI distribués dans l'UE. Cette politique doit s'aligner sur les normes décrites dans le présent chapitre. 

Toutefois, l'adhésion aux exigences de ce chapitre ne se substitue pas à l'obligation fondamentale de se conformer à la législation de l'Union et à la législation nationale en matière de droit d'auteur. Les signataires conservent l'entière responsabilité de veiller à ce que leurs opérations soient conformes aux cadres juridiques applicables, y compris l'article 4, paragraphe 3, de la directive (UE) 2019/790, avant d'entreprendre toute activité liée au droit d'auteur.

Mesure 1.1 : Élaborer, tenir à jour et mettre en œuvre une politique en matière de droits d'auteur

• Les signataires doivent élaborer et maintenir une politique unifiée et régulièrement mise à jour en matière de droits d'auteur, qui démontre la conformité avec les exigences de ce chapitre et définit clairement les structures internes de responsabilité. 
• La publication d'un résumé de la politique est encouragée pour améliorer la transparence et la compréhension du public.

Mesure 1.2 : Reproduire et extraire uniquement des contenus légalement accessibles et protégés par le droit d'auteur lors de l'exploration du World Wide Web

• Les systèmes d'exploration du web déployés à des fins de formation doivent limiter l'accès aux seuls contenus légalement disponibles.
• Il est interdit de contourner les barrières techniques (telles que les paywalls ou les mécanismes de restriction d'accès).
• Les fournisseurs doivent exclure les sites web que les autorités de l'UE/EEE ont identifiés comme des violateurs persistants de droits d'auteur, sur la base d'un registre public hébergé par l'UE.

Mesure 1.3 : Identifier et respecter les droits réservés lors de l'exploration du World Wide Web

• Les systèmes d'exploration doivent être capables de reconnaître et d'honorer les réservations de droits lisibles par les machines, y compris les fichiers robots.txt, conformément aux normes RFC 9309.
• Les fournisseurs doivent adhérer à d'autres normes largement reconnues et techniquement pratiques, approuvées dans le cadre de consultations au niveau de l'UE.
• Les signataires sont encouragés à participer activement à l'élaboration de ces protocoles techniques.
• Ils doivent faire preuve de transparence en ce qui concerne le fonctionnement de leurs robots d'indexation et leur approche du traitement des contenus dont les droits sont réservés, et proposer des systèmes de notification automatisés pour les titulaires de droits.
• Les opérateurs de moteurs de recherche doivent s'assurer que le respect des droits réservés ne compromet pas leurs capacités d'indexation.

Mesure 1.4 : Atténuer le risque de résultats portant atteinte au droit d'auteur

• Les fournisseurs doivent déployer des mesures de protection techniques conçues pour minimiser la probabilité que les modèles d'IA produisent des contenus portant atteinte aux droits d'auteur.
• Ils doivent interdire explicitement les utilisations illicites dans leurs conditions de service ou leur documentation, y compris pour les distributions de modèles à code source ouvert.
• Ces mesures de protection doivent rester efficaces, que le modèle soit utilisé directement ou par l'intermédiaire de tiers.

Mesure 1.5 : Désigner un point de contact et permettre le dépôt de plaintes

• Les signataires doivent établir un point de contact dédié aux détenteurs de droits et mettre en œuvre un système de réception des plaintes électroniques fondées.
• Toutes les plaintes doivent faire l'objet d'un examen équitable et d'une réponse en temps utile, à l'exception de celles qui sont manifestement infondées ou répétitives.
• Ce mécanisme de plainte fonctionne sans préjudice des autres recours juridiques dont disposent les détenteurs de droits pour protéger leurs intérêts.

---

Chapitre sur la sûreté et la sécurité

Engagement 1 : Cadre de sûreté et de sécurité

Les signataires s'engagent à mettre en place un cadre de sûreté et de sécurité de pointe qui définit des procédures et des mesures globales de gestion du risque systémique destinées à maintenir des niveaux acceptables de risque systémique. Cela implique l'élaboration, la mise en œuvre et la mise à jour régulière du cadre, tout en tenant l'Office AI informé de tous les développements.

Mesure 1.1 : Création du cadre

Les signataires élaborent un cadre qui documente les processus existants et prévus d'évaluation et d'atténuation des risques systémiques. Ce cadre doit englober 

• Des points de déclenchement justifiés qui déterminent quand des évaluations plus légères et plus rigoureuses du modèle doivent avoir lieu tout au long du cycle de vie du modèle. 
• Pour l'acceptation du risque systémique (engagement 4) :
  • Des critères et une logique clairs pour l'établissement des catégories de risque systémique et leur application pratique.
  • Des stratégies d'atténuation complètes et de haut niveau correspondant à chaque catégorie de risque. 
  • Des projections indiquant à quel moment les modèles devraient dépasser le niveau de risque le plus élevé, étayées par une justification détaillée, des hypothèses sous-jacentes et l'utilisation de méthodes de prévision, d'enquêtes d'experts ou d'estimations professionnelles. 
  • Description claire de la manière dont les orientations externes (y compris la contribution des pouvoirs publics) influencent les choix de développement et de déploiement. 

• Attribution claire des responsabilités en matière de gestion du risque systémique (engagement 8).
• Procédures de mise à jour et de révision du cadre. 
• Les signataires doivent confirmer le cadre dans les quatre semaines suivant la notification à la Commission que leur modèle GPAI atteint le seuil requis pour être classé comme modèle GPAI présentant un risque systémique, et au moins deux semaines avant le lancement sur le marché.

Mesure 1.2 : Mise en œuvre du cadre

Les signataires maintiennent une évaluation continue du risque systémique par le biais de : 

• L'exécution d'évaluations de modèles rationalisées (telles que des évaluations automatisées) à des points de déclenchement désignés (établis en fonction des délais, des ressources de formation informatique, des étapes de développement, de l'accessibilité pour les utilisateurs, de la capacité de calcul de l'inférence et/ou des possibilités). 
• Surveillance continue après la mise sur le marché, 
• Incorporer des informations provenant de rapports d'incidents graves. 
• étendre la portée et l'intensité de l'évaluation lorsque les circonstances le justifient, ou mettre en œuvre des protocoles complets d'évaluation et d'atténuation des risques systémiques sur la base des résultats de l'évaluation, des données de surveillance après la mise sur le marché et des renseignements sur les incidents graves.

Ils déploient en permanence des mesures d'atténuation du risque systémique qui reflètent les résultats des évaluations (évaluations de modèles, surveillance post-commercialisation et analyse des incidents graves).

Ils mettent en œuvre des protocoles complets d'évaluation et d'atténuation du risque systémique, qui impliquent : 

• Identification systématique des risques systémiques. 
• Analyse approfondie de chaque risque systémique identifié. 
• Détermination des niveaux d'acceptabilité du risque systémique. 
• Mise en œuvre de mesures d'atténuation et réévaluation lorsque les risques s'avèrent inacceptables, suivie du déploiement de contre-mesures de sûreté et/ou de sécurité, le processus revenant à l'identification des risques.

Ce processus doit être achevé avant l'introduction sur le marché. 

Elle doit être répétée lorsque :

• Les circonstances raisonnablement prévisibles justifiant les niveaux acceptables de risque systémique, y compris les marges de sécurité intégrées, cesseraient d'être valables. 
• L'application ou l'intégration du modèle dans les systèmes d'IA a subi, ou devrait subir, des modifications substantielles.

Les signataires doivent fournir des rapports complets sur toutes les mesures et tous les processus à l'Office AI.

Mesure 1.3 : Mise à jour du cadre

Les signataires doivent réviser le cadre si nécessaire - rapidement après toute évaluation - afin de s'assurer qu'il reste d'actualité et qu'il respecte les normes les plus récentes. Toutes les mises à jour doivent être accompagnées d'une documentation complète sur les changements, détaillant la justification, l'identification de la version et la date de mise en œuvre.

Des évaluations du cadre sont effectuées : 

• Au moins une fois par an après l'introduction du modèle sur le marché ; ou 
• Plus tôt, lorsque des preuves raisonnables suggèrent que l'adéquation ou la conformité ont été compromises de manière significative.

Les conditions de déclenchement sont les suivantes 

• Changements importants susceptibles d'entraîner des risques systémiques inacceptables. 
• Incidents graves ou accidents évités de justesse qui mettent en évidence des risques systémiques matérialisés. 
• Les changements notables dans les profils de risque systémique (y compris l'évolution de la capacité des modèles ou la baisse de l'efficacité des mesures d'atténuation).

Les évaluations examinent : 

• Adéquation : les procédures et mesures du cadre permettent-elles de faire face efficacement aux risques systémiques ? 
• Respect : Conformité aux exigences du cadre, explications de toute non-conformité, mesures correctives prises et, en cas de risque de non-conformité future, stratégies de remédiation détaillées.

Mesure 1.4 : Notifications du cadre

• Les signataires accordent à l'Office AI un accès complet et non censuré à leur cadre et à toutes les mises à jour ultérieures dans les cinq jours ouvrables suivant la confirmation finale.

Engagement 2 : Identification des risques systémiques

Les signataires s'engagent à identifier les risques systémiques à l'aide d'une méthodologie systématique, y compris la création de scénarios de risque qui éclairent l'analyse du risque systémique et les décisions d'acceptation.

Mesure 2.1 : Processus d'identification du risque systémique

Les signataires identifient les risques systémiques par le biais

• Dresser un inventaire complet des risques potentiels (annexe 1.1), en s'appuyant sur des sources indépendantes du modèle, des informations spécifiques au modèle (y compris des données postérieures à la mise sur le marché et des rapports d'incidents), et des conseils de l'Office de l'IA, du groupe scientifique ou du réseau international des instituts de sécurité de l'IA (lorsqu'ils ont été officiellement approuvés).
• Examiner les caractéristiques pertinentes (annexe 1.2) et les sources (annexe 1.3).
• Identifier les risques systémiques à partir de cette analyse globale.
• Identifier les risques répertoriés à l'annexe 1.4.

Mesure 2.2 : Scénarios de risque systémique

Les signataires élaborent des scénarios de risque systémique détaillés, établissant la quantité et le niveau de granularité optimaux pour chaque risque systémique identifié.

Engagement 3 : Analyse du risque systémique

Les signataires s'engagent à examiner de manière approfondie chaque risque systémique identifié afin d'éclairer les décisions d'acceptation du risque systémique, ce qui englobe la collecte d'informations indépendantes du modèle, l'exécution d'évaluations de modèles, la modélisation des risques, les activités d'estimation et la surveillance continue des risques systémiques.

Mesure 3.1 : Informations indépendantes du modèle

Les signataires recueillent des informations pertinentes indépendantes du modèle par le biais d'approches comprenant des analyses documentaires approfondies, des analyses du marché et des données de formation, des études sur les schémas d'incidents, des projections de tendances, des consultations d'experts et des recherches sur l'opinion publique.

Mesure 3.2 : Évaluation des modèles

Les signataires effectuent des évaluations de pointe dans toutes les modalités pertinentes afin d'examiner les capacités des modèles, les tendances comportementales, les caractéristiques opérationnelles et les incidences sur le monde réel (annexe 3).

Les évaluations doivent utiliser des méthodologies appropriées, incorporer des tests ouverts pour les propriétés émergentes et être guidées par des informations indépendantes du modèle. Les approches comprennent : le questionnement structuré, l'évaluation axée sur les tâches, les repères normalisés, les tests contradictoires, les études d'amélioration humaine, la recherche sur les organismes modèles, les exercices de simulation et les évaluations par procuration pour les domaines à contenu restreint.

Mesure 3.3 : Modélisation du risque systémique

Les signataires procèdent à une modélisation avancée du risque systémique, fondée sur des scénarios de risque et étayée par des risques identifiés et une analyse approfondie.

Mesure 3.4 : Estimation du risque systémique

Les signataires calculent la probabilité et la gravité des dommages potentiels en utilisant des méthodologies de pointe. Les estimations peuvent être de nature quantitative, semi-quantitative ou qualitative, englobant des systèmes de notation des risques, des matrices de risques ou des distributions de probabilités, et doivent intégrer les risques identifiés, les résultats analytiques et les données relatives aux incidents graves.

Mesure 3.5 : Surveillance après la mise sur le marché

Les signataires mettent en place des systèmes complets de surveillance post-marché afin d'éclairer les décisions en matière de risque systémique, les mises à jour des rapports de modèle et les projections temporelles.

Les activités de surveillance évaluent les capacités, les propensions, les possibilités et les effets du modèle par des méthodes telles que

• Collecte des commentaires des utilisateurs finaux, canaux de signalement dédiés, programmes de recherche de bogues, évaluations menées par la communauté.
• Suivi des référentiels de code et des plateformes de médias sociaux, initiatives de soutien à la recherche.
• l'enregistrement des données dans le respect de la vie privée (y compris le filigrane et le suivi de la provenance).
• Contrôler les violations des restrictions d'utilisation et les incidents qui en résultent.
• Suivi des caractéristiques des modèles opaques pertinentes pour l'évaluation du risque systémique.

Les signataires qui exploitent des systèmes d'IA intégrant leurs modèles GPAI doivent mettre en œuvre des protocoles de contrôle correspondants pour ces systèmes.

Pour faciliter un contrôle efficace, les signataires doivent fournir à un nombre suffisant d'évaluateurs externes indépendants un accès gratuit aux versions les plus avancées du modèle, y compris aux variantes présentant des contraintes de sécurité minimales, à moins que des modèles de sécurité équivalente ne soient mis à disposition. Les mécanismes d'accès comprennent les interfaces API, les installations sur site, la fourniture de matériel dédié ou la distribution publique du modèle.

Les signataires publient des normes transparentes de sélection des évaluateurs et utilisent les résultats des évaluations uniquement à des fins d'évaluation du risque systémique. Les contributions et les résultats des évaluateurs ne doivent pas être incorporés dans les processus de formation des modèles sans consentement explicite.

Les signataires s'abstiennent de toute mesure de rétorsion juridique ou technique à l'encontre des évaluateurs menant de bonne foi des activités de test et de publication, à condition qu'ils.. :

• Maintenir la disponibilité du modèle sans interruption.
• Traiter les données sensibles de manière responsable.
• Éviter de créer des risques pour la sécurité publique.
• S'abstenir d'appliquer les conclusions de manière coercitive.
• Adhérer aux protocoles de divulgation responsable.

Ces politiques de divulgation permettent une publication dans les 30 jours ouvrables, à moins que des délais plus longs ne soient justifiés par des préoccupations élevées en matière de risque systémique.

Les petites et moyennes entreprises (PME) et les petites capitalisations moyennes (SMC) peuvent demander l'aide de l'Office AI pour les activités de suivi.

Engagement 4 : Détermination de l'acceptation des risques systémiques

Les signataires s'engagent à établir des normes claires d'acceptation du risque systémique et à déterminer si les risques systémiques sont acceptables avant de poursuivre les activités de développement, l'introduction sur le marché ou le déploiement opérationnel.

Mesure 4.1 : Critères d'acceptation du risque systémique et détermination de l'acceptation

Les signataires formulent et justifient les critères d'acceptation du risque systémique dans la documentation relative au cadre.

Les critères doivent inclure des niveaux de risque quantifiables - englobant au moins une catégorie non encore atteinte - basés sur l'évaluation des capacités, les propensions comportementales, le calcul des risques ou d'autres mesures.

Ils mettent en œuvre ces catégories avec des marges de sécurité appropriées pour évaluer l'acceptabilité des risques systémiques individuels et agrégés, en tenant compte des résultats de l'identification et de l'analyse des risques.

Les marges de sécurité doivent être prises en compte :

• Incertitudes concernant les sources de risque systémique (telles que l'émergence de capacités après l'évaluation).
• Limites de la méthodologie d'évaluation (y compris les questions liées à l'insuffisance de sollicitation).
• les vulnérabilités liées à l'efficacité de l'atténuation (telles que les risques de contournement).

Mesure 4.2 : poursuite ou non de la procédure sur la base de la détermination de l'acceptation du risque systémique

Les signataires ne procèdent au développement et au déploiement que lorsque les risques systémiques sont jugés acceptables.

Lorsque les risques sont ou risquent de devenir inacceptables, ils doivent mettre en œuvre des mesures correctives appropriées, y compris des restrictions d'utilisation, le retrait du marché, des mesures d'atténuation renforcées et une réévaluation complète.

Engagement 5 : Mesures d'atténuation de la sécurité

Les signataires s'engagent à déployer des mesures de sécurité appropriées tout au long du cycle de vie du modèle afin de préserver des niveaux de risque systémique acceptables.

Mesure 5.1 : Mesures d'atténuation appropriées en matière de sécurité

Les mesures d'atténuation doivent démontrer leur résistance aux attaques adverses et s'aligner sur la stratégie de distribution du modèle.

Parmi les exemples de mise en œuvre, on peut citer

• Filtrage complet des données de formation.
• Contrôle en temps réel des entrées et des sorties.
• Modifications comportementales (y compris des protocoles de formation au refus).
• Déploiement d'un modèle d'accès par étapes.
• Outils d'atténuation pour les utilisateurs en aval.
• Garanties quantitatives de sécurité.
• Sécuriser les écosystèmes d'agents (y compris l'identification des modèles, les protocoles spécialisés, les outils de réponse aux incidents).
• Outils d'amélioration de la transparence (y compris l'accessibilité de la chaîne de pensée, l'évaluation de la durabilité de l'atténuation).

Engagement 6 : Mesures d'atténuation de la sécurité

Les signataires s'engagent à maintenir des mesures de cybersécurité solides tout au long du cycle de vie du modèle afin de prévenir les risques découlant d'une diffusion, d'un accès ou d'un vol non autorisés. Exclut les modèles dont les capacités sont inférieures à celles d'au moins un modèle dont les paramètres peuvent être téléchargés par le public. Les mesures de sécurité restent en vigueur jusqu'à ce que les paramètres du modèle soient rendus publics ou supprimés en toute sécurité.

Mesure 6.1 : Objectif de sécurité

• Les signataires établissent un objectif de sécurité global qui identifie les acteurs de la menace contre lesquels les mesures d'atténuation sont censées protéger, en s'appuyant sur les capacités actuelles et prévues du modèle.

Mesure 6.2 : Mesures d'atténuation appropriées en matière de sécurité

• Les signataires déploient des mesures de sécurité qui s'alignent sur l'objectif de sécurité qu'ils se sont fixé, en intégrant les mesures spécifiées à l'annexe 4.
• Toute dérogation à l'annexe 4.1-4.5(a) doit démontrer des résultats équivalents en matière de protection.
• La mise en œuvre peut être échelonnée pour correspondre à l'avancement des capacités du modèle.

Engagement 7 : Rapports types sur la sûreté et la sécurité

Les signataires s'engagent à préparer des rapports complets sur les modèles de sûreté et de sécurité avant leur mise sur le marché, à veiller à ce qu'ils soient mis à jour et à les notifier en temps utile à l'Office AI. Les rapports peuvent faire référence à des soumissions antérieures et peuvent englober plusieurs modèles, le cas échéant. Les petites et moyennes entreprises (PME) et les entreprises de taille intermédiaire (ETI) peuvent fournir des niveaux de détail réduits.

Mesure 7.1 : Description et comportement du modèle

Le rapport modèle doit contenir 

• Une description de haut niveau de l'architecture, des capacités, des propensions, des possibilités et de la méthodologie de développement du modèle (y compris les approches de formation et les sources de données). 
• Les applications actuelles et prévues du modèle. 
• Variantes et versions de modèles disponibles. 
• Spécifications du modèle (y compris les principes directeurs, la hiérarchie des principes, les catégories de refus, les messages-guides du système).

Mesure 7.2 : Motifs de la procédure

Le rapport doit justifier clairement pourquoi les risques systémiques sont jugés acceptables : 

• Justification complète et marges de sécurité incorporées. 
• Les circonstances raisonnablement prévisibles dans lesquelles la justification pourrait devenir invalide. 
• Détails du processus de prise de décision (y compris, le cas échéant, la contribution des pouvoirs publics).

Mesure 7.3 : Documentation sur l'identification, l'analyse et l'atténuation des risques systémiques

Le rapport doit contenir une documentation complète :

• Résultats de l'identification et de l'analyse du risque systémique, y compris :
  • Description du processus d'identification du risque systémique. 
  • Explication des incertitudes et des hypothèses relatives à l'utilisation des modèles et à leur intégration dans les systèmes d'intelligence artificielle. 
  • Résumé des résultats de la modélisation du risque systémique. 
  • Description détaillée des risques systémiques posés par le modèle, y compris les procédures d'évaluation, les tests et les tâches effectués pendant les évaluations, les méthodes de notation, le processus d'élicitation des capacités, les comparaisons des notes d'évaluation avec les références humaines, dans les différentes versions du modèle et dans les différents contextes d'évaluation. 
  • Cinq échantillons d'intrants et d'extrants sélectionnés de manière aléatoire pour chaque évaluation de modèle pertinente (par exemple, compléments de texte, générations de contenu ou trajectoires d'agents) afin de permettre une interprétation indépendante des résultats de l'évaluation et de l'appréciation du risque systémique. Les trajectoires qui jouent un rôle important dans l'explication du risque systémique doivent être incluses. Des échantillons aléatoires supplémentaires doivent être fournis à la demande de l'Office AI.
  • Description des ressources et de l'accès fournis : aux équipes internes d'évaluation des modèles et aux évaluateurs externes indépendants, qu'ils peuvent également fournir eux-mêmes directement à l'Office AI.
  • Le cas échéant, justification que les critères "modèle de référence sûr" et "modèle de sécurité similaire ou plus sûr" ont été respectés.
• Description de toutes les mesures d'atténuation mises en œuvre en matière de sécurité, de la manière dont elles répondent aux normes établies par la mesure 5.1 et des limites des mesures d'atténuation. 
• Description de l'objectif de sécurité (mesure 6.1), de toutes les mesures d'atténuation de la sécurité mises en œuvre, de la manière dont elles permettent d'atteindre l'objectif de sécurité, y compris l'alignement sur les normes internationales, et justification de la manière dont d'autres approches permettent d'atteindre l'objectif de sécurité visé si les mesures d'atténuation de la sécurité figurant dans les annexes 4.1 à 4.5(a) n'ont pas été suivies. 
• Description de haut niveau des techniques et des ressources prévues pour le développement du modèle au cours des six prochains mois, y compris l'utilisation d'autres systèmes d'IA ; différences attendues dans les capacités et le comportement des futurs modèles ; et mesures d'atténuation de la sûreté et de la sécurité prévues, nouvelles ou mises à jour de manière significative.

Mesure 7.4 : Rapports externes

Le rapport doit comprendre 

• Hyperliens ou citations vers les rapports des évaluateurs externes indépendants (annexe 3.5) et des contrôleurs de sécurité indépendants (annexe 4.5), dans le respect des exigences de confidentialité et de la supervision des évaluateurs. 
• Justification lorsqu'aucun évaluateur externe n'a été engagé (voir annexe 3.5).
• Explication de la sélection de l'évaluateur sur la base des qualifications démontrées.

Mesure 7.5 : Changements importants dans le paysage du risque systémique

Le rapport doit décrire les modifications significatives de l'environnement du risque systémique résultant de l'élaboration ou du déploiement du modèle, telles que 

• Nouvelles relations d'échelle. 
• Des innovations architecturales révolutionnaires. 
• Amélioration ou diminution de l'efficacité des mesures d'atténuation. 
• De nouvelles méthodologies de formation qui améliorent la viabilité de la formation distribuée.

Mesure 7.6 : Mises à jour du rapport sur le modèle

Les rapports doivent être mis à jour lorsque les justifications de l'acceptabilité du risque systémique sont matériellement remises en cause, notamment : 

• Activation des conditions de déclenchement spécifiées (changements de capacités, nouvelles intégrations, incidents graves). 
• Changements importants dans les capacités, les propensions ou les possibilités en raison d'une post-formation supplémentaire, de l'intégration de nouveaux outils ou d'une augmentation des calculs d'inférence. 
• Un changement important dans la manière dont le modèle est utilisé ou intégré dans les systèmes d'intelligence artificielle.
• Incidents graves ou accidents évités de justesse impliquant le modèle ou un modèle similaire.
• Des développements qui, soit :
  • Saper matériellement la validité externe des évaluations de modèles réalisées antérieurement,
  • améliorer de manière significative l'état de l'art en matière d'évaluation des modèles, ou
  • indiquer que l'évaluation initiale du risque systémique est matériellement inexacte.
• Les mises à jour doivent être effectuées dans un délai raisonnable. 
• Les mises à jour dues à des modifications délibérées doivent être achevées avant que la modification ne soit mise sur le marché. 
• Pour les modèles les plus performants actuellement sur le marché, le signataire doit fournir à l'office AI un rapport actualisé sur le modèle au moins tous les six mois, à moins que :
  • Il n'y a pas eu de changement important dans les capacités, les propensions ou les possibilités du modèle depuis le dernier rapport ;
  • Le signataire a l'intention de publier un modèle plus performant dans un délai d'un mois ; ou
  • Le modèle est qualifié de "similairement sûr ou plus sûr" en vertu de l'annexe 2.2 pour chaque risque systémique identifié conformément à la mesure 2.1.
• Le rapport modèle mis à jour doit comprendre
  • un contenu actualisé, comme indiqué dans les mesures 7.1 à 7.5, sur la base de l'évaluation complète du risque systémique et du processus d'atténuation les plus récents ; et
  • Un journal des modifications décrivant ce qui a été mis à jour, la raison des modifications, le nouveau numéro de version et la date de la mise à jour.

Mesure 7.7 : Notifications de rapports sur les modèles

• Les rapports doivent être remis (non expurgés, sauf en cas de restrictions imposées par la législation relative à la sécurité nationale) au moment de l'introduction sur le marché.
• Les mises à jour doivent être soumises dans les 5 jours ouvrables suivant la confirmation.
• Une prolongation de 15 jours est autorisée lorsque
  • L'Office AI détermine que le signataire est de bonne foi ; et
  • Un rapport intermédiaire est présenté sans délai, contenant la justification de la procédure (mesure 7.2) et l'évolution de la situation en matière de risque systémique (mesure 7.5).

Engagement 8 : Répartition des responsabilités en matière de risque systémique

Les signataires s'engagent à attribuer clairement les responsabilités en matière de gestion des risques systémiques associés à leurs modèles à tous les niveaux de l'organisation, à allouer des ressources appropriées aux personnes ou aux équipes chargées de gérer les risques systémiques et à promouvoir une culture du risque saine au sein de l'organisation.

Mesure 8.1 : Définition de responsabilités claires

• Surveillance du risque systémique : Surveillance des processus d'évaluation et d'atténuation du risque systémique.
• Propriété du risque systémique : Gestion quotidienne des risques systémiques, y compris l'évaluation, l'atténuation et la réponse aux incidents.
• Soutien et suivi du risque systémique : Soutien et suivi permanents des processus de gestion du risque systémique.
• Assurance du risque systémique : Fournir une assurance interne et/ou externe sur l'adéquation de la gestion des risques à l'organe de gestion prudentielle ou à un organe indépendant équivalent.

Les responsabilités doivent être attribuées de manière appropriée à la structure de gouvernance et à la complexité du signataire, y compris :

• Fonction de surveillance de l'organe de direction (par exemple, conseil d'administration, comité de risque/audit) ;
• Fonction exécutive de l'organe de direction ;
• Équipes opérationnelles ;
• Fournisseurs d'assurance interne (par exemple, audit interne), le cas échéant ;
• Fournisseurs d'assurance externes (par exemple, auditeurs tiers), le cas échéant.

La mesure est présumée respectée si elle est proportionnée aux risques systémiques du modèle :

• Le contrôle est assuré par un comité spécialisé ou un organe indépendant (par exemple, le comité des risques/de l'audit). Pour les PME et les PMC, une personne exerçant une fonction de supervision peut suffire.
• La responsabilité est confiée à des cadres supérieurs compétents (par exemple, le responsable de la recherche/du produit), avec des responsabilités en cascade pour les responsables opérationnels.
• La fonction de soutien et de suivi est attribuée aux membres de la direction qui ne sont pas directement impliqués dans les activités génératrices de risques (par exemple, CRO ou vice-président chargé de la sécurité). Les PME/SMC doivent avoir au moins un membre de la direction responsable de cette fonction.
• L'assurance est dirigée par une personne ou une fonction désignée (par exemple, le responsable de l'audit interne), avec le soutien d'audits internes/externes. Pour les PME et les PMC, une évaluation prudentielle périodique est requise.

Mesure 8.2 : Allocation de ressources appropriées

Les organes de direction des signataires doivent superviser et garantir l'allocation de ressources suffisantes pour soutenir les personnes auxquelles sont attribuées des responsabilités en matière de risque systémique (conformément à la mesure 8.1), en fonction du niveau de risque systémique. Les types de ressources comprennent les ressources humaines, les ressources financières, l'accès à l'information et à la connaissance, et les ressources informatiques.

Mesure 8.3 : Promotion d'une culture du risque saine

• Le ton de la direction : Les hauts responsables communiquent clairement sur les cadres de risque systémique.
• Une communication ouverte : Le personnel peut soulever et contester les décisions relatives au risque systémique.
• Indépendance et incitations : Le personnel chargé des risques est indépendant et incité à éviter la sous-estimation ou la surestimation des risques.
• Sensibilisation du personnel : Les enquêtes confirment que le personnel est conscient des risques et des moyens de faire part de ses préoccupations.
• Des canaux de signalement efficaces : Les mécanismes de signalement sont utilisés et font l'objet d'une action appropriée.
• Politique de dénonciation : Les travailleurs sont informés chaque année et les politiques sont accessibles au public.
• Absence de représailles : Aucune mesure défavorable n'est prise à l'encontre des personnes qui signalent de bonne foi des risques systémiques aux autorités.

Engagement 9 : Signalement des incidents graves

Les signataires s'engagent à suivre, documenter et signaler systématiquement et sans délai inutile les incidents graves impliquant leurs modèles à l'Office AI et aux autorités nationales compétentes. Les rapports doivent inclure des mesures correctives et être proportionnels à la gravité de l'incident.

Mesure 9.1 : Méthodes d'identification des incidents graves

Pour identifier les incidents graves, les signataires doivent 

• Appliquer les méthodes décrites dans la mesure 3.5, y compris la surveillance systématique après la mise sur le marché.
• Consulter des sources externes, y compris les rapports de la police et des médias, le contenu des médias sociaux, la recherche universitaire et les bases de données sur les incidents.
• Permettre l'établissement de rapports par des tiers, en informant les fournisseurs en aval, les utilisateurs et les autres parties prenantes des canaux de rapport direct disponibles, et en facilitant l'établissement de rapports soit au signataire, soit directement à l'Office AI et/ou aux autorités nationales.

Mesure 9.2 : Informations pertinentes pour le suivi, la documentation et la notification des incidents graves

Les signataires doivent suivre, documenter et communiquer à l'Office AI et, le cas échéant, aux autorités nationales compétentes, au minimum et en toute connaissance de cause, les informations suivantes (dûment expurgées pour respecter la protection des données de l'Union et les autres lois applicables) :

• Dates de début et de fin (ou meilleures approximations) de l'incident.
• Description des dommages qui en résultent et des personnes ou groupes concernés.
• La chaîne de causalité des événements.
• Identification du modèle concerné.
• Preuve de l'implication du modèle.
• Mesures prises ou envisagées par le signataire.
• Recommandations d'action de l'Office AI ou des autorités compétentes.
• Analyse des causes profondes, y compris :
  • Les sorties du modèle qui ont causé ou contribué à l'incident.
  • Intrants utilisés.
  • Défaillances ou contournements systémiques des mesures d'atténuation. 
• les tendances de la surveillance post-commercialisation raisonnablement liées à l'incident (par exemple, les quasi-accidents, les tendances en matière d'anomalies).

Note : Si certaines informations ne sont pas disponibles au moment de la déclaration, le rapport doit le mentionner explicitement. Le niveau de détail doit refléter la gravité de l'incident.

Mesure 9.3 : Délais d'établissement des rapports

Rapport initial : Doit comprendre les informations visées aux points (1)-(7) de la mesure 9.2, soumises comme suit :

• Perturbation des infrastructures critiques : ≤ 2 jours à partir de la prise de conscience)
• Atteinte grave à la cybersécurité (exfiltration, cyberattaque) : ≤ 5 jours à compter de la prise de conscience.
• Décès d'une personne : ≤ 10 jours à compter de la prise de conscience
• Atteinte grave à la santé, aux droits fondamentaux, aux biens ou à l'environnement : ≤ 15 jours à compter de la prise de conscience

La connaissance comprend à la fois l'implication avérée et raisonnablement soupçonnée du modèle du signataire.

Rapport intermédiaire : Lorsqu'un incident n'est pas résolu, les signataires doivent fournir des informations actualisées, y compris les détails supplémentaires de la mesure 9.2, au moins toutes les 4 semaines après la soumission du rapport initial.

Rapport final : Il doit être soumis au plus tard 60 jours après la résolution de l'incident et doit contenir l'ensemble des informations requises au titre de la mesure 9.2.

Rapport consolidé : Si plusieurs incidents graves similaires se produisent au cours d'une fenêtre de rapport, ils peuvent être inclus dans le même rapport que le premier incident, à condition que les délais de rapport individuels soient respectés pour le cas initial.

Mesure 9.4 : Période de conservation

• Toute la documentation et les informations pertinentes recueillies dans le cadre de cette mesure doivent être conservées pendant au moins cinq (5) ans à compter de la date de la documentation ou de la date de l'incident grave, selon la date la plus tardive, sans préjudice de toute obligation légale de l'UE applicable en matière de conservation des informations.

Engagement 10 : Documentation supplémentaire et transparence

Les signataires s'engagent à documenter leur mise en œuvre du chapitre sur la sûreté et la sécurité et à publier des versions résumées de leur cadre et de leurs rapports sur les modèles lorsque cela est nécessaire pour atténuer le risque systémique.

Mesure 10.1 : Documentation complémentaire

Documents de base à conserver et à fournir sur demande : Les signataires doivent préparer et conserver les documents suivants afin de les fournir à l'Office AI sur demande, en veillant à ce qu'ils restent à jour :

• Une description détaillée de l'architecture du modèle.
• Une explication détaillée de la manière dont le modèle est intégré dans les systèmes d'IA, y compris la manière dont les composants logiciels s'appuient ou s'alimentent les uns les autres, et leur intégration dans le pipeline de traitement global, dans la mesure où le signataire en a connaissance.
• Un compte rendu détaillé des évaluations de modèles réalisées dans le cadre du présent chapitre, y compris les stratégies d'évaluation et les résultats des évaluations.
• Une description détaillée des mesures d'atténuation des risques mises en œuvre conformément à l'engagement 5.

Cette documentation doit être conservée pendant au moins dix (10) ans après la mise sur le marché du modèle concerné.

Dossiers supplémentaires pour prouver la conformité avec les mesures relatives au risque systémique : Pour prouver leur adhésion au présent chapitre à la demande de l'Office AI, les signataires sont en outre tenus de suivre et de conserver les éléments suivants, s'ils ne sont pas déjà inclus dans la documentation susmentionnée :

• Processus, mesures et décisions clés faisant partie des efforts d'évaluation et d'atténuation du risque systémique du signataire.
• Justification du choix d'une meilleure pratique, d'un procédé ou d'une mesure de pointe, ou d'un autre procédé ou mesure innovant, s'il est utilisé pour démontrer la conformité avec le présent chapitre.

Note : Il n'est pas nécessaire que les informations ci-dessus soient compilées ou stockées dans un référentiel unique. Elles doivent toutefois pouvoir être consultées et mises à disposition sur demande de l'Office AI.

Mesure 10.2 : Transparence publique

Lorsque cela est nécessaire pour évaluer et/ou atténuer les risques systémiques, les signataires doivent publier (par exemple, sur leur site Internet) une version résumée de leur cadre (conformément à l'engagement 1) et de leur(s) rapport(s) type(s) (conformément à l'engagement 7), y compris toute mise à jour de ces derniers. 

La version publiée doit inclure des résumés de haut niveau des résultats de l'évaluation du risque systémique et des descriptions de haut niveau des mesures d'atténuation de la sûreté et de la sécurité mises en œuvre. 

Toute publication doit exclure ou expurger les informations susceptibles de compromettre l'efficacité des mesures d'atténuation de la sûreté et/ou de la sécurité ou de compromettre des informations commerciales sensibles.

La publication n'est pas requise pour :

• Cadres - si tous les modèles du signataire sont qualifiés de "modèles de sécurité similaire ou plus sûrs" conformément à l'annexe 2.2.
• Rapports sur les modèles - si le modèle en question peut être considéré comme un "modèle de sécurité similaire ou plus sûr" conformément à l'annexe 2.2.

---

Annexes

Annexe 1 : Risques systémiques et autres considérations

Annexe 1.1 : Types de risques

Pour déterminer l'existence d'un risque systémique (conformément à l'article 3(65) de la loi sur l'IA), les risques sont classés en cinq catégories principales, qui peuvent se chevaucher :

• Risques pour la santé publique
• Risques pour la sécurité
• Risques pour la sécurité publique
• Risques pour les droits fondamentaux
• Risques pour la société dans son ensemble

Les exemples incluent les menaces pour les infrastructures critiques, la santé mentale publique, la liberté d'expression, la confidentialité des données, la sécurité économique, l'environnement et la démocratie. Des risques spécifiques tels que la désinformation, les images intimes non consensuelles (NCII) et le matériel pédopornographique (CSAM) sont également abordés.

Annexe 1.2 : Nature des risques systémiques

Annexe 1.2.1 : Caractéristiques essentielles 

Un risque est systémique lorsqu'il :

• Est spécifique aux capacités d'IA à fort impact,
• a des effets significatifs sur l'ensemble du marché de l'UE, et
• Peut s'étendre sur toute la chaîne de valeur de l'IA.

Annexe 1.2.2 : Caractéristiques contributives 

Il s'agit notamment de

• Dépendance à l'égard de la capacité ou de la portée : Le risque augmente avec la puissance ou l'utilisation du modèle.
• Vitesse élevée : Apparition rapide, plus rapide que les mesures d'atténuation.
• Impact en cascade : Déclenche des réactions en chaîne.
• Irréversibilité : Préjudice persistant ou permanent.
• Asymétrie : Peu d'acteurs peuvent avoir des effets à grande échelle.

Annexe 1.3 Sources de risques systémiques

Annexe 1.3.1 Capacités du modèle

Les risques peuvent provenir de fonctionnalités telles que

• Capacités cybernétiques ou CBRN offensives,
• Interaction persuasive ou trompeuse,
• Autonomie, autoreproduction ou planification,
• Utilisation d'outils et contrôle de systèmes physiques,
• L'auto-raisonnement et le contournement du contrôle.

Annexe 1.3.2 Proportions du modèle

Il s'agit de tendances telles que

• Désalignement par rapport à l'intention ou aux valeurs de l'homme,
• Préjugés discriminatoires, hallucinations ou anarchie,
• Persistance des objectifs ou recherche du pouvoir,
• Collusion ou conflit avec d'autres systèmes.

Appendice 1.3.3 Possibilités de modélisation et autres sources de risque systémique

Le risque systémique peut également provenir de :

• Accès à des outils ou à des infrastructures puissants,
• Sécurité insuffisante, mauvaise surveillance ou mauvaise utilisation,
• Déploiement à grande échelle ou base d'utilisateurs,
• Les vulnérabilités des stratégies de dissémination,
• Une explication ou une transparence insuffisante.

Annexe 1.4 Risques systémiques spécifiés

Les risques suivants sont considérés comme des risques systémiques spécifiés aux fins de l'identification des risques (mesure 2.1, point 2) :

• Risque CBRN : L'IA abaisse les barrières ou augmente l'impact des attaques chimiques, biologiques, radiologiques ou nucléaires.
• Perte de contrôle : incapacité humaine à modifier ou à arrêter les modèles en raison d'un mauvais alignement, d'une autonomie ou d'une résistance.
• Cybercriminalité : L'IA permet des cyber-attaques avancées, en particulier sur les infrastructures critiques.
• Manipulation préjudiciable : Persuasion stratégique ou tromperie ciblant les populations ou les décideurs, susceptible de porter atteinte aux processus démocratiques ou aux droits fondamentaux.

Annexe 2 : Modèles similaires ou plus sûrs 

Annexe 2.1 Modèles de référence sûrs

Un modèle est considéré comme un modèle de référence sûr en ce qui concerne un risque systémique spécifique si toutes les conditions suivantes sont remplies :

1. Statut réglementaire :
   • Le modèle a été mis sur le marché avant la publication du présent chapitre ; ou
   • Elle a achevé l'ensemble du processus d'évaluation et d'atténuation du risque systémique, et l'Office AI a reçu son rapport type, dans lequel les risques sont jugés acceptables.
2. Visibilité suffisante :
   • Le signataire connaît parfaitement l'architecture, les capacités, les tendances, les possibilités et les mesures d'atténuation du modèle.
   • Ceci est supposé pour les propres modèles du signataire ou lorsque l'accès technique complet est accordé (y compris les paramètres du modèle).
3. Aucune preuve contraire :
   • Il n'y a pas d'autres motifs raisonnables de croire que les risques systémiques du modèle ne sont pas acceptables.

Annexe 2.2 Modèles similaires ou plus sûrs

Un modèle peut être classé comme étant aussi sûr ou plus sûr par rapport à un risque systémique spécifique lorsque

1. Comparaison des risques :
   • Suite à l'identification du risque systémique, le signataire ne prévoit raisonnablement aucun scénario de risque sensiblement différent de celui du modèle de référence sûr.
2. L'étalonnage des performances :
   • Les performances du modèle sont égales ou inférieures à celles du modèle de référence pour tous les critères de référence légers et à la pointe de la technologie, avec seulement des augmentations mineures des capacités qui n'augmentent pas le risque de manière significative.
   • Les évaluations comparatives doivent être effectuées conformément aux procédures établies (mesure 3.2).
3. Équivalence technique :
   • Il n'existe pas de différences architecturales ou comportementales connues qui pourraient raisonnablement entraîner un risque systémique accru.
   • Il n'y a pas non plus d'autres motifs raisonnables de croire que le risque est matériellement plus élevé que le modèle de référence.

Remarque importante : les évaluations figurant à l'annexe 2.2, points (2) et (3), et à l'annexe 2.1, point (2), doivent inclure des marges de sécurité appropriées pour tenir compte de l'incertitude, telle qu'une information incomplète ou une erreur de mesure.

Si un modèle précédemment utilisé comme référence sûre perd ce statut, le signataire doit agir dans les six mois pour soit

• Identifier un nouveau modèle de référence sûr, ou
• Appliquer l'intégralité des obligations réglementaires au modèle concerné, y compris la réalisation de tous les éléments du processus d'évaluation du risque systémique précédemment exemptés ou réduits.

Annexe 3 : Évaluations des modèles

Annexe 3.1 : Évaluations rigoureuses des modèles

Toutes les évaluations de modèles doivent être effectuées avec un haut niveau de rigueur scientifique et technique, en veillant à ce que :

• Validité interne (les résultats reflètent fidèlement le scénario testé),
• la validité externe (les résultats peuvent être généralisés dans le monde réel), et
• Reproductibilité (possibilité de réplication indépendante).

Annexe 3.2 : Élaboration du modèle

Les évaluations doivent mettre en évidence l'ensemble des capacités, des tendances et des effets potentiels du modèle à l'aide de techniques de pointe, conçues pour :

• Minimiser l'insuffisance de sollicitation (absence de comportements pertinents),
• Empêcher la tromperie du modèle pendant les tests (par exemple, la mise en place d'un sac de sable).
  Les techniques peuvent inclure des modifications de l'accès au calcul, de la conception de l'invite, de l'échafaudage et de la mise au point.

Les signataires doivent

• correspondre aux capacités d'obtention de renseignements des acteurs potentiels de l'utilisation abusive, et
• Refléter le contexte d'utilisation prévu, y compris les outils et les intégrations prévus ou déjà utilisés pour des modèles similaires.

Annexe 3.3 : Évaluation de l'efficacité des mesures d'atténuation

Les évaluations doivent vérifier l'efficacité des mesures d'atténuation de la sécurité, en particulier lorsque l'acceptation du risque systémique en dépend. Il s'agit notamment de

• Si les mesures d'atténuation fonctionnent comme prévu,
• S'ils peuvent être contournés ou détournés (par exemple, par le biais d'un "jailbreaking"),
• si leur efficacité peut se dégrader avec le temps.

Les tests doivent faire appel à des techniques contradictoires de pointe pour détecter les vulnérabilités.

Annexe 3.4 : Équipes d'évaluation qualifiées et ressources

Les évaluations doivent être menées par des équipes pluridisciplinaires disposant d'une expertise à la fois technique et sectorielle liée au risque systémique spécifique. Les qualifications indicatives sont les suivantes :

• Un doctorat pertinent ou des travaux évalués par des pairs,
• Expérience dans l'élaboration de méthodes d'évaluation de modèles,
• Au moins 3 ans d'expérience professionnelle ou de recherche pertinente.

Les équipes doivent disposer de

• Accès suffisant au modèle, y compris aux composants internes (par exemple, logits, activations) et aux versions non atténuées, le cas échéant,
• Informations sur le modèle, y compris les spécifications et les données de formation,
• le temps (par exemple, au moins 20 jours ouvrables pour la plupart des tâches), et
• Ressources, y compris le calcul, le soutien technique et le personnel.

Les questions de sécurité doivent être prises en compte lors de l'octroi de l'accès aux composants sensibles du modèle.

Annexe 3.5 Évaluations externes indépendantes des modèles

En plus des examens internes, les signataires doivent nommer des évaluateurs externes qualifiés et indépendants, à moins que.. :

1. Le modèle est déjà jugé "aussi sûr ou plus sûr" (annexe 2.2), ou
2. Malgré un effort de bonne foi (par exemple, un appel public de 20 jours), aucun évaluateur externe approprié n'a pu être identifié.

Les évaluateurs indépendants doivent

• Disposer d'une expertise technique et d'un domaine pertinents,
• suivre des protocoles de sécurité stricts
• Accepter de protéger les informations commercialement sensibles.

Ils doivent bénéficier d'un accès, d'informations, de temps et de ressources suffisants, comme indiqué à l'annexe 3.4. Les signataires ne doivent pas interférer avec l'intégrité des essais externes (par exemple en enregistrant des données d'essai sans autorisation).

Les petites et moyennes entreprises (PME/PMI) peuvent demander l'aide de l'Office AI pour répondre à ces exigences.

Annexe 4 : Objectifs et mesures d'atténuation de la sécurité

Annexe 4.1 Mesures générales d'atténuation de la sécurité

Les signataires doivent adopter des mesures de cybersécurité de base pour se protéger contre les menaces courantes. Il s'agit notamment des mesures suivantes

• Contrôle d'accès au réseau : Gestion de l'identité et de l'accès (par exemple, MFA, mots de passe forts, architecture de confiance zéro, sécurité sans fil égale à celle des réseaux câblés, isolation des réseaux d'invités).
• Protection contre l'ingénierie sociale : Filtrage des courriels pour détecter le phishing et les pièces jointes suspectes.
• Les logiciels malveillants et les supports amovibles : Politiques limitant l'utilisation des clés USB et autres dispositifs similaires.
• Sécurité des logiciels : Mises à jour régulières des logiciels et gestion des correctifs pour éviter les exploits.

Annexe 4.2 Protection des paramètres du modèle non diffusés

Pour protéger les données sensibles du modèle, les signataires doivent :

• Suivre toutes les copies stockées : Maintenir un registre sécurisé des dispositifs/emplacements contenant les paramètres du modèle.
• Restreindre la copie sur des appareils non gérés : Appliquer des contrôles d'accès et surveiller les transferts de données non autorisés.
• Crypter les paramètres en transit et au repos : Utiliser un cryptage de 256 bits et un stockage sécurisé des clés (par exemple, TPM).
• Sécuriser le stockage temporaire : Décrypter les paramètres uniquement dans une mémoire non persistante pour un usage légitime.
• Sécuriser les paramètres utilisés : Déployer des techniques informatiques confidentielles telles que des environnements d'exécution de confiance attestés.
• Contrôler l'accès physique : Limiter l'accès aux environnements sensibles (par exemple, les centres de données) et effectuer des inspections pour détecter la présence ou les dispositifs non autorisés.

Annexe 4.3 Interface de durcissement - accès aux paramètres du modèle non libérés

Les signataires doivent durcir toutes les interfaces qui accèdent à des paramètres de modèle non divulgués :

• Limiter l'accès à l'interface : Restreindre l'accès aux utilisateurs/logiciels autorisés avec MFA et revoir les autorisations au moins tous les 6 mois.
• Sécuriser le code d'interface : Effectuer des contrôles de sécurité approfondis, manuels ou automatisés, du code lié à l'accès aux paramètres du modèle.
• Empêcher l'exfiltration : Appliquer des méthodes telles que la limitation du débit de sortie sur les interfaces.
• Minimiser l'accès des initiés : Limiter l'accès aux interfaces non renforcées avec les paramètres du modèle.

Annexe 4.4 Menaces d'initiés

pour se protéger contre le sabotage ou le vol interne (y compris par ou à travers des modèles) :

• Contrôle du personnel : Vérifier les antécédents des personnes ayant accès aux données/systèmes sensibles du modèle.
• Sensibilisation aux menaces d'initiés : Former le personnel à reconnaître et à signaler les menaces d'initiés.
• Empêcher l'auto-exfiltration par des modèles : Utiliser le sandboxing et l'isolation de l'exécution du code.
• Protéger la formation au modèle : Inspecter les données de formation pour vérifier qu'elles n'ont pas été altérées ou sabotées.

Annexe 4.5 Assurance de la sécurité

Pour vérifier que les mesures de sécurité sont efficaces, les signataires doivent :

• Recourir à des examens externes indépendants si les capacités internes sont insuffisantes.
• Réaliser une équipe d'intervention pour identifier les lacunes en matière de sécurité dans les réseaux et les installations.
• Mettre en œuvre des programmes de primes à la détection de bogues pour les points de terminaison accessibles au public, le cas échéant.
• Tester les protocoles d'atténuation de l'influence des initiés, y compris les évaluations de l'intégrité du personnel.
• Faciliter le signalement des problèmes par le biais de canaux de communication sécurisés avec des tiers.
• Surveiller activement les systèmes à l'aide d'un système de détection et de réponse (EDR) ou d'un système de détection d'intrusion (IDS).
• Réagir rapidement aux menaces en faisant appel à des équipes de sécurité formées pour la gestion des incidents et la reprise des activités.