Visión general del Código de buenas prácticas

30 Jul, 2025

El Código de buenas prácticas ofrece un marco claro para ayudar a los desarrolladores de modelos de IA de propósito general (GPAI) a cumplir los requisitos de la Ley de IA de la UE. Aunque los proveedores pueden optar por seguir el Código, también son libres de demostrar su cumplimiento a través de otros métodos apropiados. Este artículo ofrece una descripción concisa de cada capítulo, compromiso y medida en términos sencillos.

Las normas GPAI entrarán en vigor el 2 de agosto de 2025, lo que significa que todos los nuevos modelos que salgan al mercado a partir de esa fecha deberán cumplirlas. Sin embargo, las medidas coercitivas de la Comisión -como las solicitudes de información, el acceso a los modelos o las retiradas de modelos- no comenzarán hasta un año después, el 2 de agosto de 2026. Este periodo de gracia da tiempo a los proveedores para trabajar con la Oficina de IA y asegurarse de que cumplen las normas.

Para los modelos lanzados antes del 2 de agosto de 2025, los proveedores tienen hasta el 2 de agosto de 2027 para ponerlos en conformidad.

Consulte nuestro calendario de aplicación completo.

Sitio web interactivo del Código de buenas prácticas

Consulte el texto completo del Código de Buenas Prácticas en un sitio web interactivo.
Ver el sitio web

Explicación de alto nivel sobre el Código de buenas prácticas

¿Qué es el Código de Buenas Prácticas, qué funciones cumple y cómo se elaboró?
View explainer

Próximamente en este post:

Resumen ejecutivo

Capítulo Transparencia

Los firmantes se comprometen a mantener una documentación actualizada y completa para cada modelo GPAI distribuido en la UE, excepto para los modelos que son gratuitos, de código abierto y no plantean ningún riesgo sistémico. Esta documentación debe seguir un formulario estandarizado de documentación de modelos, detallando la concesión de licencias, las especificaciones técnicas, los casos de uso, los conjuntos de datos, el cálculo y el uso de energía, y más. Deberá almacenarse de forma segura durante al menos diez años y ponerse a disposición de la Oficina de Inteligencia Artificial y los usuarios intermedios que lo soliciten. Se recomienda hacer pública esta información para fomentar la transparencia.

Derechos de autor

Este capítulo garantiza la conformidad con la legislación de la UE en materia de derechos de autor, especialmente el requisito de autorización previa a menos que se apliquen excepciones específicas (como la minería de textos y datos). Los firmantes deben desarrollar y actualizar periódicamente una sólida política de derechos de autor que defina claramente las responsabilidades internas y cumpla las normas legales. Deben asegurarse de que los datos recopilados a través del rastreo web sean accesibles legalmente, respeten las señales de derechos legibles por máquina como robots.txt, y eviten acceder a sitios web marcados por infracción de derechos de autor. Las salvaguardias técnicas deben minimizar la generación de contenidos infractores, y las condiciones del servicio deben prohibir claramente el uso no autorizado. Debe existir un punto de contacto designado para que los titulares de derechos de autor presenten reclamaciones, con procesos eficientes y justos para tramitarlas.

Capítulo Seguridad

Este capítulo establece obligaciones exhaustivas para que los desarrolladores de modelos GPAI con riesgo sistémico identifiquen, evalúen, mitiguen y notifiquen de forma transparente los riesgos de seguridad y protección a lo largo del ciclo de vida del modelo. Establece un marco de gobernanza del riesgo centrado en las evaluaciones previas a la comercialización, el seguimiento permanente y la supervisión continua.

Los firmantes deben desarrollar un marco de seguridad y protección de vanguardia antes de la publicación del modelo, en el que se describan los desencadenantes de la evaluación, las categorías de riesgo, las estrategias de mitigación, los métodos de previsión y las responsabilidades organizativas. Este marco debe actualizarse periódicamente en respuesta a nuevos riesgos, incidentes o cambios significativos en el modelo o su entorno.

Los riesgos sistémicos se identifican mediante procesos estructurados como inventarios, análisis de escenarios y consultas con expertos internos y externos. A continuación, estos riesgos se analizan mediante métodos de evaluación rigurosos que incluyen simulaciones, pruebas contradictorias y vigilancia posterior a la comercialización.

Antes de avanzar en el desarrollo o la implantación, los firmantes deben evaluar si los riesgos identificados son aceptables, aplicando marcos definidos de niveles de riesgo con márgenes de seguridad incorporados. Si los riesgos se consideran inaceptables, se requieren acciones correctivas inmediatas.

Para mantener unos niveles de riesgo aceptables, las medidas de seguridad deben integrarse a lo largo de todo el ciclo de vida del modelo, incluidos el filtrado, la supervisión continua, la formación de rechazo, los controles de acceso escalonados, las salvaguardas de las herramientas posteriores y los entornos de despliegue seguros. Los controles de seguridad paralelos deben impedir el acceso no autorizado o el uso indebido, empleando sólidas protecciones digitales y físicas hasta que el modelo se haga público o se retire del servicio.

Deberá presentarse un informe obligatorio sobre el modelo de seguridad y protección antes de la puesta en circulación, que se actualizará a medida que evolucionen los riesgos. Este informe debe incluir documentación detallada sobre la identificación de riesgos, análisis, esfuerzos de mitigación, comportamiento del modelo, evaluaciones externas y cualquier cambio material en el panorama de riesgos.

La responsabilidad organizativa es clave. Los firmantes deben asignar claramente funciones de supervisión, propiedad, control y garantía dentro de sus estructuras de gobierno y garantizar los recursos adecuados, una cultura de riesgo sólida y la protección de los denunciantes.

Los incidentes graves deben rastrearse, documentarse y notificarse con prontitud a los reguladores en función de la gravedad y de plazos ajustados (por ejemplo, en un plazo de 2 días para incidentes que afecten a infraestructuras críticas). Los informes deben actualizarse periódicamente y conservarse durante al menos cinco años.

Por último, se exige a los signatarios que conserven registros detallados de las actividades de seguridad y gestión de riesgos durante un mínimo de diez años. Los resúmenes de alto nivel de sus marcos de seguridad y los informes de los modelos deben publicarse cuando sea necesario para reducir los riesgos, a menos que el modelo cumpla criterios específicos que lo califiquen como "similarmente seguro o más seguro".

Capítulo Transparencia

Este capítulo establece expectativas claras sobre cómo los firmantes deben cumplir sus obligaciones de transparencia en virtud del artículo 53, apartado 1, letras a) y b), y los anexos XI y XII de la Ley AI. El objetivo principal es garantizar que la información crítica fluya eficazmente tanto a los proveedores posteriores como a la Oficina de AI, preservando al mismo tiempo los niveles adecuados de confidencialidad.

Compromiso 1: Documentación

Los firmantes se comprometen a:

Mantener una documentación completa y actualizada para cada modelo (Medida 1.1)
Facilitar el intercambio de información con la Oficina de Inteligencia Artificial y los proveedores intermedios (medida 1.2)
Salvaguardar la exactitud, integridad y protección de toda la documentación (medida 1.3)

Estos compromisos no se aplican a los modelos libres y de código abierto, a menos que estén clasificados como modelos GPAI con riesgo sistémico.

Medida 1.1: Elaborar y mantener actualizada la documentación del modelo

Antes de introducir un modelo GPAI en el mercado de la UE, los firmantes deben preparar una documentación completa que incluya todos los elementos especificados en el formulario de documentación del modelo (que se detalla a continuación).
Esta documentación debe mantenerse actualizada, reflejando cualquier cambio material, y conservarse durante un mínimo de 10 años tras la publicación inicial del modelo.

Medida 1.2: Facilitar información pertinente

Los firmantes deben facilitar públicamente datos de contacto que permitan a la Oficina de AI y a los proveedores posteriores solicitar el acceso a la documentación.
Cuando se les solicite, deberán entregar la última versión de la documentación a la Oficina de AI dentro del plazo designado.
Los proveedores posteriores deben recibir la documentación necesaria -junto con cualquier aclaración requerida- en un plazo de 14 días, salvo razones legítimas de retraso.
Se recomienda hacer pública la documentación para aumentar la transparencia general.

Medida 1.3: Garantizar la calidad, integridad y seguridad de la información

Los firmantes tienen la responsabilidad de mantener una documentación precisa, protegida de modificaciones no autorizadas y almacenada de forma segura para demostrar el cumplimiento de la normativa.

Modelo de formulario de documentación

El formulario abarca las siguientes categorías para uso reglamentario y posterior:

Licencias y distribución
Identificación del modelo (nombre, versión, fecha de lanzamiento, entidad)
Especificaciones técnicas (arquitectura, tamaño, formatos de E/S)
Casos de uso previstos y aprobados
Dependencias de integración (plataformas, software/hardware)
Metodología de formación y justificación del diseño
Detalles del conjunto de datos (fuente, tipo, alcance, volumen, conservación, mitigación de sesgos)
Consumo de energía y cálculo (formación e inferencia)

Derechos de autor

Este capítulo facilita el cumplimiento del artículo 53, apartado 1, letra c), de la Ley de AI, que obliga a los proveedores a establecer políticas de derechos de autor coherentes con la legislación de la UE en materia de derechos de autor y derechos afines. Aunque seguir estas directrices apoya los esfuerzos de cumplimiento normativo, no constituye una garantía de pleno cumplimiento legal, que depende en última instancia de las interpretaciones de los tribunales nacionales y del Tribunal de Justicia de la UE (TJUE).

La legislación de derechos de autor de la Unión Europea opera sobre el principio fundacional de que se requiere autorización previa para el uso de obras protegidas, excepto cuando se aplican excepciones específicas -como las disposiciones de minería de texto y datos (TDM) en virtud del artículo 4, apartado 1, de la Directiva (UE) 2019/790- y los titulares de derechos no han reservado expresamente sus derechos.

Compromiso 1: Política de derechos de autor

Los firmantes se comprometen a establecer, mantener y ejecutar una política global de derechos de autor que se aplique a todos los modelos GPAI distribuidos en la UE. Esta política deberá ajustarse a las normas descritas en el presente capítulo.

Sin embargo, la adhesión a los requisitos de este capítulo no sustituye a la obligación fundamental de cumplir con la legislación nacional y de la Unión en materia de derechos de autor. Los firmantes conservan la plena responsabilidad de garantizar que sus operaciones se ajustan a los marcos jurídicos aplicables, incluido el artículo 4, apartado 3, de la Directiva (UE) 2019/790, antes de emprender cualquier actividad relacionada con los derechos de autor.

Medida 1.1: Elaborar, mantener al día y aplicar una política de derechos de autor.

Los firmantes deben desarrollar y mantener una política de derechos de autor unificada y actualizada periódicamente que demuestre el cumplimiento de los requisitos de este capítulo y defina claramente las estructuras internas de responsabilidad.
Se recomienda la publicación de un resumen de la política para mejorar la transparencia y la comprensión pública.

Medida 1.2: Reproducir y extraer únicamente contenidos protegidos por derechos de autor legalmente accesibles al rastrear la World Wide Web.

Los sistemas de rastreo web desplegados con fines de formación deben limitar el acceso únicamente a los contenidos legalmente disponibles.
Está prohibido eludir las barreras técnicas (como los muros de pago o los mecanismos de restricción de acceso).
Los proveedores deben excluir los sitios web que las autoridades de la UE/EEE hayan identificado como infractores persistentes de los derechos de autor, basándose en un registro público de la UE.

Medida 1.3: Identificar y respetar las reservas de derechos al rastrear la World Wide Web.

Los sistemas de rastreo deben ser capaces de reconocer y respetar las reservas de derechos legibles por máquina, incluidos los archivos robots.txt, de acuerdo con las normas RFC 9309.
Los proveedores deben adherirse a otras normas ampliamente reconocidas y técnicamente prácticas aprobadas mediante consultas a nivel de la UE.
Se anima a los firmantes a participar activamente en el desarrollo de dichos protocolos técnicos.
Deben ofrecer transparencia en cuanto a sus operaciones de rastreo, su enfoque de la gestión de contenidos con derechos reservados y ofrecer sistemas de notificación automática a los titulares de derechos.
Los operadores de motores de búsqueda deben garantizar que el respeto de las reservas de derechos no comprometa su capacidad de indexación.

Medida 1.4: Mitigar el riesgo de productos que infrinjan los derechos de autor

Los proveedores deben desplegar medidas técnicas de protección diseñadas para minimizar la probabilidad de que los modelos de IA produzcan contenidos que infrinjan los derechos de autor.
Deben prohibir explícitamente los usos infractores en sus condiciones de servicio o documentación, incluso en el caso de las distribuciones de modelos de código abierto.
Estas medidas de protección deben seguir siendo eficaces tanto si el modelo se utiliza directamente como si se aplica a través de terceros.

Medida 1.5: Designar un punto de contacto y permitir la presentación de reclamaciones.

Los firmantes deben establecer un punto de contacto específico para los titulares de derechos e implementar un sistema para recibir quejas electrónicas justificadas.
Todas las quejas deben recibir una consideración justa y respuestas oportunas, excepto las que sean manifiestamente infundadas o de naturaleza repetitiva.
Este mecanismo de denuncia funciona sin perjuicio de otros recursos legales de que disponen los titulares de derechos para proteger sus intereses.

Capítulo Seguridad

Compromiso 1: Marco de seguridad y protección

Los firmantes se comprometen a establecer un Marco de Seguridad y Protección de última generación que defina procedimientos y medidas de gestión del riesgo sistémico globales diseñados para mantener niveles aceptables de riesgo sistémico. Esto incluye el desarrollo, la aplicación y la actualización periódica del Marco, al tiempo que se mantiene informada a la Oficina de AI de todos los avances.

Medida 1.1: Creación del marco

Los firmantes desarrollarán un Marco que documente tanto los procesos existentes como los previstos para evaluar y mitigar los riesgos sistémicos. El Marco debe abarcar:

Puntos de activación justificados que determinan cuándo deben producirse las evaluaciones más duras del modelo a lo largo de su ciclo de vida.
Para la aceptación del riesgo sistémico (Compromiso 4):
- Criterios y fundamentos claros para establecer las categorías de riesgo sistémico y su aplicación práctica.
- Estrategias globales de mitigación de alto nivel correspondientes a cada categoría de riesgo.
- Plazos previstos que indiquen cuándo se prevé que los modelos superen el nivel actual de mayor riesgo, respaldados por una justificación detallada, supuestos subyacentes y utilización de metodologías de previsión, estudios de expertos o estimaciones profesionales.
- Descripción clara de cómo influye la orientación externa (incluida la aportación gubernamental) en las opciones de desarrollo y despliegue.

Asignación clara de las responsabilidades de gestión del riesgo sistémico (Compromiso 8).
Procedimientos de actualización y revisión del Marco.
Los firmantes deben confirmar el Marco en un plazo de cuatro semanas a partir de la notificación a la Comisión de que su modelo de IPGV cumple el umbral para ser clasificado como modelo de IPGV con riesgo sistémico, y como mínimo dos semanas antes de su lanzamiento al mercado.

Medida 1.2: Aplicación del marco

Los firmantes mantendrán una evaluación continua del riesgo sistémico a través de:

Ejecutar evaluaciones de modelos racionalizadas (como las evaluaciones automatizadas) en puntos de activación designados (establecidos en función de los plazos, los recursos de formación informática, los hitos de desarrollo, la accesibilidad de los usuarios, la capacidad informática de inferencia y/o las asequibilidades).
Seguimiento continuo tras la comercialización,
Incorporación de información procedente de informes sobre incidentes graves.
Ampliar el alcance y la intensidad de la evaluación según lo justifiquen las circunstancias, o ejecutar protocolos integrales de evaluación y mitigación de riesgos sistémicos basados en los resultados de la evaluación, los datos de seguimiento posteriores a la comercialización y la información sobre incidentes graves.

Desplegarán continuamente medidas de mitigación del riesgo sistémico que reflejen los resultados de las evaluaciones (evaluaciones de modelos, seguimiento posterior a la comercialización y análisis de incidentes graves).

Ejecutarán protocolos globales de evaluación y mitigación de riesgos sistémicos que incluyan:

Identificación sistemática de los riesgos sistémicos.
Análisis minucioso de cada riesgo sistémico identificado.
Determinación de los niveles de aceptabilidad del riesgo sistémico.
Aplicación de medidas de mitigación y reevaluación cuando los riesgos resulten inaceptables, seguida de la implantación de contramedidas de seguridad y/o protección, con el proceso de vuelta a la identificación de riesgos.

Este proceso debe completarse antes de la introducción en el mercado.

Debe repetirse cuando:

Las circunstancias razonablemente previsibles que apoyan la justificación de los niveles aceptables de riesgo sistémico, incluidos los márgenes de seguridad incorporados, dejarían de ser válidas.
La aplicación o integración del modelo en los sistemas de IA ha experimentado, o se prevé que experimente, modificaciones sustanciales.

Los firmantes deben presentar informes exhaustivos de todas las medidas y procesos a la Oficina de AI.

Medida 1.3: Actualización del marco

Los firmantes revisarán el Marco cuando sea necesario - inmediatamente después de cualquier evaluación - para garantizar que sigue siendo actual y mantiene los estándares más avanzados. Todas las actualizaciones deben incluir una documentación exhaustiva de los cambios en la que se detallen los motivos, la identificación de la versión y la fecha de aplicación.

Se realizarán evaluaciones marco:

Como mínimo una vez al año tras la introducción del modelo en el mercado; o
Antes, cuando pruebas razonables sugieran que la adecuación o el cumplimiento se han visto significativamente comprometidos.

Las condiciones desencadenantes incluyen:

Cambios materiales que previsiblemente podrían dar lugar a riesgos sistémicos inaceptables.
Incidentes graves o cuasi incidentes que demuestren la materialización de riesgos sistémicos.
Cambios notables en los perfiles de riesgo sistémico (incluida la evolución de la capacidad de los modelos o la disminución de la eficacia de la mitigación).

Las evaluaciones examinan:

Adecuación: Si los procedimientos y medidas del marco abordan eficazmente los riesgos sistémicos.
Cumplimiento: Cumplimiento de los requisitos del Marco, explicaciones de cualquier incumplimiento, medidas correctoras adoptadas y -cuando parezca posible un futuro incumplimiento- estrategias detalladas de corrección.

Medida 1.4: Notificaciones marco

Los firmantes concederán a la Oficina de AI un acceso completo y no redactado a su Marco y a todas las actualizaciones posteriores en un plazo de cinco días laborables a partir de la confirmación final.

Compromiso 2: Identificación del riesgo sistémico

Los firmantes se comprometen a identificar los riesgos sistémicos a través de una metodología sistemática, incluyendo la creación de escenarios de riesgo que informen el análisis del riesgo sistémico y las decisiones de aceptación.

Medida 2.1: Proceso de identificación del riesgo sistémico

Los firmantes identificarán los riesgos sistémicos mediante:

Creación de un inventario exhaustivo de los riesgos potenciales (apéndice 1.1), a partir de fuentes agnósticas del modelo, información específica del modelo (incluidos datos posteriores a la comercialización e informes de incidentes) y orientaciones de la Oficina de IA, el Panel Científico o la Red Internacional de Institutos de Seguridad de la IA (cuando cuenten con respaldo oficial).
Examinar las características pertinentes (anexo 1.2) y las fuentes (anexo 1.3).
Identificar los riesgos sistémicos a partir de este análisis exhaustivo.
Identificar los riesgos catalogados en el Apéndice 1.4.

Medida 2.2: Escenarios de riesgo sistémico

Los firmantes construirán escenarios detallados de riesgo sistémico, estableciendo la cantidad y el nivel de granularidad óptimos para cada riesgo sistémico identificado.

Compromiso 3: Análisis del riesgo sistémico

Los firmantes se comprometen a examinar a fondo cada riesgo sistémico identificado para fundamentar las decisiones de aceptación del riesgo sistémico, abarcando la recopilación de información independiente del modelo, la ejecución de evaluaciones del modelo, la modelización del riesgo, las actividades de estimación y la supervisión continua de los riesgos sistémicos.

Medida 3.1: Información independiente del modelo

Los firmantes recopilarán información pertinente independiente del modelo a través de enfoques que incluyan revisiones exhaustivas de la literatura, análisis de datos de mercado y formación, estudios de patrones de incidentes, proyección de tendencias, consulta a expertos e investigación de la opinión pública.

Medida 3.2: Evaluaciones de modelos

Los firmantes realizarán evaluaciones de vanguardia en todas las modalidades pertinentes para examinar las capacidades de los modelos, las tendencias de comportamiento, las características operativas y las repercusiones en el mundo real (Apéndice 3).

Las evaluaciones emplearán metodologías adecuadas, incorporarán pruebas abiertas de propiedades emergentes y se guiarán por información independiente del modelo. Los enfoques incluyen: preguntas estructuradas, evaluación orientada a tareas, puntos de referencia estandarizados, pruebas adversariales, estudios de mejora humana, investigación de organismos modelo, ejercicios de simulación y evaluaciones indirectas para áreas de contenido restringido.

Medida 3.3: Modelización del riesgo sistémico

Los firmantes llevarán a cabo una modelización avanzada del riesgo sistémico, basada en escenarios de riesgo e informada por riesgos identificados y análisis exhaustivos.

Medida 3.4: Estimación del riesgo sistémico

Los firmantes calcularán la probabilidad y la gravedad del daño potencial utilizando metodologías de vanguardia. Las estimaciones pueden ser de naturaleza cuantitativa, semicuantitativa o cualitativa, y abarcar sistemas de puntuación de riesgos, matrices de riesgos o distribuciones de probabilidades, y deben incorporar los riesgos identificados, los resultados analíticos y los datos sobre incidentes graves.

Medida 3.5: Seguimiento posterior a la comercialización

Los firmantes establecerán sistemas exhaustivos de vigilancia post-comercialización para informar sobre las determinaciones de riesgo sistémico, las actualizaciones del Informe Modelo y las proyecciones temporales.

Las actividades de supervisión evaluarán las capacidades, propensiones, asequibilidades y efectos del modelo mediante métodos que incluyan:

Recogida de comentarios de los usuarios finales, canales de información específicos, programas de recompensas por errores, evaluaciones impulsadas por la comunidad.
Seguimiento de repositorios de código y plataformas de medios sociales, iniciativas de apoyo a la investigación.
Registro de datos con preservación de la privacidad (incluidas marcas de agua y seguimiento de la procedencia).
Control de las infracciones de las restricciones de uso y de los incidentes resultantes.
Seguimiento de las características de los modelos opacos relevantes para la evaluación del riesgo sistémico.

Los firmantes que utilicen sistemas de IA que incorporen sus modelos GPAI deberán aplicar los protocolos de supervisión correspondientes a dichos sistemas.

Para facilitar una supervisión eficaz, los Firmantes proporcionarán un número suficiente de evaluadores externos independientes con acceso complementario a las versiones más avanzadas del modelo, incluidas las variantes con restricciones de seguridad mínimas, a menos que se pongan a disposición modelos equivalentemente seguros. Los mecanismos de acceso incluyen interfaces API, instalaciones locales, suministro de hardware dedicado o distribución pública del modelo.

Los firmantes publicarán normas transparentes de selección de evaluadores y utilizarán los resultados de la evaluación únicamente para fines de evaluación del riesgo sistémico. Las aportaciones y los resultados de los evaluadores no se incorporarán a los procesos de formación de modelos sin el consentimiento explícito.

Los firmantes se abstendrán de tomar represalias legales o técnicas contra los evaluadores que lleven a cabo actividades de prueba y publicación de buena fe, siempre que:

Mantenga la disponibilidad de los modelos sin interrupciones.
Maneje los datos sensibles con responsabilidad.
Evitar crear riesgos para la seguridad pública.
Abstenerse de aplicar coercitivamente las conclusiones.
Cumplir los protocolos de divulgación responsable.

Dichas políticas de divulgación permitirán la publicación en un plazo de 30 días hábiles, a menos que se justifiquen retrasos más prolongados debido a elevados riesgos sistémicos.

Las pequeñas y medianas empresas (PYME) y las pequeñas empresas de capitalización media (PYME) pueden solicitar la asistencia de la Oficina de AI para las actividades de supervisión.

Compromiso 4: Determinación de la aceptación del riesgo sistémico

Los firmantes se comprometen a establecer normas claras de aceptación del riesgo sistémico y a determinar si los riesgos sistémicos son aceptables antes de avanzar con las actividades de desarrollo, introducción en el mercado o despliegue operativo.

Medida 4.1: Criterios de aceptación del riesgo sistémico y determinación de la aceptación

Los firmantes articularán y justificarán los criterios de aceptación del riesgo sistémico en la documentación de su Marco.

Los criterios deben incluir niveles de riesgo cuantificables -que abarquen al menos una categoría aún no alcanzada- basados en la evaluación de capacidades, propensiones de comportamiento, cálculos de riesgo o métricas alternativas.

Aplicarán estas categorías con márgenes de seguridad adecuados para evaluar la aceptabilidad de los riesgos sistémicos individuales y agregados, teniendo en cuenta los resultados de la identificación y el análisis de riesgos.

Los márgenes de seguridad deben tener en cuenta:

Incertidumbres en las fuentes de riesgo sistémico (como la aparición de capacidades tras la evaluación).
Limitaciones de la metodología de evaluación (incluidos los problemas de falta de convocatoria).
Vulnerabilidades de la eficacia de la mitigación (como los riesgos de elusión).

Medida 4.2: Proceder o no proceder en función de la determinación de la aceptación del riesgo sistémico

Los firmantes procederán al desarrollo y despliegue sólo cuando se determine que los riesgos sistémicos son aceptables.

Cuando los riesgos son inaceptables o pueden llegar a serlo de forma inminente, deben aplicar medidas correctoras adecuadas, como restricciones de uso, retirada del mercado, mejora de las medidas paliativas y reevaluación exhaustiva.

Compromiso 5: Medidas de seguridad

Los firmantes se comprometen a desplegar mitigaciones de seguridad adecuadas a lo largo del ciclo de vida del modelo para preservar unos niveles de riesgo sistémico aceptables.

Medida 5.1: Medidas de seguridad adecuadas

Las medidas de mitigación deben ser resistentes a los ataques de los adversarios y ajustarse a la estrategia de distribución del modelo.

Algunos ejemplos de aplicación son:

Filtrado exhaustivo de datos de formación.
Control de entrada y salida en tiempo real.
Modificaciones del comportamiento (incluidos protocolos de entrenamiento para el rechazo).
Modelo escalonado de despliegue del acceso.
Herramientas de mitigación para usuarios intermedios.
Garantías cuantitativas de seguridad.
Ecosistemas de agentes seguros (incluida la identificación de modelos, protocolos especializados, herramientas de respuesta a incidentes).
Herramientas de mejora de la transparencia (incluida la accesibilidad de la cadena de pensamiento, la evaluación de la durabilidad de la mitigación).

Compromiso 6: Medidas de seguridad

Los firmantes se comprometen a mantener sólidas medidas de ciberseguridad durante todo el ciclo de vida del modelo para prevenir los riesgos derivados de la divulgación, el acceso o el robo no autorizados. Excluye los modelos con capacidades inferiores a al menos un modelo con parámetros disponibles para su descarga pública. Las medidas de seguridad seguirán vigentes hasta que los parámetros del modelo se pongan a disposición del público o se eliminen de forma segura.

Medida 6.1: Objetivo de seguridad

Los firmantes establecerán un Objetivo de Seguridad exhaustivo que identifique a los actores de amenazas contra los que sus mitigaciones pretenden proteger, informados por las capacidades actuales y proyectadas del modelo.

Medida 6.2: Mitigación adecuada de la seguridad

Los Firmantes desplegarán medidas de seguridad que se alineen con su Objetivo de Seguridad establecido, incorporando aquellas especificadas en el Apéndice 4.
Cualquier desviación del Apéndice 4.1-4.5(a) deberá demostrar resultados equivalentes en materia de protección.
La aplicación puede escalonarse para que se corresponda con el avance de la capacidad del modelo.

Compromiso 7: Informes sobre el modelo de seguridad

Los firmantes se comprometen a elaborar informes completos sobre los modelos de seguridad y protección antes de su introducción en el mercado, a garantizar su actualización y a notificarlo puntualmente a la Oficina de AI. Los informes podrán hacer referencia a presentaciones anteriores y podrán abarcar varios modelos cuando proceda. Las pequeñas y medianas empresas (PYME) y las pequeñas empresas de capitalización media (PYMES) podrán presentar niveles de detalle reducidos.

Medida 7.1: Descripción y comportamiento del modelo

El Modelo de Informe debe contener:

Una descripción de alto nivel de la arquitectura, las capacidades, las propensiones, las asequibilidades y la metodología de desarrollo del modelo (incluidos los enfoques de formación y las fuentes de datos).
Aplicaciones actuales y previstas del modelo.
Variantes de modelos y versiones disponibles.
Especificaciones del modelo (incluidos los principios rectores, la jerarquía de principios, las categorías de rechazo y las indicaciones del sistema).

Medida 7.2: Motivos para proceder

El informe debe justificar claramente por qué se consideran aceptables los riesgos sistémicos, incluyendo:

Justificación exhaustiva y márgenes de seguridad incorporados.
Circunstancias razonablemente previsibles en las que la justificación podría perder su validez.
Detalles del proceso de toma de decisiones (incluida la aportación gubernamental, si procede).

Medida 7.3: Documentación de la identificación, el análisis y la mitigación de los riesgos sistémicos

El informe debe documentar exhaustivamente:

Resultados de la identificación y el análisis del riesgo sistémico, incluidos:
- Descripción del proceso de identificación del riesgo sistémico.
- Explicación de las incertidumbres e hipótesis sobre el uso de modelos y su integración en sistemas de IA.
- Resumen de los resultados de la modelización del riesgo sistémico.
- Descripción detallada de los riesgos sistémicos planteados por el modelo, incluidos los procedimientos de evaluación, las pruebas y tareas realizadas durante las evaluaciones, los métodos de puntuación, el proceso de elicitación de capacidades, las comparaciones de las puntuaciones de evaluación con líneas de base humanas, en todas las versiones del modelo y los entornos de evaluación.
- Cinco muestras seleccionadas al azar de entradas y salidas de cada evaluación de modelo pertinente (por ejemplo, finalizaciones de texto, generaciones de contenido o trayectorias de agentes) para apoyar la interpretación independiente de los resultados de la evaluación y la valoración del riesgo sistémico. Deben incluirse las trayectorias que desempeñen un papel significativo en la explicación del riesgo sistémico. Deberán facilitarse muestras aleatorias adicionales a petición de la Oficina de IA.
- Descripción de los recursos y del acceso facilitado a: equipos internos de evaluación de modelos y evaluadores externos independientes, que también pueden facilitar ellos mismos directamente a la Oficina de AI.
- En su caso, justificación de que se han cumplido los criterios de "modelo de referencia seguro" y "modelo similarmente seguro o más seguro".
Descripción de todas las mitigaciones de seguridad aplicadas; cómo cumplen las normas establecidas por la medida 5.1; y limitaciones de las mitigaciones.
Descripción del Objetivo de Seguridad (Medida 6.1); todas las mitigaciones de seguridad implementadas; cómo logran el Objetivo de Seguridad, incluyendo la alineación con las normas internacionales; y justificación de cómo los enfoques alternativos logran el objetivo de seguridad previsto si no se siguió alguna de las mitigaciones de seguridad de los Apéndices 4.1-4.5(a).
Descripción de alto nivel de las técnicas y recursos previstos para el desarrollo del modelo en los próximos seis meses, incluido el uso de otros sistemas de IA; diferencias previstas en las capacidades y el comportamiento de los futuros modelos; y mitigaciones de seguridad nuevas o significativamente actualizadas previstas.

Medida 7.4: Informes externos

El informe debe incorporar:

Hiperenlaces o citas a informes de evaluadores externos independientes (Apéndice 3.5) y revisores de seguridad independientes (Apéndice 4.5), respetando los requisitos de confidencialidad y supervisión de los evaluadores.
Justificación cuando no se haya contratado a un evaluador externo (según el apéndice 3.5).
Explicación de la selección del evaluador basada en las cualificaciones demostradas.

Medida 7.5: Cambios materiales en el panorama del riesgo sistémico

El informe debe describir las alteraciones significativas en el entorno de riesgo sistémico resultantes del desarrollo o despliegue del modelo, tales como:

Nuevas relaciones de escala.
Innovaciones arquitectónicas revolucionarias.
Aumento o disminución de la eficacia de la mitigación.
Nuevas metodologías de formación que mejoran la viabilidad de la formación distribuida.

Medida 7.6: Actualización de los informes modelo

Los informes deben actualizarse cuando las justificaciones de la aceptabilidad del riesgo sistémico se vean materialmente socavadas, entre otras cosas:

Activación de condiciones desencadenantes especificadas (cambios de capacidades, nuevas integraciones, incidentes graves).
Cambios materiales en las capacidades, propensiones o asequibilidades debidos a la formación posterior adicional, la integración con nuevas herramientas o el aumento del cálculo de inferencias.
Un cambio material en la forma en que se utiliza el modelo o se integra en los sistemas de IA.
Incidentes graves o cuasi accidentes relacionados con el modelo o un modelo similar.
Desarrollos que:
- Socavar materialmente la validez externa de las evaluaciones de modelos realizadas anteriormente,
- mejorar significativamente el estado del arte en la evaluación de modelos, o
- indicar de otro modo que la evaluación original del riesgo sistémico es materialmente inexacta.
Las actualizaciones deben realizarse en un plazo razonable.
Las actualizaciones debidas a cambios deliberados deben completarse antes de que el cambio esté disponible en el mercado.
Para los modelos más capaces actualmente en el mercado, el Firmante debe proporcionar a la Oficina de AI un Informe de Modelo actualizado al menos cada seis meses, a menos que:
- No se ha producido ningún cambio material en las capacidades, propensiones o asequibilidades del modelo desde el último informe;
- El firmante tiene la intención de lanzar un modelo más capaz en el plazo de un mes.
- El modelo se califica como "similarmente seguro o más seguro" según el Apéndice 2.2 para cada riesgo sistémico identificado de acuerdo con la Medida 2.1.
El Informe Modelo actualizado debe incluir:
- Contenido actualizado según lo especificado en las Medidas 7.1 a 7.5, basado en la evaluación completa más reciente del riesgo sistémico y el proceso de mitigación; y
- Un registro de cambios que describe lo que se ha actualizado, por qué se han realizado los cambios, el nuevo número de versión y la fecha de la actualización.

Medida 7.7: Notificaciones de informes modelo

Los informes deben entregarse (sin redactar, salvo en los casos en que la legislación de seguridad nacional lo restrinja) en el momento de la introducción en el mercado.
Las actualizaciones deben enviarse en un plazo de 5 días laborables a partir de la confirmación.
Se permite una prórroga de 15 días cuando:
- La Oficina de AI determina que el Firmante actúa de buena fe; y
- Se presenta sin demora un informe provisional que contiene la justificación para seguir adelante (medida 7.2) y los cambios en el panorama del riesgo sistémico (medida 7.5).

Compromiso 8: Asignación de la responsabilidad del riesgo sistémico

Los firmantes se comprometen a asignar claramente las responsabilidades de la gestión de los riesgos sistémicos asociados a sus modelos en todos los niveles de la organización; asignar los recursos adecuados a las personas o equipos encargados de la gestión de los riesgos sistémicos; y fomentar una sólida cultura del riesgo dentro de la organización.

Medida 8.1: Definición de responsabilidades claras

Supervisión del riesgo sistémico: Supervisión de los procesos de evaluación y mitigación del riesgo sistémico.
Asunción de riesgos sistémicos: Gestión diaria de los riesgos sistémicos, incluyendo evaluaciones, mitigación y respuesta a incidentes.
Apoyo y supervisión del riesgo sistémico: Apoyo y supervisión continuos de los procesos de riesgo sistémico.
Aseguramiento del riesgo sistémico: Aportación de garantías internas y/o externas sobre la adecuación de la gestión de riesgos al órgano de dirección supervisor u órgano independiente equivalente.

Las responsabilidades deben asignarse de forma adecuada a la estructura de gobierno y complejidad del Firmante, incluyendo:

Función supervisora del órgano de dirección (por ejemplo, consejo, comité de riesgos/auditoría);
Función ejecutiva del órgano de dirección;
Equipos operativos;
Proveedores de garantía interna (por ejemplo, auditoría interna), si existen;
Proveedores externos de garantías (por ejemplo, auditores externos), si se dispone de ellos.

Se presume que se cumple la Medida si, proporcionalmente a los riesgos sistémicos del modelo:

La supervisión corre a cargo de un comité específico o de un órgano independiente (por ejemplo, un comité de riesgos/auditoría). En el caso de las PYMES y las SMC, puede bastar con una persona que ejerza la función de supervisión.
La propiedad se asigna a personas adecuadas de nivel ejecutivo (por ejemplo, Jefe de Investigación/Producto), con responsabilidad en cascada para los directores operativos.
El apoyo y la supervisión se asignan a miembros ejecutivos que no participan directamente en actividades que generan riesgos (por ejemplo, la CRO o el vicepresidente de seguridad). Las PYME y los SMC deben tener al menos un miembro ejecutivo responsable de esta función.
La garantía está dirigida por una persona o función designada (por ejemplo, el Jefe de Auditoría Interna), con el apoyo de auditorías internas/externas. En el caso de las PYME y las SMC, se requiere una evaluación periódica de supervisión.

Medida 8.2: Asignación de recursos adecuados

Los órganos de gestión de los firmantes deben supervisar y garantizar la asignación de recursos suficientes para apoyar a los que tienen asignadas responsabilidades de riesgo sistémico (según la Medida 8.1), en relación con el nivel de riesgo sistémico. Los tipos de recursos incluyen los recursos humanos, los recursos financieros, el acceso a la información y al conocimiento, y los recursos computacionales.

Medida 8.3: Fomento de una cultura de riesgo saludable

Tono de liderazgo: La alta dirección comunica claramente los marcos de riesgo sistémico.
Comunicación abierta: El personal puede plantear y cuestionar las decisiones sobre riesgos sistémicos.
Independencia e incentivos: El personal de riesgos es independiente y está incentivado para evitar la subestimación o sobreestimación del riesgo.
Concienciación del personal: Las encuestas confirman el conocimiento de los riesgos y los canales para plantear preocupaciones.
Canales de información eficaces: Se utilizan mecanismos de información y se actúa en consecuencia.
Política de denuncia de irregularidades: Se informa anualmente a los trabajadores y las políticas son accesibles al público.
No represalias: No se toman medidas adversas contra quienes informan de buena fe a las autoridades sobre riesgos sistémicos.

Compromiso 9: Notificación de incidentes graves

Los firmantes se comprometen a realizar un seguimiento sistemático, documentar y notificar los incidentes graves que afecten a sus modelos a la Oficina de AI y a las autoridades nacionales competentes sin demoras innecesarias. Los informes deben incluir medidas correctivas y ser proporcionales a la gravedad del incidente.

Medida 9.1: Métodos de identificación de incidentes graves

Para identificar incidentes graves, los Firmantes deben:

Aplicar los métodos establecidos en la medida 3.5, incluido el seguimiento sistemático posterior a la comercialización.
Consultar fuentes externas, como informes policiales y de los medios de comunicación, contenidos de las redes sociales, investigaciones académicas y bases de datos de incidentes.
Permitir la presentación de informes de terceros, informando a los proveedores intermedios, usuarios y otras partes interesadas de los canales directos de presentación de informes disponibles, y facilitando la presentación de informes al signatario o directamente a la Oficina de AI y/o a las autoridades nacionales.

Medida 9.2: Información pertinente para el seguimiento, la documentación y la notificación de incidentes graves

Los firmantes deben rastrear, documentar y comunicar a la Oficina de AI y, en su caso, a las autoridades nacionales competentes, como mínimo y según su leal saber y entender, la siguiente información (debidamente redactada para cumplir con la legislación de la Unión en materia de protección de datos y otras leyes aplicables):

Fechas de inicio y fin (o mejores aproximaciones) del incidente.
Descripción del daño resultante y de las personas o grupos afectados.
La cadena causal de los acontecimientos.
Identificación del modelo implicado.
Pruebas de la participación del modelo.
Medidas adoptadas o previstas por el Firmante.
Recomendaciones de actuación para la Oficina de AI o las autoridades competentes.
Análisis de la causa raíz, incluyendo:
- Los resultados del modelo que causaron o contribuyeron al incidente.
- Entradas utilizadas.
- Fallos sistémicos de mitigación o elusiones.
Patrones de seguimiento posterior a la comercialización razonablemente relacionados con el incidente (por ejemplo, cuasi accidentes, tendencias de anomalías).

Nota: Si no se dispone de determinada información en el momento de la notificación, el informe debe registrarlo explícitamente. El nivel de detalle debe reflejar la gravedad del incidente.

Medida 9.3: Plazos de presentación de informes

Informe inicial: Debe incluir la información de los puntos (1)-(7) de la medida 9.2, presentada de la siguiente manera:

Perturbación de infraestructuras críticas: ≤ 2 días a partir de la sensibilización)
Grave violación de la ciberseguridad (por ejemplo, exfiltración, ciberataque): ≤ 5 días desde la toma de conciencia.
Fallecimiento de una persona: ≤ 10 días desde el conocimiento
Perjuicio grave para la salud, los derechos fundamentales, la propiedad o el medio ambiente: ≤ 15 días desde el conocimiento

El conocimiento incluye tanto la implicación comprobada como la sospecha razonable de implicación del modelo del Firmante.

Informe intermedio: Cuando un incidente siga sin resolverse, los Firmantes deben proporcionar información actualizada, incluidos los detalles adicionales de la medida 9.2, al menos cada 4 semanas tras la presentación del informe inicial.

Informe final: Deberá presentarse a más tardar 60 días después de la resolución del incidente y contener toda la información exigida en la medida 9.2.

Notificación consolidada: Si se producen varios incidentes graves similares dentro de una ventana de notificación, pueden incluirse en el mismo informe que el primer incidente, siempre que se respeten los plazos de notificación individuales para ese caso inicial.

Medida 9.4: Período de conservación

Toda la documentación e información pertinente recopilada en el marco de esta medida deberá conservarse durante un mínimo de cinco (5) años a partir de la fecha de la documentación o de la fecha del incidente grave, la que sea posterior, sin perjuicio de las obligaciones legales de la UE aplicables en materia de conservación de la información.

Compromiso 10: Documentación adicional y transparencia

Los firmantes se comprometen a documentar su aplicación del Capítulo de Seguridad y Protección y a publicar versiones resumidas de sus Informes Marco y Modelo cuando sea necesario para mitigar el riesgo sistémico.

Medida 10.1: Documentación adicional

Documentación básica que debe conservarse y facilitarse cuando se solicite: Los firmantes deben preparar y mantener los siguientes registros para facilitarlos a la Oficina de AI cuando ésta los solicite, asegurándose de que estos documentos se mantienen actualizados:

Descripción detallada de la arquitectura del modelo.
Una explicación detallada de cómo se integra el modelo en los sistemas de inteligencia artificial, incluida la forma en que los componentes de software se basan o se alimentan mutuamente, y su integración en la cadena global de procesamiento, en la medida en que el firmante tenga conocimiento de ello.
Una relación detallada de las evaluaciones de modelos realizadas en el marco de este capítulo, incluidas las estrategias de evaluación y los resultados de las mismas.
Una descripción detallada de las medidas de seguridad aplicadas de conformidad con el Compromiso 5.

Esta documentación debe conservarse durante un mínimo de diez (10) años después de la comercialización del modelo en cuestión.

Registros adicionales para respaldar el cumplimiento de las medidas de riesgo sistémico: Para demostrar el cumplimiento de este Capítulo a petición de la Oficina de AI, los Firmantes deberán además hacer un seguimiento y mantener lo siguiente, cuando no esté ya incluido en la documentación anterior:

Procesos, medidas y decisiones clave que forman parte de los esfuerzos de evaluación y mitigación del riesgo sistémico del Firmante.
Justificaciones de la selección de cualquier mejor práctica concreta, proceso o medida de vanguardia u otro proceso o medida innovadores, si se confía en ellos para demostrar el cumplimiento de este capítulo.

Nota: No es necesario que la información anterior se recopile o almacene en un único repositorio. No obstante, debe poder recuperarse y estar disponible a petición de la Oficina de AI.

Medida 10.2: Transparencia pública

Cuando sea necesario para evaluar y/o mitigar los riesgos sistémicos, los Firmantes deben publicar (por ejemplo, a través de su página web) una versión resumida de su: marco (de conformidad con el Compromiso 1), e Informe(s) Modelo (de conformidad con el Compromiso 7), incluyendo cualquier actualización de los mismos.

La versión publicada debe incluir resúmenes de alto nivel de los resultados de la evaluación de riesgos sistémicos, y descripciones de alto nivel de las mitigaciones de seguridad y protección aplicadas.

Cualquier publicación debe excluir o redactar información que pueda socavar la eficacia de las medidas de seguridad o comprometer información comercial sensible.

La publicación no es necesaria para:

Marcos: si todos los modelos del firmante se consideran "modelos de seguridad similar o más seguros" con arreglo al apéndice 2.2.
Informes sobre el modelo: si el modelo en cuestión puede considerarse un "modelo similarmente seguro o más seguro" con arreglo al apéndice 2.2.

Apéndices

Apéndice 1: Riesgos sistémicos y otras consideraciones

Apéndice 1.1: Tipos de riesgos

Para determinar si existe un riesgo sistémico (según el artículo 3(65) de la Ley de IA), los riesgos se clasifican en cinco tipos primarios, que pueden solaparse:

Riesgos para la salud pública
Riesgos para la seguridad
Riesgos para la seguridad pública
Riesgos para los derechos fundamentales
Riesgos para la sociedad en su conjunto

Algunos ejemplos son las amenazas a las infraestructuras críticas, la salud mental pública, la libertad de expresión, la privacidad de los datos, la seguridad económica, el medio ambiente y la democracia. También se cubren riesgos específicos como la desinformación, las imágenes íntimas no consentidas (NCII) y el material de abuso sexual infantil (CSAM).

Apéndice 1.2: Naturaleza de los riesgos sistémicos

Apéndice 1.2.1: Características esenciales

Un riesgo es sistémico cuando

Es específico de las capacidades de IA de alto impacto,
Tiene efectos significativos en todo el mercado de la UE, y
Puede escalar a través de la cadena de valor de la IA.

Apéndice 1.2.2: Características contribuyentes

Entre ellas figuran:

Dependencia de la capacidad o del alcance: El riesgo aumenta con la potencia o el uso del modelo.
Alta velocidad: Rápida aparición, superando las mitigaciones.
Impacto en cascada: Desencadena reacciones en cadena.
Irreversibilidad: Daño persistente o permanente.
Asimetría: Pocos actores pueden causar efectos a gran escala.

Apéndice 1.3 Fuentes de riesgos sistémicos

Apéndice 1.3.1 Capacidades del modelo

El riesgo puede surgir de funcionalidades como:

Capacidades ofensivas cibernéticas o QBRN,
Interacción persuasiva o engañosa,
Autonomía, autorreplicación o planificación,
Uso de herramientas y control de sistemas físicos,
Auto-razonamiento y evasión de la supervisión.

Apéndice 1.3.2 Propensidades del modelo

Se refieren a tendencias como:

Desajuste con la intención o los valores humanos,
Prejuicios discriminatorios, alucinaciones o anarquía,
Persistencia de objetivos o búsqueda de poder,
Colusión o conflicto con otros sistemas.

Apéndice 1.3.3 Astucias del modelo y otras fuentes de riesgo sistémico

El riesgo sistémico también puede derivarse de:

Acceso a herramientas o infraestructuras potentes,
Seguridad deficiente, supervisión deficiente o uso indebido,
Despliegue a gran escala o base de usuarios,
Vulnerabilidades en las estrategias de liberación,
Explicabilidad o transparencia inadecuadas.

Apéndice 1.4 Riesgos sistémicos específicos

Se consideran riesgos sistémicos específicos a efectos de la identificación de riesgos (medida 2.1, punto 2):

Riesgo QBRN: IA que reduce las barreras o aumenta el impacto de los ataques químicos, biológicos, radiológicos o nucleares.
Pérdida de control: incapacidad humana para modificar o cerrar modelos debido a desajustes, autonomía o resistencia.
Ciberdelincuencia: La IA posibilita ciberataques avanzados, especialmente contra infraestructuras críticas.
Manipulación perjudicial: Persuasión estratégica o engaño dirigido a la población o a los responsables de la toma de decisiones, que puede socavar los procesos democráticos o los derechos fundamentales.

Apéndice 2: Modelos igualmente seguros o más seguros

Apéndice 2.1 Modelos de referencia seguros

Un modelo se califica como modelo de referencia seguro en relación con un riesgo sistémico específico si se cumplen todas las condiciones siguientes:

Situación reglamentaria:
- El modelo se comercializó antes de la publicación de este capítulo.
- Ha completado todo el proceso de evaluación y mitigación de riesgos sistémicos, y la Oficina de AI ha recibido su Informe Modelo, con riesgos considerados aceptables.
Visibilidad suficiente:
- El firmante tiene pleno conocimiento de la arquitectura, las capacidades, las tendencias, las posibilidades y las mitigaciones del modelo.
- Esto se supone para los modelos propios del firmante o cuando se concede pleno acceso técnico (incluidos los parámetros del modelo).
No hay pruebas contrarias:
- No hay otros motivos razonables para creer que los riesgos sistémicos del modelo no son aceptables.

Apéndice 2.2 Modelos igualmente seguros o más seguros

Un modelo puede clasificarse como similarmente seguro o más seguro en relación con un riesgo sistémico específico cuando:

Comparación de riesgos:
- Tras la identificación del riesgo sistémico, el Firmante no prevé razonablemente ningún escenario de riesgo materialmente diferente en comparación con el modelo de referencia seguro.
Evaluación comparativa:
- El modelo se comporta igual o peor que el modelo de referencia en todas las pruebas de referencia ligeras del estado de la técnica, con pequeños aumentos de capacidad que no elevan sustancialmente el riesgo.
- Las evaluaciones comparativas deben realizarse de acuerdo con los procedimientos establecidos (medida 3.2).
Equivalencia técnica:
- No se conocen diferencias arquitectónicas o de comportamiento que puedan razonablemente dar lugar a un aumento del riesgo sistémico.
- Tampoco hay otros motivos razonables para creer que el riesgo es materialmente superior al modelo de referencia.

Nota importante: Las evaluaciones de los puntos 2) y 3) del apéndice 2.2 y del punto 2) del apéndice 2.1 deben incluir márgenes de seguridad adecuados para tener en cuenta la incertidumbre, como la información incompleta o los errores de medición.

Si un modelo utilizado anteriormente como referencia segura pierde esa condición, el signatario debe actuar en un plazo de seis meses para

Identificar un nuevo modelo de referencia seguro, o
Aplicar todas las obligaciones reglamentarias al modelo correspondiente, incluida la realización de todos los elementos anteriormente exentos o reducidos del proceso de evaluación del riesgo sistémico.

Apéndice 3: Evaluaciones de los modelos

Apéndice 3.1: Evaluaciones rigurosas de los modelos

Todas las evaluaciones de modelos deben realizarse con un alto nivel de rigor científico y técnico, garantizando:

Validez interna (los resultados reflejan fielmente el escenario probado),
Validez externa (los resultados son generalizables al uso en el mundo real), y
Reproducibilidad (es posible una réplica independiente).

Apéndice 3.2: Obtención de modelos

Las evaluaciones deben poner de manifiesto todas las capacidades, tendencias y efectos potenciales del modelo mediante técnicas de vanguardia, diseñadas para:

Minimizar la infra-elicitación (omisión de comportamientos relevantes),
Evitar el engaño por parte del modelo durante las pruebas (por ejemplo, sandbagging).
Las técnicas pueden incluir cambios en el acceso al cálculo, diseño de avisos, andamiaje y puesta a punto.

Los firmantes deben:

Adecuar las capacidades de obtención de información de los posibles agentes de uso indebido, y
Reflejar el contexto de uso previsto, incluidas las herramientas e integraciones previstas o ya utilizadas para modelos similares.

Apéndice 3.3: Evaluación de la eficacia de la mitigación

Las evaluaciones deben comprobar la eficacia de las medidas de seguridad, especialmente cuando de ellas depende la aceptación del riesgo sistémico. Esto incluye:

Si las medidas paliativas funcionan según lo previsto,
Si pueden eludirse o subvertirse (por ejemplo, mediante jailbreaking),
Si su eficacia puede degradarse con el tiempo.

Las pruebas deben utilizar las técnicas más avanzadas para detectar vulnerabilidades.

Apéndice 3.4: Equipos de evaluación cualificados y recursos

Las evaluaciones deben ser llevadas a cabo por equipos multidisciplinares con conocimientos técnicos y especializados relacionados con el riesgo sistémico específico. Las cualificaciones indicativas incluyen:

Un doctorado relevante o un trabajo revisado por pares,
Experiencia en el desarrollo de métodos de evaluación de modelos,
Al menos 3 años de experiencia laboral o investigadora pertinente.

Los equipos deben estar provistos de:

Acceso suficiente al modelo, incluidos los componentes internos (por ejemplo, logits, activaciones) y versiones no mitigadas cuando proceda,
Información sobre el modelo, incluidas las especificaciones y los datos de entrenamiento,
Tiempo (por ejemplo, al menos 20 días laborables para la mayoría de las tareas), y
Recursos, incluidos ordenadores, apoyo de ingeniería y personal.

A la hora de conceder acceso a los componentes sensibles del modelo, hay que tener en cuenta las cuestiones de seguridad.

Apéndice 3.5 Evaluaciones externas independientes de los modelos

Además de las revisiones internas, los Firmantes deben nombrar evaluadores externos cualificados e independientes a menos que:

El modelo ya se considera "similarmente seguro o más seguro" (Apéndice 2.2), o
A pesar de un esfuerzo de buena fe (por ejemplo, una convocatoria pública de 20 días), no es posible encontrar evaluadores externos adecuados.

Los evaluadores independientes deben:

Tener conocimientos técnicos y de dominio pertinentes,
Seguir protocolos de seguridad estrictos, y
Acordar la protección de la información sensible desde el punto de vista comercial.

Se les debe conceder acceso, información, tiempo y recursos suficientes, tal y como se indica en el apéndice 3.4. Los firmantes no deben interferir en la integridad de las pruebas externas (por ejemplo, registrando los datos de las pruebas sin permiso).

Las pequeñas y medianas empresas (PYME/SMC) pueden solicitar ayuda a la Oficina de AI para cumplir estos requisitos.

Apéndice 4: Objetivos y medidas de mitigación de la seguridad

Apéndice 4.1 Medidas generales de seguridad

Los firmantes deben adoptar medidas básicas de ciberseguridad para protegerse de las amenazas comunes. Entre ellas se incluyen:

Control de acceso a la red: Gestión de identidades y accesos (por ejemplo, MFA, contraseñas seguras, arquitectura de confianza cero, seguridad inalámbrica igual a la cableada, aislamiento de la red de invitados).
Protección contra la ingeniería social: Filtrado de correo electrónico para detectar phishing y archivos adjuntos sospechosos.
Malware y soportes extraíbles: Políticas que restringen el uso de USB y dispositivos similares.
Seguridad del software: Actualizaciones periódicas de software y gestión de parches para evitar exploits.

Apéndice 4.2 Protección de los parámetros del modelo no liberados

Para salvaguardar los datos sensibles del modelo, los Firmantes deben:

Seguimiento de todas las copias almacenadas: Mantenga un registro seguro de dispositivos/ubicaciones que contengan parámetros de modelos.
Restrinja la copia a dispositivos no gestionados: Aplique controles de acceso y supervise la transferencia de datos no autorizada.
Cifre los parámetros en tránsito y en reposo: Utiliza cifrado de 256 bits y almacenamiento seguro de claves (por ejemplo, TPM).
Almacenamiento temporal seguro: Descifra parámetros sólo en memoria no persistente para uso legítimo.
Parámetros seguros en uso: Despliegue técnicas informáticas confidenciales, como entornos de ejecución de confianza atestiguados.
Controle el acceso físico: Limite el acceso a entornos sensibles (por ejemplo, centros de datos) y realice inspecciones para detectar la presencia de personas o dispositivos no autorizados.

Apéndice 4.3 Interfaz de endurecimiento: acceso a parámetros de modelos no liberados

Los firmantes deben endurecer todas las interfaces que accedan a parámetros de modelos no liberados:

Limite el acceso a la interfaz: Restringe el acceso a los usuarios/software autorizados con MFA y revisa los permisos al menos cada 6 meses.
Código de interfaz seguro: Realice revisiones de seguridad manuales o automatizadas en profundidad del código vinculado al acceso a los parámetros del modelo.
Evitar la exfiltración: Aplique métodos como la limitación de la velocidad de salida en las interfaces.
Reducir al mínimo el acceso a información privilegiada: Limita quién puede acceder a interfaces no reforzadas con parámetros del modelo.

Apéndice 4.4 Amenazas internas

Para protegerse contra el sabotaje o el robo interno (incluso mediante modelos):

Investigación del personal: Comprobar los antecedentes de las personas con acceso a datos/sistemas sensibles del modelo.
Concienciación sobre amenazas internas: Formar al personal para que reconozca y denuncie las amenazas internas.
Evitar la autoexfiltración mediante modelos: Utilizar sandboxing y aislamiento de ejecución de código.
Salvaguardar la formación de modelos: Inspecciona los datos de entrenamiento para detectar manipulaciones o sabotajes.

Apéndice 4.5 Garantía de seguridad

Para verificar que las medidas de seguridad son eficaces, los Firmantes deben:

Recurrir a revisiones externas independientes si la capacidad interna es insuficiente.
Realización de red-teaming para identificar lagunas de seguridad en redes e instalaciones.
Ejecutar programas de recompensas por fallos para puntos finales públicos cuando proceda.
Probar los protocolos de mitigación de información privilegiada, incluidas las evaluaciones de integridad del personal.
Facilite la notificación de problemas a través de canales de comunicación seguros con terceros.
Supervise los sistemas de forma activa con sistemas de detección y respuesta de puntos finales (EDR) o de detección de intrusiones (IDS).
Responda rápidamente a las amenazas utilizando equipos de seguridad formados para la gestión y recuperación de incidentes.

Este post ha sido publicado el 30 Jul, 2025