Resumen de alto nivel de la Ley AI

Actualizado el 30 de mayo de acuerdo con la versión Corrigendum de la Ley AI.

En este artículo le ofrecemos un resumen de alto nivel de la Ley de AI, seleccionando las partes que con mayor probabilidad serán relevantes para usted, independientemente de quién sea. Cuando proceda, le proporcionaremos enlaces al documento original para que siempre pueda consultar el texto de la Ley.

Para explorar el texto completo de la Ley de AI usted mismo, utilice nuestro Explorador de la Ley de AI. Si desea saber qué partes del texto son más relevantes para usted, utilice nuestro Comprobador de Cumplimiento.

Ver este contenido en PDF

Sistemas de IA prohibidos(Capítulo II, Art. 5)

Los siguientes tipos de sistemas de IA están "prohibidos" según la Ley de IA.

Sistemas de IA:

• despliegue de técnicas subliminales, manipuladoras o engañosas para distorsionar el comportamiento y perjudicar la toma de decisiones con conocimiento de causa, causando un daño significativo.
• explotar las vulnerabilidades relacionadas con la edad, la discapacidad o las circunstancias socioeconómicas para distorsionar el comportamiento, causando daños significativos.
• sistemas de categorización biométrica que infieran atributos sensibles (raza, opiniones políticas, afiliación sindical, creencias religiosas o filosóficas, vida sexual u orientación sexual), excepto el etiquetado o filtrado de conjuntos de datos biométricos adquiridos legalmente o cuando las fuerzas de seguridad categoricen datos biométricos.
• puntuación social, es decir, evaluar o clasificar a individuos o grupos basándose en comportamientos sociales o rasgos personales, causando un trato perjudicial o desfavorable a esas personas.
• evaluar el riesgo de que un individuo cometa delitos penales basándose únicamente en perfiles o rasgos de personalidad, excepto cuando se utilice para aumentar las evaluaciones humanas basadas en hechos objetivos y verificables directamente relacionados con la actividad delictiva.
• compilación de bases de datos de reconocimiento facial mediante el raspado no selectivo de imágenes faciales de Internet o de grabaciones de CCTV.
• inferir emociones en lugares de trabajo o centros educativos, salvo por razones médicas o de seguridad.
• identificación biométrica remota (RBI) "en tiempo real" en espacios de acceso público para las fuerzas de seguridadexcepto cuando:
  • búsqueda de personas desaparecidas, víctimas de secuestros y personas víctimas de la trata de seres humanos o la explotación sexual;
  • prevenir una amenaza sustancial e inminente para la vida, o un ataque terrorista previsible; o
  • identificar a sospechosos de delitos graves (por ejemplo, asesinato, violación, robo a mano armada, tráfico de estupefacientes y armas ilegales, delincuencia organizada y delitos contra el medio ambiente, etc.).

Notas sobre la identificación biométrica a distancia:

El uso del RBI en tiempo real basado en IA sólo está permitido cuando no utilizar la herramienta causaría un daño considerable y debe tener en cuenta los derechos y libertades de las personas afectadas.

Antes de su despliegue, la policía debe completar una evaluación de impacto sobre los derechos fundamentales y registrar el sistema en la base de datos de la UE, aunque, en casos de urgencia debidamente justificados, el despliegue puede comenzar sin registro, siempre que se registre posteriormente sin demoras indebidas.

Antes de proceder a su despliegue, también deben obtener la autorización de una autoridad judicial o de una autoridad administrativa independiente[1], aunque, en casos de urgencia debidamente justificados, el despliegue puede comenzar sin autorización, siempre que ésta se solicite en un plazo de 24 horas. Si se deniega la autorización, el despliegue debe cesar inmediatamente, borrándose todos los datos, resultados y productos.

↲ [1] Las autoridades administrativas independientes pueden estar sujetas a una mayor influencia política que las autoridades judiciales(Hacker, 2024).

Sistemas de IA de alto riesgo(Capítulo III)

Algunos sistemas de IA se consideran de "alto riesgo" en virtud de la Ley de IA. Los proveedores de estos sistemas estarán sujetos a requisitos adicionales.

Normas de clasificación de los sistemas de IA de alto riesgo(art. 6)

Los sistemas de IA de alto riesgo son aquellos:

• se utiliza como componente de seguridad o como producto cubierto por la legislación de la UE del anexo I Y debe someterse a una evaluación de la conformidad por terceros con arreglo a dicha legislación del anexo I; O
• los menores de Anexo III casos de uso (más abajo), excepto si:
  • el sistema de IA realiza una tarea procedimental limitada;
  • mejora el resultado de una actividad humana previamente realizada;
  • detecta patrones de toma de decisiones o desviaciones de patrones de toma de decisiones anteriores y no pretende sustituir o influir en la evaluación humana completada previamente sin una revisión humana adecuada; o bien
  • realiza una tarea preparatoria de una evaluación pertinente a efectos de los casos de uso enumerados en el anexo III.
• Los sistemas de IA se consideran siempre de alto riesgo si realizan perfiles de las personas, es decir, el tratamiento automatizado de datos personales
  para evaluar diversos aspectos de la vida de una persona, como su rendimiento laboral, su situación económica, su salud, sus preferencias
  , sus intereses, su fiabilidad, su comportamiento, su ubicación o sus movimientos.
• Los proveedores cuyo sistema de IA esté incluido en los casos de uso del anexo III pero consideren que no es de alto riesgo deberán documentar dicha evaluación
  antes de comercializarlo o ponerlo en servicio.

Requisitos para los proveedores de sistemas de IA de alto riesgo (Art. 8-17)

Los proveedores de IA de alto riesgo deben:

• Establecer un sistema de gestión de riesgos a lo largo del ciclo de vida del sistema de IA de alto riesgo;
• Llevar a cabo la gobernanza de los datos, garantizando que los conjuntos de datos de formación, validación y prueba sean pertinentes, suficientemente representativos y, en la medida de lo posible, estén libres de errores y completos de acuerdo con la finalidad prevista.
• Elaborar documentación técnica para demostrar la conformidad y facilitar a las autoridades la información necesaria para evaluar dicha conformidad.
• Diseñar su sistema de Inteligencia Artificial de alto riesgo para que pueda registrar automáticamente los eventos relevantes para identificar los riesgos a nivel nacional y las modificaciones sustanciales a lo largo del ciclo de vida del sistema.
• Proporcionar instrucciones de uso a los encargados de la implantación posterior para permitir el cumplimiento por parte de estos últimos.
• Diseñar su sistema de IA de alto riesgo para permitir a los desplegadores aplicar la supervisión humana.
• Diseñar su sistema de IA de alto riesgo para alcanzar los niveles adecuados de precisión, solidez y ciberseguridad.
• Establecer un sistema de gestión de la calidad para garantizar el cumplimiento.

Casos de uso del Anexo III
Biometría no prohibida: Sistemas de identificación biométrica a distancia, excluida la verificación biométrica que confirma que una persona es quien dice ser. Sistemas de categorización biométrica que infieren atributos o características sensibles o protegidos. Sistemas de reconocimiento de emociones.
Infraestructuras críticas: Componentes de seguridad en la gestión y explotación de infraestructuras digitales críticas, tráfico rodado y suministro de agua, gas, calefacción y electricidad.
Educación y formación profesional: Sistemas de IA que determinan el acceso, la admisión o la asignación a instituciones educativas y de formación profesional a todos los niveles. Evaluación de los resultados del aprendizaje, incluidos los utilizados para dirigir el proceso de aprendizaje del alumno. Evaluar el nivel de educación adecuado para un individuo. Supervisión y detección de comportamientos prohibidos de los alumnos durante los exámenes.
Empleo, gestión de trabajadores y acceso al autoempleo: Sistemas de IA utilizados para el reclutamiento o la selección, en particular anuncios de empleo específicos, análisis y filtrado de solicitudes, y evaluación de candidatos. Promoción y rescisión de contratos, asignación de tareas en función de rasgos de personalidad o características y comportamiento, y seguimiento y evaluación del rendimiento.
Acceso y disfrute de servicios públicos y privados esenciales: Sistemas de IA utilizados por las autoridades públicas para evaluar el derecho a prestaciones y servicios, incluida su asignación, reducción, revocación o recuperación. Evaluación de la solvencia, excepto para detectar fraudes financieros. Evaluación y clasificación de llamadas de emergencia, incluida la priorización de envíos de la policía, los bomberos, la asistencia médica y los servicios de triaje de pacientes urgentes. Evaluación de riesgos y tarificación de seguros de salud y de vida.
Aplicación de la ley: Sistemas de IA utilizados para evaluar el riesgo de una persona de convertirse en víctima de un delito. Polígrafos. Evaluación de la fiabilidad de las pruebas durante investigaciones o procesos penales. Evaluación del riesgo de delincuencia o reincidencia de una persona no basada únicamente en la elaboración de perfiles o en la evaluación de rasgos de personalidad o comportamientos delictivos anteriores. Elaboración de perfiles durante detecciones, investigaciones o enjuiciamientos penales.
Gestión de la migración, el asilo y el control fronterizo: Polígrafos. Evaluaciones de migración irregular o riesgos sanitarios. Examen de solicitudes de asilo, visados y permisos de residencia, y reclamaciones relacionadas con la admisibilidad. Detección, reconocimiento o identificación de personas, excepto verificación de documentos de viaje.
Administración de justicia y procesos democráticos: Sistemas de IA utilizados en la investigación e interpretación de hechos y en la aplicación de la ley a hechos concretos o utilizados en la resolución alternativa de conflictos. Influencia en los resultados de elecciones y referendos o en el comportamiento electoral, excluidos los productos que no interactúan directamente con las personas, como las herramientas utilizadas para organizar, optimizar y estructurar campañas políticas.

IA de propósito general (GPAI)

Por modelo GPAI se entiende un modelo de IA, incluso cuando se ha entrenado con una gran cantidad de datos utilizando autosupervisión a escala, que muestra una generalidad significativa y es capaz de realizar de forma competente una amplia gama de tareas distintas, independientemente de la forma en que se comercialice el modelo, y que puede integrarse en una variedad de sistemas o aplicaciones posteriores. Esto no incluye los modelos de IA que se utilizan antes de su comercialización para actividades de investigación, desarrollo y creación de prototipos.

Por sistema GPAI se entiende un sistema de IA basado en un modelo de IA de propósito general, que tiene la capacidad de servir a una variedad de propósitos, tanto para uso directo como para su integración en otros sistemas de IA.

Los sistemas GPAI podrán utilizarse como sistemas de IA de alto riesgo o integrarse en ellos. Los proveedores de sistemas GPAI deberán cooperar con dichos proveedores de sistemas de IA de alto riesgo para permitir el cumplimiento de estos últimos.

Todos los proveedores de modelos GPAI deben:

• Redactar la documentación técnica, incluido el proceso de formación y ensayo y los resultados de la evaluación.
• Elaborar información y documentación para suministrar a los proveedores posteriores que pretendan integrar el modelo GPAI en su propio sistema de IA, con el fin de que estos últimos comprendan las capacidades y limitaciones y puedan cumplirlo.
• Establecer una política de respeto de la Directiva sobre derechos de autor.
• Publicar un resumen suficientemente detallado sobre el contenido utilizado para el entrenamiento del modelo GPAI.

Los modelos GPAI de licencia libre y abierta -cuyos parámetros, incluidas las ponderaciones, la arquitectura del modelo y el uso del modelo están a disposición del público, lo que permite el acceso, uso, modificación y distribución del modelo- sólo tienen que cumplir las dos últimas obligaciones anteriores, a menos que el modelo GPAI de licencia libre y abierta sea sistémico.

Los modelos GPAI presentan riesgos sistémicos cuando la cantidad acumulada de cálculo utilizada para su formación es superior a ¹⁰²⁵ operaciones en coma flotante (FLOPs). Los proveedores deben notificar a la Comisión si su modelo cumple este criterio en el plazo de dos semanas. El proveedor puede presentar argumentos de que, a pesar de cumplir los criterios, su modelo no presenta riesgos sistémicos. La Comisión puede decidir por sí misma, o a través de una alerta cualificada del grupo científico de expertos independientes, que un modelo tiene capacidades de alto impacto, lo que lo convierte en sistémico.

Además de las cuatro obligaciones anteriores, los proveedores de modelos GPAI con riesgo sistémico también deben:

• Realizar evaluaciones de modelos, incluida la realización y documentación de pruebas contradictorias para identificar y mitigar el riesgo sistémico.
• Evaluar y mitigar los posibles riesgos sistémicos, incluidas sus fuentes.
• Rastrear, documentar y notificar los incidentes graves y las posibles medidas correctivas a la Oficina de AI y a las autoridades nacionales competentes pertinentes sin demoras indebidas.
• Garantizar un nivel adecuado de protección de la ciberseguridad.

Todos los proveedores del modelo GPAI pueden demostrar el cumplimiento de sus obligaciones si se adhieren voluntariamente a un código de buenas prácticas hasta que se publiquen las normas armonizadas europeas, cuyo cumplimiento dará lugar a una presunción de conformidad. Los proveedores que no se adhieran a códigos de prácticas deberán demostrar medios alternativos adecuados de cumplimiento para su aprobación por la Comisión.

Códigos de buenas prácticas

• Tendrá en cuenta los planteamientos internacionales.
• Abarcará, aunque sin limitarse necesariamente a ellas, las obligaciones antes mencionadas, en particular la información pertinente que debe incluirse en la documentación técnica para las autoridades y los proveedores posteriores, la identificación del tipo y la naturaleza de los riesgos sistémicos y sus fuentes, y las modalidades de gestión de riesgos que tengan en cuenta los retos específicos a la hora de hacer frente a los riesgos debido a la forma en que pueden surgir y materializarse a lo largo de la cadena de valor.
• La Oficina de AI podrá invitar a participar en la elaboración de los códigos a los proveedores de modelos de GPAI y a las autoridades nacionales competentes, mientras que la sociedad civil, la industria, el mundo académico, los proveedores posteriores y los expertos independientes podrán apoyar el proceso.

Gobernanza

¿Cómo se aplicará la Ley de IA?

• Se creará la Oficina de AI, dependiente de la Comisión, para supervisar la aplicación efectiva y el cumplimiento de los proveedores del modelo GPAI.
• Los proveedores intermedios pueden presentar una denuncia por infracción de los proveedores intermedios ante la Oficina de AI.
• La Oficina de AI podrá realizar evaluaciones del modelo GPAI para:
  • evaluar el cumplimiento cuando la información recabada en virtud de sus competencias para solicitar información sea insuficiente.
  • Investigar los riesgos sistémicos, en particular tras un informe cualificado del grupo científico de expertos independientes.

Cronología

• Tras su entrada en vigor, la Ley de IA se aplicará en los siguientes plazos:
  • 6 meses para los sistemas de IA prohibidos.
  • 12 meses para GPAI. 
  • 24 meses para los sistemas de IA de alto riesgo del anexo III. 
  • 36 meses para los sistemas de IA de alto riesgo del anexo I.
• Los códigos de buenas prácticas deben estar listos 9 meses después de su entrada en vigor. 

Consulte nuestro calendario completo de aplicación para conocer todos los hitos clave relacionados con la aplicación de la Ley de IA.