El objetivo de esta página es ofrecer una visión general de los sistemas de inteligencia artificial y, en particular, de los sistemas de inteligencia artificial de propósito general (GPAI), utilizados con fines terapéuticos o de apoyo emocional en el marco de la Ley de Inteligencia Artificial. En ella se analizan las obligaciones de los proveedores de estos sistemas de inteligencia artificial, tanto a nivel del sistema como a nivel del modelo.
Resumen
- La IA utilizada con fines terapéuticos o de apoyo emocional puede resultar práctica y de fácil acceso, pero también puede causar daños, sobre todo si no se ha diseñado ni homologado para ese fin. Estos riesgos son especialmente preocupantes para los usuarios vulnerables, como los niños, las personas mayores y aquellas que sufren malestar emocional.
- Los sistemas de IA, incluidos los de IA de propósito general, como Claude o ChatGPT, así como los modelos de IA de propósito general subyacentes, deben cumplir con las obligaciones que les impone la Ley de IA.
- En función del sistema de IA concreto de que se trate, ya sea para fines terapéuticos o de apoyo emocional, podría quedar totalmente prohibido en la UE, considerarse un sistema de alto riesgo y/o estar sujeto a obligaciones de transparencia cuando interactúe directamente con el usuario.
- Los proveedores de determinados modelos de IA de uso general deben identificar, evaluar y mitigar los riesgos sistémicos, entre los que pueden figurar los riesgos para la salud mental pública, los derechos fundamentales y la sociedad en su conjunto. Asimismo, deben notificar los incidentes graves, como los que causen un perjuicio grave a la salud mental o física de una persona.
- Dado que muchas de las obligaciones ya son de aplicación y que la Comisión Europea podrá ejercer sus competencias de control a partir del 2 de agosto de 2026, queda por ver con qué eficacia se mitigarán los riesgos derivados del uso de la inteligencia artificial con fines terapéuticos y de apoyo emocional.
Próximamente en este post:
- Introducción
- Obligaciones del sistema frente a las del modelo
- Obligaciones a nivel del sistema
- Obligaciones a nivel de modelo
- Plazos de cumplimiento
Introducción
El uso de sistemas de IA, en particular de IA de propósito general (GPAI) como ChatGPT, Gemini o Claude, con fines terapéuticos o de apoyo emocional es un fenómeno cada vez más extendido. Estos sistemas de IA son gratuitos, están siempre disponibles y resultan fáciles de usar. Esto es especialmente cierto en el caso de personas jóvenes o en situación de vulnerabilidad que pueden tener dificultades para acceder a terapia o apoyo emocional por otros medios, ya sea a través de un profesional titulado o de relaciones personales.
Sin embargo, también se han registrado numerosos casos en los que los sistemas de IA han causado un daño real a personas que buscaban apoyo en materia de salud mental o a otras personas de su entorno. La adulación, es decir, la tendencia de los sistemas de IA a mostrarse complacientes y a validar los pensamientos y las posturas de un usuario, puede reforzar comportamientos nocivos o impedir que se responda de forma segura. Este problema es aún más acusado en el caso de los sistemas de IA general (GPAI), que, por definición, no fueron diseñados ni homologados para sustituir a un profesional de la salud mental.
Por lo tanto, es importante aclarar qué obligaciones deben cumplir los proveedores de estos sistemas de IA o de los modelos de IA general subyacentes en virtud de la Ley de IA de la UE.
Gratis, independiente y aquí para quedarse.
Nuestro objetivo es crear la guía más útil, fiable y completa sobre la Ley de IA que se pueda encontrar en Internet. Nunca la pondremos detrás de un muro de pago ni la utilizaremos para venderte ningún servicio. Hacemos esto porque creemos que una buena gobernanza de la IA es importante, y eso significa hacer que la orientación fiable sea realmente accesible.
Si quieres echarnos una mano, te invitamos a que consideres la posibilidad de escribir un artículo como colaborador para ayudar a otros a comprender y orientarse en la Ley, o a que me envíes tus ideas y comentarios sobre el sitio web (Taylor, responsable de diseño y web) a: websites@futureoflife.org. Para mantenerte al día, suscríbete a nuestro boletín quincenal sobre la Ley de IA, la publicación periódica sobre la Ley de IA más fiable del mundo, con más de 50 000 suscriptores. Hemos publicado más de 100 actualizaciones desde 2022.
Este sitio web ha sido creado y es mantenido por el Future of Life Institute, la organización sin ánimo de lucro más antigua y grande del mundo dedicada al desarrollo responsable de la inteligencia artificial.
Obligaciones del sistema frente a las del modelo
En primer lugar, es importante aclarar la diferencia entre las obligaciones de los sistemas de IA y las de los modelos en virtud de la Ley de IA. La Ley de IA regula ambos niveles: por un lado, los modelos de IA general (GPAI), como GPT-4 o Claude 4; y, por otro, determinados sistemas de IA, que son las aplicaciones específicas desarrolladas a partir de modelos de IA (como un chatbot terapéutico o de apoyo emocional). Los sistemas de IA también pueden ser de uso general, como ChatGPT o Claude, a diferencia de los sistemas de IA utilizados para aplicaciones específicas.
Cuando un proveedor pone en servicio o comercializa en la UE un sistema de IA que integra su propio modelo de IA general (GPAI), se considera que dicho modelo también se ha comercializado en el mercado de la UE, de conformidad con el considerando 97 de la Ley de IA. Si el proveedor del modelo es distinto del del sistema de IA, entonces, por definición, dicho modelo ya se había comercializado en el mercado de la UE con anterioridad. Por lo tanto, en la mayoría de los casos, cuando un sistema de IA esté sujeto a las obligaciones previstas en la Ley de IA, el modelo subyacente también estará sujeto a sus propias obligaciones, que son distintas.
Obligaciones a nivel del sistema
Sistemas de IA prohibidos
Partiendo de la «obligación» más significativa, de conformidad con el artículo 5, apartado 1, letra b), de la Ley de IA de la UE, dicha ley prohíbe totalmente los sistemas de IA que se aprovechen de vulnerabilidades, como «la edad, la discapacidad o una situación social o económica específica» de una persona, «con el objetivo o el efecto de distorsionar sustancialmente su comportamiento de una manera que cause o que sea razonablemente probable que cause un perjuicio significativo a esa persona o a otra persona». Esto significa que estos sistemas no pueden comercializarse, ponerse en servicio ni utilizarse en la UE.
Que un sistema de IA constituya un sistema de este tipo depende del sistema concreto de que se trate. En las Directrices de la Comisión Europea sobre prácticas prohibidas en materia de inteligencia artificial se incluye orientación adicional sobre qué se considera este tipo de sistema prohibido. Estas Directrices son vinculantes para la Comisión a la hora de aplicar la ley, salvo que se justifique una desviación de las mismas. Las Directrices ofrecen el siguiente ejemplo de un sistema de IA prohibido en virtud del artículo 5, apartado 1, letra b): «Un chatbot terapéutico destinado a proporcionar apoyo en materia de salud mental y estrategias de afrontamiento a personas con discapacidad mental puede aprovecharse de sus capacidades intelectuales limitadas para influir en ellas a fin de que adquieran productos médicos costosos o incitarlas a comportarse de formas que resulten perjudiciales para ellas mismas o para otras personas». De manera similar, si un chatbot terapéutico se aprovecha de la vulnerabilidad de los jóvenes para incitarlos a comportarse de formas que resulten perjudiciales para ellos mismos o para otros, cabe esperar que entre dentro de la categoría de sistemas de IA prohibidos en virtud del artículo 5, apartado 1, letra b), de la Ley de IA.
Esto puede referirse tanto a los sistemas de IA estrecha que se comercializan con fines terapéuticos, como a los sistemas de IA general (GPAI) que no se comercializan para ningún fin concreto. Cabe destacar que el artículo 5, apartado 1, letra b), no habla de «finalidad prevista» ni de «uso previsto». En su lugar, se refiere al «objetivo o al efecto» de una distorsión sustancial del comportamiento de una persona. Por lo tanto, un sistema de IA puede prohibirse por este motivo, incluso si dicho uso o el comportamiento del sistema de IA no era el previsto por su proveedor. En consecuencia, y tal y como también señalan las Directrices de la Comisión, los proveedores «tienen la responsabilidad de no comercializar ni poner en servicio sistemas de IA, incluidos los sistemas de IA de propósito general, que puedan razonablemente comportarse o ser utilizados directamente de una manera prohibida por el artículo 5 de la Ley de IA».
Obligaciones relativas a los sistemas de IA de alto riesgo
Si un sistema de IA utilizado con fines terapéuticos o de apoyo emocional no entra dentro de la categoría de sistemas prohibidos, es necesario considerar si constituye un sistema de IA de alto riesgo y, por lo tanto, está sujeto a las obligaciones que se les imponen. Se trata, además, de una cuestión que depende en gran medida de las circunstancias concretas y de si el sistema de IA se considera un producto sanitario con arreglo al Reglamento sobre productos sanitarios (MDR) y está obligado a someterse a una evaluación de conformidad por parte de un tercero, de conformidad con el artículo 6, apartado 1, y el anexo I de la Ley de IA. La clasificación de un sistema de IA como producto sanitario con arreglo al MDR depende, a su vez, de si puede considerarse que su uso previsto abarca un fin médico específico. Esto viene determinado por una serie de criterios, entre los que se incluyen las instrucciones de uso emitidas por el fabricante del sistema de IA en cuestión, o cualquier material promocional y declaración, entre otros.
Esto se aplica, naturalmente, a los sistemas de IA estrecha destinados exclusivamente al «diagnóstico, la prevención, la monitorización, la predicción, el pronóstico, el tratamiento o el alivio de enfermedades». Esto incluye las enfermedades mentales, como en el caso de que el sistema de IA esté «destinado a evaluar, supervisar y tratar la depresión», tal y como se indica en las orientaciones del Grupo de Coordinación de Productos Sanitarios. Cuando su finalidad se limita a «fines relacionados con el estilo de vida y el bienestar», no constituye un producto sanitario, según el considerando 19 del Reglamento sobre productos sanitarios (MDR). Sin embargo, dado que los productos sanitarios —y, en particular, los destinados al tratamiento de la depresión— pueden ser utilizados únicamente por personas sin formación médica (en contraposición a los profesionales sanitarios) y pueden incluir cuestionarios de seguimiento del estado de ánimo, ejercicios y vídeos, puede resultar difícil trazar la línea divisoria entre un sistema de IA que evalúa, supervisa y gestiona un trastorno de salud mental y un sistema de IA utilizado con «fines de bienestar».
Además, aunque la clasificación como producto sanitario pueda resultar menos clara en el caso de los sistemas GPAI, el MDR no descarta necesariamente esa posibilidad. Es fundamental señalar que los criterios para determinar una finalidad médica específica son amplios y no se limitan a las instrucciones de uso. Además, aunque es necesaria una finalidad médica específica (un software de uso general, incluso cuando se utilice en un entorno sanitario, no está incluido), dicha finalidad no tiene por qué ser exclusiva: el MDR incluye en su ámbito de aplicación a los productos con una finalidad prevista tanto médica como no médica.
Cuando se determine que un sistema de IA constituye un producto sanitario con arreglo al MDR y requiera una evaluación de la conformidad realizada por un tercero, dicho sistema estará sujeto a las obligaciones aplicables a los sistemas de IA de alto riesgo. Entre ellas se incluyen el establecimiento de un sistema de gestión de riesgos, el cumplimiento de las prácticas de gobernanza de datos, la elaboración de la documentación técnicadel sistema de IA, la posibilidad de registrar automáticamente los eventos (registros), la garantía de la transparencia, la facilitación de la supervisión humana, la consecución de un nivel adecuado de precisión, solidez y ciberseguridad del sistema de IA, y la garantía del cumplimiento del procedimiento de evaluación de la conformidad pertinente, entre otras.
Obligaciones de transparencia
Incluso cuando un sistema de IA no constituya un sistema de alto riesgo, queda, no obstante, sujeto a las obligaciones de transparencia previstas en la Ley de IA. En virtud de estas disposiciones, los proveedores de sistemas de IA destinados a interactuar directamente con personas físicas deben asegurarse de que sus usuarios sean conscientes de que están interactuando con un sistema de IA, a menos que ese hecho resulte obvio para una persona «razonablemente bien informada, atenta y prudente, teniendo en cuenta las circunstancias y el contexto de uso». Asimismo, deben tenerse en cuenta las características de los grupos vulnerables por motivos de edad o discapacidad si el sistema de IA está destinado a interactuar con ellos.
Esta obligación se aplica tanto a los sistemas de IA de propósito específico como a los de propósito general, tal y como se recoge también en las Directrices de la Comisión sobre la aplicación de las obligaciones de transparencia para determinados sistemas de IA en virtud del artículo 50 de la Ley de IA. En consecuencia, los sistemas de IA de propósito general utilizados con fines terapéuticos o de apoyo emocional deben cumplir estas obligaciones, dejando claro a los usuarios que están interactuando con un sistema de IA. Dado que es razonablemente previsible que estos sistemas puedan interactuar con grupos vulnerables, incluidos los niños o las personas mayores, no debe darse por sentado que para los usuarios resulte siempre obvio que están interactuando con un sistema de IA.
Un ejemplo que se recoge en las Directrices para que el usuario sea consciente de que está interactuando con un sistema de IA es que un chatbot mencione que es un sistema de IA al inicio de cada conversación. Sin embargo, las Directrices también subrayan que esto puede no ser siempre suficiente en el contexto de interacciones continuadas, especialmente cuando los usuarios experimentan angustia emocional o corren el riesgo de crear un vínculo emocional con el sistema de IA, como suele ocurrir en los sistemas de IA utilizados para terapia y apoyo emocional. En estos casos, puede ser necesario recordar de forma continuada la naturaleza del sistema de IA.
Obligaciones a nivel de modelo
Los modelos de IA general (GPAI) en los que se basan muchos de los sistemas de IA utilizados con fines terapéuticos o de apoyo emocional también deben cumplir con las obligaciones que les impone la Ley de IA. Es importante destacar que los proveedores de modelos de GPAI que entrañen un riesgo sistémico deben identificar, evaluar y mitigar dichos riesgos , que pueden incluir riesgos para la salud mental pública, para los derechos fundamentales y para la sociedad en su conjunto, de conformidad con el Código de prácticas adjunto. Entre las capacidades de los modelos que se tienen en cuenta (aunque no sean estrictamente necesarias) en la identificación del riesgo sistémico se incluyen «las capacidades para manipular, persuadir o engañar».
Además, los proveedores de modelos de GPAI que entrañen un riesgo sistémico también deben notificar los incidentes graves. Entre ellos se incluyen aquellos casos en los que la utilización del modelo haya provocado, directa o indirectamente, «daños graves a la salud de una persona (mental y/o física)» o si existe una sospecha razonable de que exista dicha relación causal, tal y como establece el Código de buenas prácticas.
Por lo tanto, es posible que ya sea necesario abordar y mitigar los riesgos derivados del uso de sistemas de IA con fines terapéuticos o de apoyo emocional durante el desarrollo del modelo de IA general subyacente. Del mismo modo, cuando el uso de un sistema de IA con fines terapéuticos o de apoyo emocional provoque un daño grave a la salud de una persona, y dicho daño pueda atribuirse al modelo —y no al sistema de IA que lo integra—, el proveedor del modelo deberá notificar dichos incidentes a la Oficina de IA y, posiblemente, también a las autoridades nacionales. El proveedor también debe informar sobre las medidas correctivas que haya adoptado para hacer frente a estos riesgos.
Plazos de cumplimiento
Si bien la prohibición de determinadas prácticas de IA prevista en el artículo 5 es aplicable desde el 2 de febrero de 2025, las obligaciones modelo de la GPAI entraron en vigor el 2 de agosto de 2025 y la obligación de transparencia prevista en el artículo 50, apartado 1, pasó a ser aplicable el 2 de agosto de 2026, algunas de las demás obligaciones de la Ley de IA aún no han entrado en vigor. Las obligaciones relativas a los sistemas de IA de alto riesgo, clasificados como tales con arreglo al artículo 6, apartado 1, y al anexo I de la Ley de IA, entrarán en vigor el 2 de agosto de 2028.
Cabe destacar que el 2 de agosto de 2026 también marcó el día en que la Comisión Europea pudo comenzar a ejercer sus competencias de supervisión y ejecución respecto a los proveedores de modelos de IA general (GPAI), que habían dispuesto de un año para cumplir con sus obligaciones. Tal y como se ha señalado, dichas medidas de ejecución también pueden contribuir a mitigar los riesgos que plantea el uso de la IA con fines terapéuticos y de apoyo emocional.