La thérapie par IA au regard de la loi européenne sur l'IA

Cette page a pour objectif de présenter une vue d'ensemble des systèmes d'IA, et en particulier des systèmes d'IA à usage général (GPAI), utilisés à des fins thérapeutiques ou de soutien émotionnel au sens de la loi sur l'IA. Elle examine les obligations des fournisseurs de ces systèmes d'IA, tant au niveau du système qu'au niveau du modèle.

À venir dans ce billet :

• Introduction
• Obligations liées au système et obligations liées au modèle
• Obligations au niveau du système
  • Systèmes d'IA interdits
  • Obligations relatives aux systèmes d'IA à haut risque
  • Obligations de transparence
• Obligations au niveau du modèle
• Dates limites de mise en conformité

Introduction

Le recours à des systèmes d’IA, en particulier à des systèmes d’IA à usage général (GPAI) tels que ChatGPT, Gemini ou Claude, à des fins thérapeutiques ou de soutien émotionnel est un phénomène en pleine expansion. Ces systèmes d’IA sont gratuits, toujours disponibles et faciles à utiliser. C’est notamment le cas pour les jeunes ou les personnes vulnérables qui peuvent avoir des difficultés à accéder à une thérapie ou à un soutien émotionnel par d’autres moyens, que ce soit par le biais d’un professionnel agréé ou de relations personnelles.

Cependant, de nombreux cas ont également été signalés où des systèmes d’IA ont causé un préjudice réel à des personnes recherchant un soutien en santé mentale ou à leur entourage. La « sycophantie », c’est-à-dire la tendance des systèmes d’IA à se montrer complaisants et à valider les pensées et les positions d’un utilisateur, peut renforcer des comportements néfastes ou empêcher une réponse sécurisée. Ce problème est encore plus prononcé en ce qui concerne les systèmes d’IA générale (GPAI), qui, par définition, n’ont pas été conçus ni approuvés pour se substituer à un professionnel de la santé mentale.

Il est donc important de préciser quelles obligations les fournisseurs de ces systèmes d’IA ou des modèles d’IA générique sous-jacents doivent respecter en vertu de la loi européenne sur l’IA.

Obligations liées au système et obligations liées au modèle

Tout d’abord, il est important de clarifier la différence entre les obligations relatives aux systèmes d’IA et celles relatives aux modèles au titre de la loi sur l’IA. La loi sur l’IA réglemente ces deux niveaux, à savoir les modèles d’IA générale (GPAI), tels que GPT-4 ou Claude 4, ainsi que certains systèmes d’IA, qui sont des applications spécifiques construites à partir de modèles d’IA (comme un chatbot thérapeutique ou de soutien émotionnel). Les systèmes d’IA peuvent également être à usage général, comme ChatGPT ou Claude, par opposition aux systèmes d’IA utilisés pour des applications spécialisées. 

Lorsqu’un fournisseur met en service ou commercialise dans l’UE un système d’IA intégrant son propre modèle d’IA générale (GPAI), ce modèle est également considéré comme commercialisé dans l’UE, conformément au considérant 97 de la loi sur l’IA. Si le fournisseur du modèle est différent de celui du système d’IA, alors, par définition, ce modèle était déjà commercialisé dans l’UE auparavant. Par conséquent, dans la plupart des cas, lorsqu’un système d’IA est soumis aux obligations prévues par la loi sur l’IA, le modèle sous-jacent sera également soumis à ses propres obligations, distinctes de celles du système.

Obligations au niveau du système

Systèmes d'IA interdits

En commençant par l’« obligation » la plus importante, conformément à l’article 5, paragraphe 1, point b), de la loi sur l’IA, la loi européenne sur l’IA interdit totalement les systèmes d’IA qui exploitent des vulnérabilités, telles que « l’âge, le handicap ou une situation sociale ou économique spécifique d’une personne, dans le but ou avec pour effet de fausser de manière significative son comportement d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice grave à cette personne ou à une autre personne ». Cela signifie que ces systèmes ne peuvent être mis sur le marché, mis en service ou utilisés dans l’UE. 

La question de savoir si un système d’IA relève de cette catégorie dépend du système d’IA en question. Des précisions supplémentaires sur ce qui constitue ce type de système interdit figurent dans les lignes directrices de la Commission européenne relatives aux pratiques interdites en matière d’intelligence artificielle. Ces lignes directrices lient la Commission dans l’application de la loi, sauf si un écart par rapport à celles-ci est justifié. Les lignes directrices fournissent l’exemple suivant d’un système d’IA interdit au titre de l’article 5, paragraphe 1, point b) : « Un chatbot thérapeutique destiné à apporter un soutien en matière de santé mentale et à proposer des stratégies d’adaptation aux personnes souffrant de troubles mentaux peut exploiter leurs capacités intellectuelles limitées pour les inciter à acheter des produits médicaux onéreux ou les pousser à adopter des comportements préjudiciables pour elles-mêmes ou pour autrui ». De la même manière, si un chatbot thérapeutique exploite la vulnérabilité des jeunes pour les inciter à adopter des comportements préjudiciables à eux-mêmes ou à autrui, on peut s’attendre à ce qu’il relève de la catégorie des systèmes d’IA interdits en vertu de l’article 5, paragraphe 1, point b), de la loi sur l’IA. 

Cela peut concerner aussi bien les systèmes d’IA étroite commercialisés à des fins thérapeutiques que les systèmes d’IA générale (GPAI) qui ne sont pas commercialisés dans un but particulier. Il convient notamment de noter que l’article 5, paragraphe 1, point b), ne fait pas référence à la « finalité prévue » ni à l’« usage prévu ». Il évoque plutôt « l’objectif ou l’effet » d’une distorsion significative du comportement d’une personne. Par conséquent, un système d’IA peut être interdit pour ce motif, même si cette utilisation ou ce comportement du système d’IA n’était pas prévu par son fournisseur. En conséquence, et comme le soulignent également les lignes directrices de la Commission, les fournisseurs « ont la responsabilité de ne pas mettre sur le marché ni de mettre en service des systèmes d’IA, y compris des systèmes d’IA à usage général, qui sont raisonnablement susceptibles de se comporter ou d’être directement utilisés d’une manière interdite par l’article 5 de la loi sur l’IA ».

Obligations relatives aux systèmes d'IA à haut risque

Si un système d’IA utilisé à des fins thérapeutiques ou de soutien émotionnel n’entre pas dans la catégorie des systèmes interdits, il convient de déterminer s’il constitue un système d’IA à haut risque et s’il est donc soumis aux obligations qui s’y appliquent. Il s’agit là également d’une question qui dépend fortement du contexte concret et qui repose sur le fait de savoir si le système d’IA est considéré comme un dispositif médical au sens du règlement sur les dispositifs médicaux (MDR) et s’il est tenu de faire l’objet d’une évaluation de conformité par un tiers conformément à l’article 6, paragraphe 1, et à l’annexe I de la loi sur l’IA. La classification d’un système d’IA en tant que dispositif médical au sens du MDR dépend alors de la question de savoir si son utilisation prévue peut être considérée comme couvrant une finalité médicale spécifique. Cela est déterminé par un certain nombre de critères, notamment les instructions d’utilisation fournies par le fabricant du système d’IA en question, ou tout matériel promotionnel et toute déclaration, entre autres. 

Cela s'applique naturellement aux systèmes d'IA étroite destinés exclusivement au « diagnostic, à la prévention, à la surveillance, à la prédiction, au pronostic, au traitement ou au soulagement des maladies ». Cela inclut les maladies mentales, par exemple lorsque le système d’IA est « destiné à évaluer, surveiller et prendre en charge la dépression », comme l’indique le guide du groupe de coordination sur les dispositifs médicaux. Lorsqu’il est simplement destiné à des « fins liées au mode de vie et au bien-être », il ne constitue pas un dispositif médical, conformément au considérant 19 du RDM. Toutefois, étant donné que les dispositifs médicaux, et en particulier ceux destinés à la prise en charge de la dépression, peuvent être utilisés par des non-professionnels (par opposition aux professionnels de santé) et peuvent inclure des questionnaires de suivi de l’humeur, des exercices et des vidéos, il peut s’avérer difficile de tracer la ligne de démarcation entre un système d’IA qui évalue, surveille et gère un trouble de santé mentale et un système d’IA utilisé à des « fins de bien-être ». 

Par ailleurs, même si la classification en tant que dispositif médical peut s’avérer moins évidente pour les systèmes GPAI, le RDM n’exclut pas nécessairement cette possibilité. Il est essentiel de noter que les critères permettant de déterminer une finalité médicale spécifique sont larges et ne se limitent pas au mode d’emploi. De plus, bien qu’une finalité médicale spécifique soit nécessaire (un logiciel à usage général, même utilisé dans un contexte de soins de santé, n’est pas concerné), cette finalité ne doit pas nécessairement être exclusive : le RDM inclut dans son champ d’application les dispositifs ayant à la fois une finalité médicale et une finalité non médicale. 

Lorsqu'il est établi qu'un système d'IA constitue un dispositif médical au sens du RDM et qu'il doit faire l'objet d'une évaluation de la conformité par un tiers, il est soumis aux obligations applicables aux systèmes d'IA à haut risque. Celles-ci comprennent notamment la mise en place d’un système de gestion des risques, le respect des pratiques de gouvernance des données, l’élaboration de la documentation techniquedu système d’IA, la mise en place d’un enregistrement automatique des événements (journaux), la garantie de la transparence, la mise en place d’un contrôle humain, l’atteinte d’un niveau approprié de précision, de robustesse et de cybersécurité du système d’IA, ainsi que la garantie de la conformité à la procédure d’évaluation de la conformité applicable, entre autres.

Obligations de transparence

Même lorsqu’un système d’IA ne constitue pas un système à haut risque, il est néanmoins soumis aux obligations de transparence prévues par la loi sur l’IA. En vertu de ces dispositions, les fournisseurs de systèmes d’IA destinés à interagir directement avec des personnes physiques doivent s’assurer que leurs utilisateurs sont conscients qu’ils interagissent avec un système d’IA, à moins que ce fait ne soit évident pour une personne « raisonnablement bien informée, attentive et prudente, compte tenu des circonstances et du contexte d’utilisation ». Les caractéristiques des groupes vulnérables en raison de leur âge ou d’un handicap doivent également être prises en compte si le système d’IA est destiné à interagir avec eux.

Cette obligation s’applique tant aux systèmes d’IA à usage spécifique qu’aux systèmes d’IA à usage général, comme l’indiquent également les lignes directrices de la Commission relatives à la mise en œuvre des obligations de transparence pour certains systèmes d’IA en vertu de l’article 50 de la loi sur l’IA. Par conséquent, les systèmes d’IA à usage général utilisés à des fins thérapeutiques ou de soutien émotionnel doivent se conformer à ces obligations en indiquant clairement aux utilisateurs qu’ils interagissent avec un système d’IA. Étant donné qu’il est raisonnablement prévisible que ces systèmes puissent interagir avec des groupes vulnérables, notamment des enfants ou des personnes âgées, il ne faut pas partir du principe qu’il est toujours évident pour les utilisateurs qu’ils interagissent avec un système d’IA.

Un exemple donné dans les lignes directrices pour sensibiliser un utilisateur au fait qu’il interagit avec un système d’IA consiste, pour un chatbot, à préciser qu’il s’agit d’un système d’IA au début de chaque conversation. Cependant, les lignes directrices soulignent également que cela peut ne pas toujours suffire dans le cadre d’interactions prolongées, en particulier lorsque les utilisateurs sont en situation de détresse émotionnelle ou risquent de s’attacher émotionnellement au système d’IA, comme c’est souvent le cas avec les systèmes d’IA utilisés à des fins thérapeutiques et de soutien émotionnel. Dans ces cas-là, il peut s’avérer nécessaire de rappeler régulièrement la nature du système d’IA.

Obligations au niveau du modèle

Les modèles d’IA générale (GPAI) qui sous-tendent bon nombre des systèmes d’IA utilisés à des fins thérapeutiques ou de soutien émotionnel doivent également se conformer aux obligations qui leur incombent en vertu de la loi sur l’IA. Il est important de noter que les fournisseurs de modèles GPAI présentant un risque systémique doivent identifier, évaluer et atténuer ces risques , qui peuvent inclure des risques pour la santé mentale publique, pour les droits fondamentaux et pour la société dans son ensemble, conformément au code de bonnes pratiques qui accompagne la loi. Parmi les capacités des modèles prises en compte (mais qui ne sont pas strictement nécessaires) dans l’identification des risques systémiques figurent « les capacités à manipuler, persuader ou tromper ».

Par ailleurs, les fournisseurs de modèles GPAI présentant un risque systémique sont également tenus de signaler les incidents graves. Il s'agit notamment des cas où l'utilisation du modèle a entraîné, directement ou indirectement, « un préjudice grave pour la santé d'une personne (mentale et/ou physique) » ou lorsqu'un tel lien de causalité est soupçonné avec une probabilité raisonnable, conformément au Code de bonnes pratiques.

Par conséquent, les risques liés à l’utilisation de systèmes d’IA à des fins thérapeutiques ou de soutien émotionnel pourraient déjà devoir être pris en compte et atténués lors du développement du modèle d’IA générale sous-jacent. De même, lorsque l’utilisation d’un système d’IA à des fins thérapeutiques ou de soutien émotionnel entraîne un préjudice grave pour la santé d’une personne, et que ce préjudice peut être attribué au modèle lui-même, par opposition au système d’IA qui l’intègre, le fournisseur du modèle doit signaler ces incidents au Bureau de l’IA, et éventuellement aussi aux autorités nationales. Le fournisseur doit également rendre compte des mesures correctives qu’il a prises pour remédier à ces risques.

Dates limites de mise en conformité

Alors que l’interdiction de certaines pratiques en matière d’IA prévue à l’article 5 est applicable depuis le 2 février 2025, que les obligations types prévues par la GPAI sont entrées en vigueur le 2 août 2025 et que l’obligation de transparence prévue à l’article 50, paragraphe 1, est applicable depuis le 2 août 2026, certaines autres obligations découlant de la loi sur l’IA ne sont pas encore entrées en vigueur. Les obligations relatives aux systèmes d’IA à haut risque classés comme tels en vertu de l’article 6, paragraphe 1, et de l’annexe I de la loi sur l’IA entreront en vigueur le 2 août 2028.

Il est important de noter que le 2 août 2026 a également marqué le jour où la Commission européenne a pu commencer à exercer ses pouvoirs de surveillance et de contrôle à l’égard des fournisseurs de modèles d’IA générale (GPAI), qui avaient disposé d’un an pour se conformer à leurs obligations. Comme indiqué précédemment, ces mesures de contrôle pourraient également contribuer à atténuer les risques liés à l’utilisation de l’IA à des fins thérapeutiques et de soutien émotionnel.