Diese Seite soll einen Überblick über KI-Systeme und insbesondere über Systeme der allgemeinen KI (GPAI) geben, die im Sinne des KI-Gesetzes zu Therapiezwecken oder zur emotionalen Unterstützung eingesetzt werden. Sie beleuchtet die Pflichten der Anbieter dieser KI-Systeme sowohl auf System- als auch auf Modellebene.
Zusammenfassung
- KI, die zu Therapiezwecken oder zur emotionalen Unterstützung eingesetzt wird, kann zwar praktisch und leicht zugänglich sein, aber auch Schaden anrichten – insbesondere, wenn sie nicht für diesen Zweck entwickelt oder zugelassen wurde. Diese Risiken sind besonders besorgniserregend für schutzbedürftige Nutzer, darunter Kinder, ältere Menschen und Menschen, die unter emotionalen Belastungen leiden.
- KI-Systeme, darunter auch Allzweck-KI-Systeme wie Claude oder ChatGPT sowie die ihnen zugrunde liegenden Allzweck-KI-Modelle, müssen ihren Verpflichtungen gemäß dem KI-Gesetz nachkommen.
- Je nach dem jeweiligen KI-System, das für therapeutische Zwecke oder zur emotionalen Unterstützung eingesetzt wird, kann es in der EU vollständig verboten sein, als risikoreiches System eingestuft werden und/oder Transparenzpflichten unterliegen, wenn es direkt mit dem Nutzer interagiert.
- Die Anbieter bestimmter Allzweck-KI-Modelle müssen systemische Risiken identifizieren, bewerten und mindern; dazu können Risiken für die psychische Gesundheit der Bevölkerung, für die Grundrechte und für die Gesellschaft insgesamt gehören. Außerdem müssen sie schwerwiegende Vorfälle melden, wie beispielsweise schwerwiegende Beeinträchtigungen der psychischen oder körperlichen Gesundheit einer Person.
- Da viele der Verpflichtungen bereits gelten und die Europäische Kommission ab dem 2. August 2026 ihre Durchsetzungsbefugnisse ausüben kann, bleibt abzuwarten, wie wirksam die Risiken gemindert werden können, die sich aus dem Einsatz von KI zu Therapie- und emotionalen Unterstützungszwecken ergeben.
In diesem Beitrag geht es weiter:
- Einführung
- Systemverpflichtungen vs. Modellverpflichtungen
- Verpflichtungen auf Systemebene
- Verpflichtungen auf Modellebene
- Fristen für die Einhaltung der Vorschriften
Einführung
Der Einsatz von KI-Systemen, insbesondere von Systemen der allgemeinen künstlichen Intelligenz (GPAI) wie ChatGPT, Gemini oder Claude, zu Therapiezwecken oder zur emotionalen Unterstützung ist ein zunehmendes Phänomen. Diese KI-Systeme sind kostenlos, jederzeit verfügbar und bequem zu nutzen. Dies gilt insbesondere für junge oder anderweitig schutzbedürftige Menschen, denen der Zugang zu Therapie oder emotionaler Unterstützung auf anderem Wege – sei es durch zugelassene Fachkräfte oder persönliche Beziehungen – möglicherweise schwerfällt.
Es gibt jedoch auch zahlreiche Berichte darüber, dass KI-Systeme Menschen, die psychologische Unterstützung suchen, oder deren Umfeld echten Schaden zufügen. „Sycophancy“ – die Tendenz von KI-Systemen, zuvorkommend zu sein und die Gedanken und Standpunkte eines Nutzers zu bestätigen – kann schädliches Verhalten verstärken oder dazu führen, dass das System nicht sicher reagiert. Dieses Problem ist bei GPAI-Systemen noch ausgeprägter, da diese per Definition nicht als Ersatz für eine Fachkraft im Bereich der psychischen Gesundheit konzipiert oder zugelassen wurden.
Daher ist es wichtig zu klären, welche Verpflichtungen die Anbieter dieser KI-Systeme oder der zugrunde liegenden GPAI-Modelle gemäß dem EU-KI-Gesetz erfüllen müssen.
Kostenlos, unabhängig und hier, um zu bleiben.
Unser Ziel ist es, den nützlichsten, maßgeblichsten und umfassendsten Leitfaden zum AI Act im gesamten Internet zu erstellen. Wir werden diesen Leitfaden niemals hinter einer Paywall verstecken oder dazu nutzen, Ihnen eine Dienstleistung zu verkaufen. Wir tun dies, weil wir der Meinung sind, dass eine gute KI-Governance wichtig ist, und das bedeutet, dass maßgebliche Leitlinien wirklich für alle zugänglich sein müssen.
Wenn Sie uns unterstützen möchten, denken Sie bitte darüber nach, einen Gastbeitrag zu verfassen, um anderen zu helfen, das Gesetz zu verstehen und sich darin zurechtzufinden, oder senden Sie mir (Taylor, Design & Web Manager) Ihre Ideen und Ihr Feedback zur Website an: websites@futureoflife.org. Um auf dem Laufenden zu bleiben, abonnieren Sie unseren zweiwöchentlichen AI Act-Newsletter, die weltweit vertrauenswürdigste regelmäßige Publikation zum AI Act mit über 50.000 Abonnenten. Seit 2022 haben wir über 100 Updates veröffentlicht.
Diese Website wird vom Future of Life Institute erstellt und gepflegt – der weltweit ältesten und größten gemeinnützigen Organisation, die sich für eine verantwortungsvolle Entwicklung der KI einsetzt.
Systemverpflichtungen vs. Modellverpflichtungen
Zunächst ist es wichtig, den Unterschied zwischen den Verpflichtungen von KI-Systemen und KI-Modellen im Rahmen des KI-Gesetzes zu klären. Das KI-Gesetz regelt beide Ebenen, nämlich allgemeine KI-Modelle (GPAI) wie GPT-4 oder Claude 4 sowie bestimmte KI-Systeme, bei denen es sich um spezifische Anwendungen handelt, die auf KI-Modellen aufbauen (wie beispielsweise ein Chatbot für Therapiezwecke oder zur emotionalen Unterstützung). KI-Systeme können auch universell einsetzbar sein, wie beispielsweise ChatGPT oder Claude, im Gegensatz zu KI-Systemen, die für spezielle Anwendungen genutzt werden.
Wenn ein Anbieter ein KI-System, das sein eigenes GPAI-Modell integriert, in der EU in Betrieb nimmt oder in Verkehr bringt, gilt dieses Modell gemäß Erwägungsgrund 97 des KI-Gesetzes ebenfalls als in der EU in Verkehr gebracht. Ist der Anbieter des Modells nicht derselbe wie der des KI-Systems, so wurde dieses Modell per Definition bereits zuvor in der EU in Verkehr gebracht. Daher unterliegt in den meisten Fällen, in denen ein KI-System den Verpflichtungen des KI-Gesetzes unterliegt, auch das zugrunde liegende Modell eigenen, gesonderten Verpflichtungen.
Verpflichtungen auf Systemebene
Verbotene KI-Systeme
Ausgehend von der wichtigsten „Verpflichtung“ gemäß Artikel 5 Absatz 1 Buchstabe b des KI-Gesetzes verbietet das EU-KI-Gesetz vollständig KI-Systeme, die Schwachstellen wie das „Alter, eine Behinderung oder eine bestimmte soziale oder wirtschaftliche Situation einer Person ausnutzen, mit dem Ziel oder der Wirkung, deren Verhalten in einer Weise wesentlich zu verzerren, die dieser Person oder einer anderen Person erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird“. Das bedeutet, dass diese Systeme in der EU weder in Verkehr gebracht, noch in Betrieb genommen oder genutzt werden dürfen.
Ob ein KI-System ein solches System darstellt, hängt vom jeweiligen KI-System ab. Weitere Leitlinien dazu, was unter diese verbotene Art von System fällt, sind in den Leitlinien der Europäischen Kommission zu verbotenen Praktiken im Bereich der künstlichen Intelligenz enthalten. Diese Leitlinien sind für die Kommission bei der Anwendung des Rechts verbindlich, es sei denn, eine Abweichung davon ist gerechtfertigt. Die Leitlinien enthalten das folgende Beispiel für ein gemäß Artikel 5 Absatz 1 Buchstabe b verbotenes KI-System: „Ein therapeutischer Chatbot, der darauf abzielt, Menschen mit psychischen Behinderungen Unterstützung im Bereich der psychischen Gesundheit und Bewältigungsstrategien anzubieten, kann deren begrenzte geistige Fähigkeiten ausnutzen, um sie zum Kauf teurer medizinischer Produkte zu bewegen oder sie zu Verhaltensweisen zu verleiten, die für sie selbst oder andere Personen schädlich sind.“ In ähnlicher Weise ist davon auszugehen, dass ein therapeutischer Chatbot, der die Verletzlichkeit junger Menschen ausnutzt, um sie zu Verhaltensweisen zu bewegen, die für sie selbst oder andere schädlich sind, unter die gemäß Artikel 5 Absatz 1 Buchstabe b des KI-Gesetzes verbotenen KI-Systeme fällt.
Dies kann sowohl Systeme mit enger KI betreffen, die als therapeutisch vermarktet werden, als auch GPAI-Systeme, die nicht für einen bestimmten Zweck vermarktet werden. Bemerkenswert ist, dass in Artikel 5 Absatz 1 Buchstabe b weder von „beabsichtigtem Zweck“ noch von „beabsichtigter Nutzung“ die Rede ist. Stattdessen wird auf „das Ziel oder die Wirkung“ einer wesentlichen Verzerrung des eigenen Verhaltens Bezug genommen. Daher kann ein KI-System aus diesem Grund verboten werden, selbst wenn diese Nutzung oder das Verhalten des KI-Systems vom Anbieter nicht beabsichtigt war. Folglich – und wie auch in den Leitlinien der Kommission hervorgehoben – tragen Anbieter „die Verantwortung, keine KI-Systeme, einschließlich Allzweck-KI-Systeme, in Verkehr zu bringen oder in Betrieb zu nehmen, bei denen eine hinreichende Wahrscheinlichkeit besteht, dass sie sich in einer nach Artikel 5 des KI-Gesetzes verbotenen Weise verhalten oder direkt genutzt werden“.
Verpflichtungen im Zusammenhang mit KI-Systemen mit hohem Risiko
Wenn ein KI-System, das zu Therapiezwecken oder zur emotionalen Unterstützung eingesetzt wird, nicht unter die Kategorie der verbotenen Systeme fällt, muss geprüft werden, ob es sich um ein KI-System mit hohem Risiko handelt und somit den für solche Systeme geltenden Verpflichtungen unterliegt. Auch dies ist eine stark vom Einzelfall abhängige Frage, die davon abhängt, ob das KI-System gemäß der Medizinprodukteverordnung (MDR) als Medizinprodukt gilt und gemäß Artikel 6 Absatz 1 sowie Anhang I des KI-Gesetzes einer Konformitätsbewertung durch eine unabhängige Stelle unterzogen werden muss. Die Einstufung eines KI-Systems als Medizinprodukt im Sinne der MDR hängt dann davon ab, ob sein Verwendungszweck als spezifischer medizinischer Zweck angesehen werden kann. Dies wird anhand einer Reihe von Kriterien bestimmt, darunter die vom Hersteller des jeweiligen KI-Systems herausgegebene Gebrauchsanweisung sowie etwaige Werbematerialien und Aussagen.
Dies gilt selbstverständlich für Systeme mit schmaler KI, die ausschließlich zur „Diagnose, Prävention, Überwachung, Vorhersage, Prognose, Behandlung oder Linderung von Krankheiten“ bestimmt sind. Dazu gehören psychische Erkrankungen, beispielsweise wenn das KI-System „zur Beurteilung, Überwachung und Behandlung von Depressionen bestimmt ist“, wie in den Leitlinien der Medical Device Coordination Group dargelegt. Ist es lediglich für „Lebensstil- und Wohlbefindenszwecke“ bestimmt, stellt es gemäß Erwägungsgrund 19 der MDR kein Medizinprodukt dar. Da Medizinprodukte – und insbesondere solche, die zur Behandlung von Depressionen bestimmt sind – jedoch auch von Laien (im Gegensatz zu medizinischem Fachpersonal) allein genutzt werden können und Fragebögen zur Stimmungserfassung, Übungen sowie Videos umfassen können, dürfte es schwierig sein, die Grenze zwischen einem KI-System, das eine psychische Erkrankung bewertet, überwacht und behandelt, und einem KI-System, das für „Zwecke des Wohlbefindens“ eingesetzt wird, zu ziehen.
Zudem ist die Einstufung als Medizinprodukt bei GPAI-Systemen zwar möglicherweise weniger eindeutig, doch schließt die MDR diese Möglichkeit nicht zwangsläufig aus. Entscheidend ist, dass die Kriterien für die Feststellung eines spezifischen medizinischen Zwecks weit gefasst sind und sich nicht auf die Gebrauchsanweisung beschränken. Zudem ist zwar ein spezifischer medizinischer Zweck erforderlich (eine Software für allgemeine Zwecke fällt nicht unter die Verordnung, selbst wenn sie im Gesundheitswesen eingesetzt wird), doch muss dieser Zweck nicht ausschließlich sein: Die MDR umfasst auch Produkte, die sowohl einen medizinischen als auch einen nichtmedizinischen Verwendungszweck haben.
Wird festgestellt, dass ein KI-System ein Medizinprodukt im Sinne der MDR darstellt und einer Konformitätsbewertung durch eine unabhängige Stelle bedarf, unterliegt es den Verpflichtungen für KI-Systeme mit hohem Risiko. Dazu gehören unter anderem die Einrichtung eines Risikomanagementsystems, die Einhaltung von Datenverwaltungspraktiken, die Erstellung der technischen Dokumentationdes KI-Systems, die Ermöglichung der automatischen Aufzeichnung von Ereignissen (Protokolle), die Gewährleistung von Transparenz, die Ermöglichung einer menschlichen Aufsicht, das Erreichen eines angemessenen Niveaus an Genauigkeit, Robustheit und Cybersicherheit des KI-Systems sowie die Gewährleistung der Einhaltung des entsprechenden Konformitätsbewertungsverfahrens.
Transparenzverpflichtungen
Selbst wenn ein KI-System kein System mit hohem Risiko darstellt, unterliegt es dennoch den Transparenzpflichten gemäß dem KI-Gesetz. Nach diesen Bestimmungen müssen Anbieter von KI-Systemen, die für die direkte Interaktion mit natürlichen Personen bestimmt sind, sicherstellen, dass ihre Nutzer sich bewusst sind, dass sie mit einem KI-System interagieren, es sei denn, diese Tatsache ist für eine Person, die „unter Berücksichtigung der Umstände und des Nutzungskontexts angemessen gut informiert, aufmerksam und umsichtig ist“, offensichtlich. Die Merkmale von aufgrund ihres Alters oder einer Behinderung schutzbedürftigen Gruppen müssen ebenfalls berücksichtigt werden, wenn das KI-System für die Interaktion mit diesen Gruppen vorgesehen ist.
Diese Verpflichtung gilt sowohl für spezialisierte als auch für allgemeine KI-Systeme, wie auch in den Leitlinien der Kommission zur Umsetzung der Transparenzverpflichtungen für bestimmte KI-Systeme gemäß Artikel 50 des KI-Gesetzes dargelegt. Folglich müssen allgemeine KI-Systeme, die zu Therapiezwecken oder zur emotionalen Unterstützung eingesetzt werden, diesen Verpflichtungen nachkommen, indem sie den Nutzern deutlich machen, dass sie mit einem KI-System interagieren. Da vernünftigerweise davon auszugehen ist, dass diese Systeme mit schutzbedürftigen Gruppen, darunter Kinder oder ältere Menschen, interagieren können, sollte nicht davon ausgegangen werden, dass es für die Nutzer immer offensichtlich ist, dass sie mit einem KI-System interagieren.
Ein in den Leitlinien genanntes Beispiel dafür, wie ein Nutzer darauf hingewiesen werden kann, dass er mit einem KI-System interagiert, ist, wenn ein Chatbot zu Beginn jedes Gesprächs erwähnt, dass es sich um ein KI-System handelt. Die Leitlinien betonen jedoch auch, dass dies im Rahmen fortlaufender Interaktionen möglicherweise nicht immer ausreicht, insbesondere wenn Nutzer unter emotionaler Belastung stehen oder Gefahr laufen, eine emotionale Bindung an das KI-System aufzubauen, wie es häufig bei KI-Systemen der Fall ist, die für Therapie und emotionale Unterstützung eingesetzt werden. In diesen Fällen kann es erforderlich sein, den Nutzer wiederholt auf die Natur des KI-Systems hinzuweisen.
Verpflichtungen auf Modellebene
Die GPAI-Modelle, die vielen der für Therapie oder emotionale Unterstützung eingesetzten KI-Systeme zugrunde liegen, müssen ebenfalls ihren Verpflichtungen gemäß dem KI-Gesetz nachkommen. Wichtig ist, dass Anbieter von GPAI-Modellen mit systemischen Risiken diese Risiken identifizieren, bewerten und mindern müssen ; dazu können gemäß dem begleitenden Verhaltenskodex Risiken für die psychische Gesundheit der Bevölkerung, für Grundrechte und für die Gesellschaft als Ganzes gehören. Zu den Modellfähigkeiten, die bei der Identifizierung systemischer Risiken berücksichtigt werden (aber nicht zwingend erforderlich sind), gehören „Fähigkeiten zur Manipulation, Überredung oder Täuschung“.
Darüber hinaus müssen Anbieter von GPAI-Modellen mit systemischem Risiko auch schwerwiegende Vorfälle melden. Dazu gehören Fälle, in denen der Einsatz des Modells direkt oder indirekt zu einer „schwerwiegenden Beeinträchtigung der Gesundheit einer Person (psychisch und/oder physisch)“ geführt hat oder wenn ein solcher Kausalzusammenhang gemäß dem Verhaltenskodex mit hinreichender Wahrscheinlichkeit vermutet wird.
Daher müssen die Risiken, die sich aus dem Einsatz von KI-Systemen zu Therapie- oder emotionalen Unterstützungszwecken ergeben, möglicherweise bereits bei der Entwicklung des zugrunde liegenden GPAI-Modells berücksichtigt und gemindert werden. Ebenso muss der Modellanbieter, wenn der Einsatz eines KI-Systems zu Therapie- oder emotionalen Unterstützungszwecken zu einer schwerwiegenden Gesundheitsschädigung einer Person führt und diese Schädigung dem Modell selbst – und nicht dem KI-System, in das es integriert ist – zugeschrieben werden kann, solche Vorfälle dem KI-Büro und möglicherweise auch den nationalen Behörden melden. Der Anbieter muss zudem über die Korrekturmaßnahmen berichten, die er zur Bewältigung dieser Risiken ergriffen hat.
Fristen für die Einhaltung der Vorschriften
Während das Verbot bestimmter KI-Praktiken gemäß Artikel 5 bereits seit dem 2. Februar 2025 gilt, traten die Musterverpflichtungen gemäß dem GPAI am 2. August 2025 in Kraft und die Transparenzpflicht gemäß Artikel 50 Absatz 1 am 2. August 2026; einige der übrigen Verpflichtungen aus dem KI-Gesetz sind jedoch noch nicht in Kraft getreten. Die Verpflichtungen für KI-Systeme mit hohem Risiko, die gemäß Artikel 6 Absatz 1 und Anhang I des KI-Gesetzes als solche eingestuft sind, treten am 2. August 2028 in Kraft.
Wichtig ist, dass der 2. August 2026 auch der Tag war, an dem die Europäische Kommission damit beginnen konnte, ihre Aufsichts- und Durchsetzungsbefugnisse gegenüber Anbietern von GPAI-Modellen auszuüben, denen ein Jahr Zeit gegeben worden war, ihren Verpflichtungen nachzukommen. Wie bereits erörtert, können solche Durchsetzungsmaßnahmen auch dazu beitragen, die Risiken zu mindern, die mit dem Einsatz von KI für Therapie und emotionale Unterstützung verbunden sind.