Erwägungsgrund 58

Ein weiterer Bereich, in dem der Einsatz von KI-Systemen besondere Beachtung verdient, ist der Zugang zu und die Inanspruchnahme von bestimmten grundlegenden privaten und öffentlichen Dienstleistungen und Leistungen, die für eine uneingeschränkte Teilhabe an der Gesellschaft oder zur Verbesserung des Lebensstandards erforderlich sind. Insbesondere natürliche Personen, die wesentliche Leistungen und Dienste der öffentlichen Hand beantragen oder in Anspruch nehmen, nämlich Gesundheitsdienste, Leistungen der sozialen Sicherheit, Sozialdienste zum Schutz bei Mutterschaft, Krankheit, Arbeitsunfällen, Pflegebedürftigkeit oder im Alter und bei Verlust des Arbeitsplatzes sowie Sozial- und Wohnbeihilfen, sind typischerweise von diesen Leistungen und Diensten abhängig und befinden sich in einer schutzbedürftigen Position gegenüber den zuständigen Behörden. Werden KI-Systeme verwendet, um zu entscheiden, ob solche Leistungen und Dienste von den Behörden gewährt, verweigert, gekürzt, widerrufen oder zurückgefordert werden sollten, einschließlich der Frage, ob die Leistungsempfänger einen rechtmäßigen Anspruch auf diese Leistungen oder Dienste haben, können diese Systeme erhebliche Auswirkungen auf die Lebensgrundlage der Personen haben und ihre Grundrechte, wie das Recht auf sozialen Schutz, Nichtdiskriminierung, Menschenwürde oder einen wirksamen Rechtsbehelf, verletzen und sollten daher als hochriskant eingestuft werden. Dennoch sollte diese Verordnung die Entwicklung und den Einsatz innovativer Ansätze in der öffentlichen Verwaltung nicht behindern, die von einem breiteren Einsatz regelkonformer und sicherer KI-Systeme profitieren würde, sofern diese Systeme kein hohes Risiko für juristische und natürliche Personen mit sich bringen. Darüber hinaus sollten KI-Systeme, die zur Bewertung der Kreditwürdigkeit natürlicher Personen eingesetzt werden, als KI-Systeme mit hohem Risiko eingestuft werden, da sie den Zugang dieser Personen zu finanziellen Ressourcen oder grundlegenden Dienstleistungen wie Wohnraum, Strom und Telekommunikationsdiensten bestimmen. AI-Systeme, die für diese Zwecke eingesetzt werden, können zu Diskriminierungen zwischen Personen oder Gruppen führen und historische Diskriminierungsmuster, etwa aus Gründen der Rasse oder der ethnischen Herkunft, des Geschlechts, einer Behinderung, des Alters oder der sexuellen Ausrichtung, fortschreiben oder neue Formen diskriminierender Auswirkungen schaffen. KI-Systeme, die im Unionsrecht für die Aufdeckung von Betrug beim Angebot von Finanzdienstleistungen und für aufsichtsrechtliche Zwecke zur Berechnung der Eigenkapitalanforderungen von Kreditinstituten und Versicherungsunternehmen vorgesehen sind, sollten jedoch nicht als risikoreich im Sinne dieser Verordnung angesehen werden. Darüber hinaus können KI-Systeme, die für die Risikobewertung und Preisgestaltung in Bezug auf natürliche Personen für Kranken- und Lebensversicherungen eingesetzt werden sollen, ebenfalls erhebliche Auswirkungen auf die Lebensgrundlage von Personen haben und, wenn sie nicht ordnungsgemäß konzipiert, entwickelt und eingesetzt werden, deren Grundrechte verletzen und zu schwerwiegenden Folgen für das Leben und die Gesundheit der Menschen führen, einschließlich finanzieller Ausgrenzung und Diskriminierung. Schließlich sollten auch KI-Systeme, die zur Bewertung und Klassifizierung von Notrufen natürlicher Personen oder zur Entsendung oder Festlegung von Prioritäten bei der Entsendung von Ersthelfern, einschließlich Polizei, Feuerwehr und medizinischer Hilfe, sowie von Triage-Systemen für Notfallpatienten eingesetzt werden, als hochriskant eingestuft werden, da sie Entscheidungen in sehr kritischen Situationen für das Leben und die Gesundheit von Personen und deren Eigentum treffen.