Récital 58

Un autre domaine dans lequel l'utilisation des systèmes d'IA mérite une attention particulière est celui de l'accès et de la jouissance de certains services et prestations privés et publics essentiels, nécessaires pour participer pleinement à la société ou pour améliorer son niveau de vie. En particulier, les personnes physiques qui demandent ou reçoivent des prestations et services essentiels d'assistance publique de la part des autorités publiques, à savoir les services de santé, les prestations de sécurité sociale, les services sociaux assurant une protection dans des cas tels que la maternité, la maladie, les accidents du travail, la dépendance ou la vieillesse et la perte d'emploi, ainsi que l'aide sociale et l'aide au logement, sont généralement dépendantes de ces prestations et services et se trouvent dans une position de vulnérabilité par rapport aux autorités responsables. Si des systèmes d'IA sont utilisés pour déterminer si ces prestations et services doivent être accordés, refusés, réduits, révoqués ou réclamés par les autorités, et notamment si les bénéficiaires ont légitimement droit à ces prestations ou services, ces systèmes peuvent avoir un impact significatif sur les moyens de subsistance des personnes et porter atteinte à leurs droits fondamentaux, tels que le droit à la protection sociale, à la non-discrimination, à la dignité humaine ou à un recours effectif, et doivent donc être classés dans la catégorie des systèmes à haut risque. Néanmoins, le présent règlement ne devrait pas entraver le développement et l'utilisation d'approches innovantes dans l'administration publique, qui aurait tout à gagner d'une utilisation plus large de systèmes d'IA conformes et sûrs, à condition que ces systèmes n'entraînent pas un risque élevé pour les personnes physiques et morales. En outre, les systèmes d'IA utilisés pour évaluer la cote de crédit ou la solvabilité des personnes physiques devraient être classés parmi les systèmes d'IA à haut risque, car ils déterminent l'accès de ces personnes à des ressources financières ou à des services essentiels tels que le logement, l'électricité et les services de télécommunication. Les systèmes d'IA utilisés à ces fins peuvent conduire à des discriminations entre personnes ou groupes et perpétuer des schémas historiques de discrimination, tels que ceux fondés sur la race ou l'origine ethnique, le sexe, les handicaps, l'âge ou l'orientation sexuelle, ou créer de nouvelles formes d'impacts discriminatoires. Toutefois, les systèmes d'IA prévus par le droit de l'Union aux fins de la détection de la fraude dans l'offre de services financiers et à des fins prudentielles pour calculer les exigences de fonds propres des établissements de crédit et des entreprises d'assurance ne devraient pas être considérés comme présentant un risque élevé au titre du présent règlement. En outre, les systèmes d'IA destinés à être utilisés pour l'évaluation des risques et la tarification en relation avec des personnes physiques pour l'assurance maladie et l'assurance vie peuvent également avoir un impact significatif sur les moyens de subsistance des personnes et, s'ils ne sont pas dûment conçus, développés et utilisés, peuvent porter atteinte à leurs droits fondamentaux et entraîner de graves conséquences pour leur vie et leur santé, y compris l'exclusion financière et la discrimination. Enfin, les systèmes d'IA utilisés pour évaluer et classer les appels d'urgence émanant de personnes physiques ou pour envoyer ou établir la priorité dans l'envoi des services de première intervention d'urgence, notamment par la police, les pompiers et l'aide médicale, ainsi que les systèmes de triage des patients dans les services de santé d'urgence, devraient également être classés comme étant à haut risque puisqu'ils prennent des décisions dans des situations très critiques pour la vie et la santé des personnes et de leurs biens.