Recital 58

Otro ámbito en el que el uso de sistemas de IA merece una consideración especial es el acceso y disfrute de determinados servicios y prestaciones públicas y privadas esenciales necesarios para que las personas participen plenamente en la sociedad o mejoren su nivel de vida. En particular, las personas físicas que solicitan o reciben prestaciones y servicios esenciales de asistencia pública de las autoridades públicas, a saber, servicios de asistencia sanitaria, prestaciones de la seguridad social, servicios sociales que proporcionan protección en casos tales como maternidad, enfermedad, accidentes laborales, dependencia o vejez y pérdida del empleo y ayudas sociales y para la vivienda, suelen depender de dichas prestaciones y servicios y se encuentran en una posición vulnerable en relación con las autoridades responsables. Si se utilizan sistemas de IA para determinar si las autoridades deben conceder, denegar, reducir, revocar o reclamar dichas prestaciones y servicios, incluso si los beneficiarios tienen derecho legítimo a tales prestaciones o servicios, dichos sistemas pueden tener un impacto significativo en los medios de subsistencia de las personas y vulnerar sus derechos fundamentales, como el derecho a la protección social, a la no discriminación, a la dignidad humana o a un recurso efectivo, por lo que deben clasificarse como de alto riesgo. No obstante, el presente Reglamento no debe obstaculizar el desarrollo y la utilización de enfoques innovadores en la administración pública, que podría beneficiarse de un uso más amplio de sistemas de IA conformes y seguros, siempre que dichos sistemas no entrañen un riesgo elevado para las personas físicas y jurídicas. Además, los sistemas de IA utilizados para evaluar la puntuación crediticia o la solvencia de las personas físicas deben clasificarse como sistemas de IA de alto riesgo, ya que determinan el acceso de esas personas a recursos financieros o a servicios esenciales como la vivienda, la electricidad y los servicios de telecomunicaciones. Los sistemas de IA utilizados para esos fines pueden dar lugar a discriminación entre personas o grupos y perpetuar pautas históricas de discriminación, como la basada en el origen racial o étnico, el sexo, la discapacidad, la edad o la orientación sexual, o crear nuevas formas de impacto discriminatorio. No obstante, los sistemas de IA previstos por el Derecho de la Unión con fines de detección del fraude en la oferta de servicios financieros y con fines prudenciales para calcular los requisitos de capital de las entidades de crédito y las empresas de seguros no deben considerarse de alto riesgo con arreglo al presente Reglamento. Por otra parte, los sistemas de IA destinados a ser utilizados para la evaluación de riesgos y la fijación de precios en relación con las personas físicas para los seguros de salud y de vida también pueden tener un impacto significativo en los medios de vida de las personas y, si no se diseñan, desarrollan y utilizan debidamente, pueden vulnerar sus derechos fundamentales y acarrear graves consecuencias para la vida y la salud de las personas, incluida la exclusión financiera y la discriminación. Por último, los sistemas de IA utilizados para evaluar y clasificar las llamadas de emergencia de personas físicas o para despachar o establecer la prioridad en el despacho de los servicios de primera respuesta de emergencia, incluidos los de policía, bomberos y ayuda médica, así como de los sistemas de triaje de pacientes de asistencia sanitaria de emergencia, también deben clasificarse como de alto riesgo, ya que toman decisiones en situaciones muy críticas para la vida y la salud de las personas y sus bienes.