Las autoridades francesas deben poner fin de inmediato al uso de un algoritmo discriminatorio de puntuación de riesgos utilizado por la Caja Nacional de Prestaciones Familiares (CNAF) de la agencia de Seguridad Social francesa para detectar sobrepagos y errores en relación con el abono de prestaciones, ha afirmado hoy Amnistía Internacional.
El 15 de octubre, Amnistía Internacional y otras 14 entidades asociadas de la coalición encabezada por La Quadrature du Net (LQDN) presentaron una demanda ante el Consejo de Estado, máximo tribunal administrativo de Francia, en la que piden que deje de utilizarse el sistema algorítmico de puntuación de riesgos que utiliza la CNAF.
“Desde el principio, el sistema de puntuación de riesgos que utiliza la CNAF trata como sospechas a las personas que sufren marginación: las personas con discapacidad, las familias monoparentales —en su mayoría integradas por mujeres— y las que viven en la pobreza. Este sistema actúa en oposición directa a las normas de derechos humanos y viola el derecho a la igualdad y a no sufrir discriminación y el derecho a la privacidad”, ha manifestado Agnès Callamard, secretaria general de Amnistía Internacional.
En 2023, La Quadrature du Net (LQDN) tuvo acceso a versiones del código fuente del algoritmo —un conjunto de instrucciones escritas por los programadores para crear un programa informático— que pusieron de manifiesto el carácter discriminatorio del sistema.
Desde 2010, la CNAF utiliza un algoritmo de puntuación de riesgos para identificar a las personas que puedan estar cometiendo fraude en las prestaciones al recibir sobrepagos. El algoritmo asigna una puntación de riesgo entre cero y uno a todas las personas que reciben prestaciones familiares y de vivienda. Cuanto más se acerca la puntuación a uno, más probabilidades hay de que sea señalada para investigación.
En Francia hay un total de 32 millones de personas que viven en núcleos familiares que reciben una prestación de la CNAF. Sus datos personales confidenciales y los de su familia se procesan periódicamente y se les asigna una puntuación de riesgo.
Los criterios que aumentan la puntuación de riesgo de una persona incluyen parámetros que discriminan a las familias vulnerables, como tener bajos ingresos, no tener empleo, vivir en un vecindario desfavorecido, gastar una proporción considerable de los ingresos en alquiler y trabajar teniendo una discapacidad. Los detalles de las personas a las que se señala por tener una puntuación de alto riesgo se recopilan en una lista que se somete a investigación adicional por parte de un investigador de fraudes.
“Aunque las autoridades anuncian la implantación de tecnologías algorítmicas en los sistemas de protección social como un medio de aumentar la eficiencia y detectar fraudes y errores, en la práctica estos sistemas dificultan la realidad de la vida de las personas. Funcionan como amplias herramientas de extracción de datos que estigmatizan a los grupos marginados e invaden la privacidad”, ha afirmado Agnès Callamard.
Amnistía Internacional no ha investigado casos concretos de personas señaladas por el sistema de la CNAF. Sin embargo, nuestras investigaciones en Países Bajos y Serbia indican que el uso de sistemas asistidos por la inteligencia artificial y de la automatización en el sector público permite la vigilancia masiva: la cantidad de datos que se recopilan es desproporcionada con respecto al supuesto objetivo del sistema. Además, datos en poder de Amnistía Internacional también revelaron cuántos de estos sistemas han sido muy ineficaces a la hora de hacer realmente lo que se supone que deben hacer, ya sea identificar fraudes o errores en el sistema de prestaciones.
Se ha afirmado asimismo que la magnitud de los errores o el fraude en las prestaciones se ha exagerado para justificar el desarrollo de estos sistemas tecnológicos, lo que con frecuencia da lugar a que se actúe de forma discriminatoria, racista o sexista contra grupos concretos, especialmente las personas migrantes y refugiadas.
Durante el último año, Francia se ha promovido activamente en el ámbito internacional como el próximo centro de las tecnologías de inteligencia artificial (IA), iniciativa que culminará en una cumbre prevista para febrero de 2025. Al mismo tiempo, Francia también ha legalizado tecnologías de vigilancia masiva y ha menoscabado la Ley de Inteligencia Artificial de la Unión Europea de forma sistemática.
“Francia hace uso de un sistema algorítmico de puntuación de riesgos para las prestaciones sociales que pone de relieve, mantiene y consagra los prejuicios y la discriminación de la burocracia. En cambio, Francia debe garantizar que cumple sus obligaciones en materia de derechos humanos, y en primer lugar la de no incurrir en discriminación. Las autoridades deben abordar los perjuicios actuales y existentes en relación con la inteligencia artificial en el marco del empeño del país por convertirse en un centro global de la inteligencia artificial”, ha declarado Agnès Callamard.
En virtud del Reglamento sobre la inteligencia artificial adoptado recientemente por la Unión Europea (Ley de Inteligencia Artificial), se considera que los sistemas de inteligencia artificial que utilizan las autoridades para determinar el acceso a servicios públicos y prestaciones esenciales entrañan un alto riesgo para los derechos, la salud y la seguridad de las personas. Por tanto, deben cumplir estrictas normas técnicas, de transparencia y gobernanza, entre ellas la obligación de quienes las introducen de llevar a cabo una evaluación de riesgos de derechos humanos y garantizar medidas de mitigación antes de su implantación.
Mientras tanto, se considera que ciertos sistemas, como los que se utilizan para la “puntuación social” (o puntuación ciudadana), entrañan un nivel inaceptable de riesgo y, por tanto, deben ser prohibidos.
Actualmente no está claro si el sistema utilizado por la CNAF puede considerarse un sistema de puntuación social debido a la falta de claridad de la Ley de Inteligencia Artificial en cuanto a qué constituye ese tipo de sistema.
“Es lamentable que los legisladores de la Unión Europea hayan sido imprecisos a la hora de definir de forma explícita qué se entiende por puntuación social. La Comisión Europea debe garantizar que sus próximas directrices proporcionen una interpretación clara y aplicable de la prohibición de la puntuación social, especialmente cuando se aplique a los sistemas discriminatorios de detección del fraude y de puntuación de riesgos”, ha afirmado Agnès Callamard.
Con independencia de su clasificación en virtud de la Ley de Inteligencia Artificial, todos los datos indican que el sistema que utiliza la CNAF es discriminatorio. Es fundamental que las autoridades dejen de emplearlo y analicen las prácticas sesgadas que son intrínsecamente nocivas, especialmente para las comunidades marginadas que solicitan prestaciones sociales.
Información complementaria
La Comisión Europea emitirá orientación sobre cómo interpretar las prohibiciones incluidas en la Ley de Inteligencia Artificial antes de su entrada en vigor el 2 de febrero de 2025, entre otras cosas sobre qué puede clasificarse como sistemas de puntuación social.
La Ley de Inteligencia Artificial entró en vigor en agosto de 2024. Amnistía Internacional, como parte de una coalición de organizaciones de la sociedad civil encabezada por la Red Europea de Derechos Digitales (EDRi), viene pidiendo una regulación de la UE sobre la inteligencia artificial que proteja y promueva los derechos humanos.
En marzo de 2024, un informe de Amnistía Internacional exponía cómo las tecnologías digitales —incluidas la inteligencia artificial, la automatización y la toma de decisiones basada en algoritmos— están exacerbando las desigualdades en los sistemas de protección social de todo el mundo.
En 1921, el informe de Amnistía Internacional Xenophobic Machines puso de manifiesto cómo se incluyó el uso de perfiles raciales en el diseño del sistema algorítmico utilizado por las autoridades fiscales de Países Bajos para señalar solicitudes de subvención para el cuidado infantil potencialmente fraudulentas.
