Amnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsAmnesty IconsCovid IconsCovid IconsCovid IconsCovid IconsCovid IconsCovid Icons
Actuamos por los derechos humanos
en todo el mundo

© Freepik

Blog

IA generativa y derechos humanos: los costes ocultos de ChatGPT, Gemini y Midjourney

Por Andrea Mogrovejo, activista del equipo de Tecnología y Derechos Humanos,

La inteligencia artificial generativa promete respuestas, imágenes y contenidos en segundos. Pero herramientas como ChatGPT, Gemini o Midjourney también plantean graves riesgos para los derechos humanos: pueden basarse en la extracción masiva de datos personales, reproducir discriminación y prejuicios, aumentar el consumo de agua y energía y limitar libertades fundamentales. Te explicamos por qué Amnistía Internacional pide un cambio de rumbo.

En mayo de 2026, Amnistía Internacional publicó el informe Unlawful by Design: Exposing the Human Rights Costs of Generative AI, en el que analiza cómo los modelos de IA generativa se alimentan de enormes volúmenes de datos extraídos de Internet y los riesgos que este modelo de desarrollo plantea para los derechos humanos. El informe examina sistemas autónomos de IA generativa, como chatbots y generadores de imágenes, vídeo, audio o texto, y reclama la prohibición de aquellos basados en la extracción ilegal de datos de la web.

Para entender qué está en juego, empezamos por explicar cómo funciona la IA generativa y de dónde obtiene sus datos. Después abordamos sus efectos sobre la privacidad, el medioambiente, la igualdad y la libertad de expresión, y las medidas que Amnistía Internacional reclama para proteger los derechos humanos.

Aplicaciones de inteligencia artificial Gemini, Copilot y ChatGPT en un teléfono móvil

ChatGPT, Gemini, Claude y otras herramientas de inteligencia artificial generativa forman parte del uso cotidiano de esta tecnología. © Samuel Boivin/NurPhoto/Shutterstock

1. ¿Qué es la IA generativa y cómo afecta a los derechos humanos?

La IA generativa es una tecnología capaz de crear contenido nuevo, como textos, imágenes, audio o vídeo, a partir de patrones aprendidos durante su entrenamiento con grandes cantidades de datos.

El problema no es solo que estos sistemas puedan cometer errores. Muchas de las decisiones que condicionan su diseño, los datos con los que se entrenan y la forma en que se despliegan pueden generar daños que vulneren los derechos humanos.

2. ¿Por qué Amnistía Internacional cuestiona ChatGPT, Gemini y Midjourney?

Amnistía Internacional cuestiona estas herramientas porque considera que son sistemas de IA generativa basados, por diseño, en una invasión masiva de la privacidad de millones de personas.

De acuerdo con el análisis de Amnistía Internacional, OpenAI, Google y Meta emplean prácticas de recopilación de datos a gran escala para desarrollar sus productos de IA generativa. A esta técnica se la conoce como extracción masiva de datos de la web o web scraping, y consiste en recopilar de forma automatizada enormes cantidades de información disponible en Internet. De ello resulta una cantidad inmensa de datos, incluidos datos personales, imágenes y actividad en redes sociales, que pueden utilizarse posteriormente para el entrenamiento de la IA generativa.

El problema radica en que no existen procesos claros para excluir los datos personales de este proceso de extracción masiva de datos ni de los conjuntos de datos de entrenamiento. Esto plantea importantes cuestiones: ¿la recopilación y el tratamiento de los datos se han llevado a cabo con consentimiento?, ¿responden a un interés legítimo?, ¿los datos son exactos y están adecuadamente protegidos?

Si bien algunos desarrolladores de herramientas de IA generativa, como Meta y Google, ofrecen mecanismos de exclusión voluntaria para las personas que no quieren que sus datos personales se utilicen para entrenar modelos de IA, estos mecanismos no son completos ni efectivos. No excluyen los datos que ya han sido extraídos de la web mediante herramientas propias o de terceros.

3. ¿De dónde salen los datos que utilizan estas herramientas?

La IA necesita datos para funcionar y, en su inmensa mayoría, estos datos provienen de:

  • Common Crawl: un repositorio abierto que recopila datos de miles de millones de páginas web desde hace más de 15 años.
  • LAION-5B: una base de datos de casi 6.000 millones de pares de imagen y texto, creada a partir de contenidos disponibles públicamente en Internet y utilizada para entrenar modelos de generación de imágenes como Stable Diffusion.
  • Las redes sociales: Meta, propietaria de Facebook e Instagram, utiliza contenido público compartido en sus plataformas para entrenar sus sistemas de IA.

Persona utiliza un ordenador portátil con un símbolo de inteligencia artificial en pantalla

Las herramientas de inteligencia artificial generativa permiten crear y procesar contenidos a partir de grandes cantidades de datos. © Freepik

4. ¿Cuál es el coste ambiental de la IA generativa?

La IA no vive en una “nube” abstracta: necesita una infraestructura física, real y costosa para existir. Los centros de datos son edificios que albergan conjuntos de ordenadores de alto rendimiento y que funcionan día y noche, consumiendo una cantidad ingente de electricidad y millones de litros de agua para evitar el sobrecalentamiento.

Google informó en 2024 de un aumento del 48% en las emisiones de gases de efecto invernadero de la compañía desde 2019. Microsoft también informó de un aumento del 29% de sus emisiones entre 2020 y 2024. Ambos incrementos se atribuyen al uso de centros de datos y a las emisiones asociadas a la cadena de suministro.

Pero no solo es elevado el coste medioambiental de estas infraestructuras: determinadas comunidades están sufriendo directamente las consecuencias de la construcción de estos centros. A menudo se construyen en lugares que ya sufren sequías o escasez de electricidad, como Chile o México, lo que puede agravar la presión sobre recursos esenciales para la población local.

También hay que tener en cuenta los materiales necesarios para fabricar los chips que estas máquinas necesitan para funcionar. Se requieren minerales como cobalto, silicio, litio o cobre, cuya extracción suele estar vinculada a actividades mineras que Amnistía Internacional ya ha investigado por los graves abusos de derechos humanos que pueden producirse en ellas.

5. ¿Cómo reproduce la IA racismo, sexismo y discriminación?

Como la IA aprende de lo que hay en Internet, si Internet tiene prejuicios, la IA también puede reproducirlos. Los productos de IA generativa se crean sintetizando lo que se denomina una “visión promedio”. Es decir, la IA aprende a partir de datos, sin excluir necesariamente los sesgos o prejuicios que estos puedan contener. Por eso, en sociedades donde prevalece un racismo sistémico, esa información “promedio” que utiliza la IA será, en gran medida, sesgada y racista, reflejando la visión promedio de esa sociedad.

Es interesante preguntarse: ¿cuál es el idioma más utilizado para entrenar a la IA generativa? El inglés. Por tanto, la IA no solo aprende lo que prevalece de media en una sociedad, sino que el predominio del inglés hace que los resultados que ofrece puedan reforzar la cultura occidental y angloparlante como dominante, discriminando a muchas otras lenguas y culturas y ampliando desigualdades ya existentes.

¿Qué ocurre si una persona asiática pide a la IA que mejore un selfie y lo haga más profesional? El resultado puede ser una foto en la que el color de su piel luce más claro.

¿A quiénes se asocian las palabras “casa”, “familia” y “niños”? Y si se modifican por “negocio”, “carrera”, “ejecutivo” o “salario”, ¿a quiénes se asocian estas últimas?

Desafortunadamente, usuarios o no de IA generativa, sabemos la respuesta a estas preguntas. Aun así, esta tecnología tan popular puede inferir y continuar reproduciendo estos estereotipos y prejuicios una y otra vez.

Los sesgos también pueden ser sutiles. Así lo pone de manifiesto un experimento llevado a cabo por la investigadora y artista Ameera Kawash, quien utilizó la herramienta de IA Midjourney para generar imágenes hiperrealistas de gatos con kufiyas en distintos lugares del este de Jerusalén ocupado. La herramienta no pudo situar a los gatos en determinados lugares, como la Cúpula de la Roca, en la Ciudad Vieja de Jerusalén. En ese caso, la herramienta generaba imágenes de gatos con kipás en lugar de kufiyas. Este ejemplo muestra cómo una herramienta de IA generativa puede reproducir datos sesgados e información preconcebida sobre el patrimonio cultural de Jerusalén, excluyendo al pueblo palestino.

En el ámbito de la identidad de género y la orientación sexual, la desinformación se utiliza como una estrategia dirigida contra las mujeres y las personas con identidades o expresiones de género disconformes con las normas tradicionales. A diferencia de otras formas de desinformación, la que se centra en el género no solo se basa en información falsa, sino también en narrativas sobre el género con objetivos políticos.

Sala del Consejo de Seguridad de Naciones Unidas durante una reunión

La inteligencia artificial plantea nuevos retos para los derechos humanos y exige normas que garanticen su uso responsable. © John Angelillo/UPI/Shutterstock

6. ¿Cómo puede afectar la IA generativa a los derechos de niños y niñas?

En el contexto de la infancia, existe una gran preocupación por el material de abuso sexual infantil generado por IA. Este puede incluir dibujos e imágenes que representan a niños y niñas que no existen, o a personas con apariencia infantil involucradas en conductas sexuales explícitas.

Las consecuencias para el derecho de niños y niñas a la dignidad y a la protección pueden ser gravísimas. La IA generativa puede facilitar la creación y difusión de este material, así como hacer más difícil identificar y proteger a posibles víctimas. UNICEF identifica la explotación y el abuso sexual, las imágenes sexualizadas creadas o manipuladas mediante IA y los riesgos para la seguridad, privacidad y dignidad de la infancia entre los impactos que requieren salvaguardas específicas.

7. Cuando la IA limita la libertad de expresión

Debido a su bajo coste, la moderación de contenido realizada por IA es mucho más económica que la humana. Sin embargo, el precio oculto que pagamos, es el riesgo a la censura de nuestra propia libertad de expresión.

Cuando se utilizan como herramientas de moderación de contenidos, las IA generativas no son perfectas; su capacidad para interpretar contextos es muy limitada, y por ello pueden llegar a eliminar, suprimir o censurar contenidos y expresiones no occidentales y en idiomas distintos del inglés, categorizándolos como ofensivos, violentos o problemáticos, sin una justificación adecuada. Y no solo el contenido es censurado, si no también millones de personas que, por el hecho de pertenecer a un grupo determinado, ven borrado todo su contenido.

Pero además de injusta, la censura también es política, y es por ello que la censura de contenido político que distorsiona o cuestiona el registro histórico sienta un precedente muy peligroso, pues amenaza el derecho a la búsqueda de información verídica. Así, modelos como el chino DeepSeek, están programados para no responder sobre temas sensibles como la matanza de Tiananmén ocurrida en 1989 en Pekín, entre otros.

Manifestantes sostienen carteles durante una protesta sobre tecnología y consumo energético

El desarrollo de la inteligencia artificial también genera preocupación por su impacto ambiental y el elevado consumo de energía de los centros de datos. © Krisztian Elek/SOPA Images/Shutterstock

8. ¿Puede la IA influir en nuestra forma de pensar?

El desarrollo de determinada tecnología digital, neurociencia y psicología cognitiva supone un riesgo que puede afectar a nuestro derecho a la libertad de pensamiento, de sentir y comportarnos, pues su habilidad para manipular intenciones y procesos de pensamiento es cada vez mayor.

En 2024, se publicó una investigación que puso de manifiesto que las herramientas de IA generativa ya estaban siendo usadas a día de hoy para modular, mercantilizar, y manipular planes e intenciones humanas, desde decisiones mundanas, como elegir un hotel; hasta decisiones relevantes, como elegir un candidato político.

Las sugerencias predictivas, tan populares, son parte del problema, ya que reflejan una realidad en la que se está poniendo en manos de los desarrolladores de estos modelos de lenguaje, la posibilidad de alterar nuestras intenciones. Y como consecuencia, llegamos al denominado “sesgo de automatización”; la tendencia que poco a poco va calando en las personas, de creer que la información generada por IA es más precisa que su propio juicio y conocimientos.

9. ¿Qué pide Amnistía Internacional?

Amnistía Internacional pide el establecimiento de normas claras y que las empresas desarrolladoras de IA generativa cumplan sus obligaciones, cuestión en la que, a fecha de hoy, han fallado de forma generalizada. Para ello, es necesario:

  • Llevar a cabo una adecuada evaluación de riesgos, tanto en materia de derechos humanos como ambiental.
  • Garantizar transparencia sobre la procedencia de los datos masivos de entrenamiento e incluir procesos que excluyan los datos personales tanto de la extracción masiva de datos de la web como de los conjuntos de datos de entrenamiento.
  • Tomar medidas para prevenir y mitigar los impactos adversos en los derechos humanos que puedan derivarse de sus sistemas.
  • Prohibir los sistemas autónomos de IA generativa basados en la extracción ilegal de datos de la web, que constituyen una injerencia masiva en la privacidad. Preguntas frecuentes sobre IA generativa y derechos humanos.

Inteligencia artificial representada con engranajes digitales sobre un teléfono móvil

La inteligencia artificial generativa requiere sistemas tecnológicos complejos para procesar grandes cantidades de datos y generar nuevos contenidos. © Freepik

Preguntas frecuentes

La inteligencia artificial plantea muchas otras cuestiones relacionadas con los derechos humanos, la privacidad y el impacto de estos sistemas. Respondemos a algunas de las preguntas más frecuentes.

  • ¿Quiénes son los “trabajadores invisibles” que hay detrás de la IA?

    Detrás de la sofisticación de la IA hay una cadena de suministro humana que incluye a las personas encargadas del etiquetado de datos. Estas personas, a menudo en países como Kenia, trabajan clasificando contenidos que pueden ser traumáticos para “enseñar” a la IA qué es aceptable y qué no.

    Su trabajo es fundamental para entrenar y ajustar los sistemas de IA. Sin embargo, puede realizarse en condiciones precarias y con una exposición insuficientemente protegida a contenidos violentos, discriminatorios o traumáticos. Por eso, cualquier análisis sobre los impactos de la IA debe tener en cuenta también los derechos laborales, la salud y la seguridad de quienes hacen posible estos sistemas.

  • ¿Puede un chatbot revelar por error mis datos privados o los de otras personas?

    Es un riesgo real. Investigaciones han demostrado que determinados modelos de lenguaje pueden memorizar y reproducir fragmentos de sus datos de entrenamiento, incluidos datos personales, textos protegidos o información disponible públicamente en Internet.

    En 2023, un equipo de investigadores mostró que era posible conseguir que ChatGPT reprodujera partes de sus datos de entrenamiento mediante instrucciones repetitivas, como pedirle que repitiera una palabra de forma indefinida. Esto demuestra que la información extraída de la web puede permanecer en los sistemas y, en determinadas circunstancias, filtrarse.

  • ¿Qué pasa si la IA empieza a aprender de contenido creado por otra IA?

    Esto se conoce como “colapso del modelo”. Puede ocurrir cuando los sistemas se entrenan de forma repetida con datos sintéticos, es decir, datos generados artificialmente por otra IA, en lugar de con información diversa y fiable procedente del mundo real.

    Cuando esto ocurre, los resultados pueden volverse progresivamente más distorsionados, menos diversos y de peor calidad. Los sistemas pueden perder información poco frecuente, pero importante, presente en los datos originales. La investigación ha descrito el colapso del modelo como un proceso en el que datos generados por modelos anteriores “contaminan” los conjuntos de entrenamiento de los modelos posteriores.

  • ¿Existen modelos de IA más respetuosos con los derechos humanos y el planeta?

    El tamaño de un modelo no determina, por sí solo, si es más respetuoso con los derechos humanos o si tiene un menor impacto ambiental. Los modelos lingüísticos pequeños o especializados, conocidos como SLM, pueden requerir menos capacidad de cálculo y recursos que algunos modelos lingüísticos de gran tamaño, o LLM.

    Sin embargo, esto no garantiza que se hayan entrenado con datos obtenidos de forma legítima ni que estén libres de sesgos, discriminación o riesgos para la privacidad. Para evaluar si un sistema de IA es más respetuoso con los derechos humanos y el planeta, es necesario analizar qué datos utiliza, cómo se han obtenido, qué recursos consume, para qué finalidad se emplea y qué mecanismos de supervisión y rendición de cuentas existen.

Contigo somos independientes

Amnistía Internacional lo forman personas que defienden una humanidad justa y libre alrededor del mundo. Personas como tú, que creen en nuestro trabajo. Por eso, si tú también defiendes los derechos humanos, te necesitamos para seguir siendo independientes. Puedes hacerlo desde aquí en menos de un minuto, con cuotas a partir de 4 € al mes.

Nos mantenemos firmes con nuestros principios: no aceptamos ni una sola subvención de ningún gobierno, ni donaciones de partidos políticos.

Haz posible nuestra independencia.