Experiencias

11/09/2024

La tecnología que está revolucionando la economía y el trabajo a nivel mundial puede ocultar un fallo estructural: perpetuar el modelo de sociedad y el rol tradicional de la mujer. ¿Se puede arreglar?

Hace unas semanas, ODSLab celebraba su primer taller de detección de sesgos de género en la inteligencia artificial. Este espacio de colaboración público privada, creado para alcanzar los retos de la Agenda 2030, donde ICEX colabora dentro de su grupo motor, decidió que su primera actividad para impulsar el Objetivo 5 sobre igualdad de género fueran unas sesiones donde menores de 9 a 16 años aprendieran a detectar las desigualdades que reflejaban las ilustraciones elaboradas por modelos conocidos de IA como ChatGPT o Dall-e

En estos talleres los y las jóvenes detectaron “que estas herramientas reproducen estereotipos constantemente” afirma Encina Díaz, técnica de Innicia y monitora de los cursos. Así reflexionaron sobre “cómo estas nuevas tecnologías están heredando los mismos sesgos de género inconscientes extendidos en la sociedad y en las redes”, destaca.

Señales de alarma

La de ODSLab no ha sido la única iniciativa para llamar la atención sobre este problema. El año pasado, la compañía fintech californiana SoFi ponía en marcha una campaña de comunicación,“Face of Finance”, donde se proponía “reeducar a la IA” tomando y difundiendo imágenes de mujeres con éxito en los negocios para ampliar los perfiles digitales con los que cuentan modelos como Dall-e o Chat GPT.

Lo hacía tras realizar un ejercicio donde solicitaba imágenes de personas con éxito en la gestión de sus finanzas o de inversión de dinero a plataformas de inteligencia artificial. Los resultados ofrecidos por las herramientas mostraron en el 98% de las ocasiones una cara masculina. Solo en el 2% de los casos, la efigie que ofreció fue la de una mujer.

Durante la celebración del pasado 8M de 2024, Día Internacional de la Mujer, sorprendió la publicación de un informe de la UNESCO donde se hablaba de “las preocupantes tendencias en los Modelos de Lenguaje Grandes (LLM) al generar prejuicios de género, manifiestos de homofobia y estereotipos raciales”. El análisis se fijaba en los modelos de procesamiento de lenguaje natural que nutren las plataformas de inteligencia artificial generativa más conocidas en la actualidad, gratuitas y de código abierto, como Chat GPT o Llama-2 de Meta.

Parte del estudio consistió en pedir a estos modelos de inteligencia artificial que escribieran una historia sobre diferentes individuos. En sus relatos, las LLM tendieron a asignar trabajos más diversos y prestigiosos a los personajes masculinos, como ingeniero, profesor o médico, mientras que a las mujeres les reservaba papeles de “empleada doméstica”, “cocinera” o “prostituta”.

De la necesidad de regular una tecnología tan disruptiva como la inteligencia artificial, el Parlamento Europeo aprobó este mismo mes de junio, un nuevo reglamento, el RAI, primera legislación a nivel mundial publicada sobre esta materia.  La norma enfatiza en su artículo 10 la necesidad de adoptar medidas adecuadas para detectar, prevenir y reducir sesgos en los datos y en su gestión. Más adelante, en el artículo 14, resalta la importancia de la supervisión humana en la prevención de sesgos en los sistemas de IA considerados de alto riesgo como los sistemas autónomos.

Eso sí, el reglamento no incorpora ningún código de conducta que estos modelos deban seguir para evitar reproducir estereotipos, solo otorga a los poderes públicos la responsabilidad y el control de estas soluciones.

¿Dónde está el origen del problema?

“La inteligencia artificial como tal no tiene sesgo de género, sino que somos nosotros mismos los que vamos introduciendo orientaciones determinadas cuando vamos incorporando nuevos datos” explicaba Nerea Luis, directora de Data e IA de Sngular y divulgadora científica en una entrevista realizada para Mujer e Internacionalización . “Al final la inteligencia artificial aprende de nosotros”, declara.

En un sentido parecido se manifiesta Anna Cejudo, fundadora de la escuela de emprendimiento online Founderz y creadora de Zeve, una inteligencia artificial conversacional destinada a ser algo parecido a un profesor particular: “Si la IA aprende de esos datos que contienen prejuicios o distorsiones y los incorpora como válidos al modelo, cuando ejecute las acciones para las que está programada, el resultado reflejará información sesgada”, cree.

Y pone como ejemplo un caso real. La multinacional Amazon desarrolló en 2015 una herramienta de IA para filtrar y analizar currículums en el proceso de contratación de perfiles técnicos. Se descubrió que el sistema penalizaba aquellos currículums que contenían la palabra “mujer” o que hacían referencia a actividades femeninas, debido a que el algoritmo había sido entrenado con datos históricos que reflejaban una mayoría de hombres en este tipo de roles.

En opinión de Anna Cejudo, el problema de los sesgos va aún más allá, especialmente cuando existe un exceso de confianza (overreliance) en estos sistemas por parte de los usuarios. Esto ocurre cuando aceptamos cualquier resultado generado por la IA generativa, asumiendo que está bien, sin añadir ni una capa de reflexión o inteligencia humana. En el caso que narrábamos anteriormente un algoritmo de contratación con estas distorsiones en los datos entre sexos, explica, “si las personas de recursos humanos confían ciegamente en este modelo y no añaden ningún tipo de revisión, podrían pasar por alto candidatos mejor cualificados”, señala.

En el caso de una IA en el sector de la salud que tuviera sesgos de género, la falta de revisión de los resultados, entrenada con una información incompleta y no supervisada por el personal sanitario, “podría tener como consecuencia diagnósticos y tratamientos menos precisos o no adecuados para los pacientes, poniendo en riesgo su seguridad y bienestar”, destaca Cejudo.

“La falta de diversidad o representación en los datos procesados por la IA provoca que el modelo reproduzca los mismos estereotipos que encontramos en la sociedad”, expresa la CEO de Founderz. Y Nerea Luis también cree que es momento de abrir el debate: “es importante que se abran estas ampollas y que empecemos a poner el prisma de la diversidad en la creación de software”, cree la divulgadora.

Y es que no solo se trata de entrenar a la inteligencia artificial con datos de calidad, sino que los propios grupos desarrolladores sean heterogéneos, igualitarios. Cuando los equipos humanos son poco diversos, puede ocurrir que algunas perspectivas estén poco representadas, al mismo tiempo que los estereotipos de género puedan influir sutil o inconscientemente en el desarrollo de los modelos. Todo ello “incrementa el riesgo de que no se identifiquen posibles sesgos de la información en la toma de decisiones del desarrollo e implementación de la IA”, concluye Anna Cejudo.

La supervisión humana, la mejor solución

Nuestra experta ha elaborado un listado de medidas que se pueden tener en cuenta para prevenir y trabajar en unos modelos de inteligencia artificial no sesgada.

        ·         En el campo técnico, tanto en la fase de creación y desarrollo de la IA como en la implementación y mejora continua, se deberían realizar auditorías y recoger feedback de los usuarios para verificar que los datos de entrenamiento son diversos y representan equitativamente a todos los géneros. Así se podría identificar y corregir posibles sesgos, así como actualizar y reentrenar los modelos con nuevos datos libres de distorsiones.

        ·         En el área legal, es necesario que las normativas se vayan adaptando a los nuevos desarrollos y que se asegure el cumplimiento de la regulación contra los sesgos, tal y como ha realizado la Comisión Europea a principios de septiembre con la firma del Convenio Marco del Consejo de Euro sobre Inteligencia Artificial, el primer acuerdo internacional jurídicamente vinculante en esta materia, coincidente en muchos conceptos con la Ley de    Inteligencia artificial recién aprobada por la UE.

                  Los 27 países de la Unión se comprometen así a garantizar que los sistemas de IA sean compatibles con la democracia y el estado de derecho, y abren la puerta a posibles prohibiciones de determinados modelos si amenazan los derechos fundamentales, como puede ser la igualdad.

          ·       En el ámbito humano, se destacan dos acciones importantes:

                          o   Asegurar que los equipos de desarrollo de la IA son diversos, e implementar procesos que permitan identificar y mitigar posibles sesgos.

                          o   Formar en el uso de la IA de manera responsable, tanto para los desarrolladores de los modelos como para los usuarios.

Esta última medida es la más importante para Anna Cejudo: “aprender a usar la IA de manera legal, ética y consecuente asegura que no perpetuamos ni amplificamos los sesgos de cualquier tipo, especialmente los de género”.

De esta manera, el final de este relato nos conduce al inicio, a los talleres formativos para menores de ODSLab. La educación, desde las edades más tempranas y tanto para usuarios y desarrolladores, es la que ayuda a conocer herramientas que cada vez tendremos que utilizar más, como la IA, superando tabúes o terrores apocalípticos. La (buena) información es nuestro principal poder para cambiar las cosas y conseguir una sociedad más igualitaria.