Cómo los algoritmos te discriminan por origen racial y por género

Imágenes en Twitter que ocultan la cara de Barack Obama, sistemas de predicción de delitos que sospechan más de la población negra, 26.000 familias –la mayoría de origen migrante– acusadas injustamente de fraude. Son tres ejemplos reales, con menor o mayor repercusión, de que los algoritmos y la inteligencia artificial (IA) tienen sesgos raciales, entre otros. 

El caso de Twitter fue aparentemente subsanado por la compañía –resulta que su algoritmo no estaba entrenado para reconocer caras negras–; el segundo caso fue destapado por ProPublica en Estados Unidos e investigado después por el MIT, que concluyó que “un algoritmo judicial justo es imposible”; el tercer caso llegó mucho más lejos: debido a este escándalo el Gobierno de Países Bajos dimitió en bloque en enero de 2021. 

Fue Eva González Pérez, una abogada de origen español, quien detectó en 2014 que algo raro pasaba en Holanda, al observar que varias familias dejaban de llevar a sus hijos a los centros infantiles que dirigía su marido. La abogada se puso a investigar; seis años después, un tribunal neerlandés declaraba ilegal el sistema SyRI, por el que el Gobierno de Países Bajos establecía qué ciudadanos eran más propensos a defraudar a Hacienda a la hora de concederles ayudas sociales, señalando por defecto a la población de origen migrante. El resultado ya se sabe: el Ejecutivo liderado por Mark Rutte cayó, sí, pero entretanto más de 20.000 familias fueron víctimas de una acusación injusta que les llevó a endeudarse por las elevadas multas, e incluso a perder su casa y su salud. 

Cuando se le pregunta a Youssef M. Ouled qué les llevó a él y a otros comunicadores a crear AlgoRace, contesta haciendo referencia a todo lo anterior. “Estamos inundados de algoritmos, están en todos los ámbitos de la vida. Y los hay positivos, pero la mayoría también reproducen sesgos racistas y de género”, apunta. Por algo el lema de la organización AlgoRace es “(Des)racializando la IA”. 

¿Quiere decir esto que la inteligencia artificial es racista? No en sí misma. Pero sí tiende a perpetuar sesgos racistas, por varios motivos. 

“Un algoritmo no es racista ni deja de serlo, sino que se limita a ser educado o entrenado con una serie de datos que provocan una reacción determinada”, explica Enrique Dans, investigador sobre Sistemas y Tecnologías de Información. “¿Cuál es el problema? Que las recolecciones de datos, las conexiones con las que los educamos, sí que pueden ser perfectamente racistas”, plantea Dans, autor de Viviendo en el futuro: Claves sobre cómo la tecnología está cambiando nuestro mundo. 

Quién los diseña y en qué contexto

Youssef M. Ouled coincide en que “los algoritmos, per se, no son racistas”, pero el periodista va más allá y habla del “contexto” en que se circunscriben. “Si miramos el campo en el que se desarrollan, analizan, diseñan y discuten los sistemas de inteligencia artificial, compuestos por algoritmos, nos encontramos con un mundo muy masculinizado y, por supuesto, blanco. En ese contexto, muchos de los entrenamientos que se dan a los algoritmos para que tengan una funcionalidad van con los sesgos implícitos que tiene la propia persona que los diseña, que los prueba, etcétera”, explica el periodista y coordinador del área antidiscriminación en Rights International Spain. 

Por eso hubo una época en la que Twitter no reconocía rostros de personas negras. “La tecnología del reconocimiento facial ha sido desarrollada y entrenada sobre rostros de personas blancas, sin tener en cuenta que hay personas que no son blancas, la mayoría, de hecho”, sostiene Ouled. El resultado puede ser ‘anecdótico’, como el experimento que desveló el racismo de Twitter, o puede llevar a que una persona inocente sea detenida al ser confundida con un delincuente con el que sólo compartía color de piel.

Ouled señala que “los algoritmos no dejan de ser una receta para llevar a cabo una función”; quien seleccione e introduzca los pasos de esa receta estará orientando finalmente al algoritmo, de modo que habrá sesgos en mayor o menor medida. Como afirmaba el investigador peruano Omar Flórez en una entrevista con la BBC: “El algoritmo mismo es una opinión”.

No obstante, garantizar la diversidad en las plantillas del sector tecnológico no sería suficiente para poner fin a los sesgos raciales o incluso de género, lo cual complica un poco más el panorama. Como explica Enrique Dans, son las propias series de datos que maneja el algoritmo las que inducen a un resultado sesgado. El investigador lo ilustra con un ejemplo de un banco estadounidense que trata de calcular los riesgos al conceder un crédito a alguien. 

“Históricamente, en Estados Unidos la población negra ha tenido más problemas para devolver sus préstamos, lo cual es comprensible teniendo en cuenta la discriminación histórica que han sufrido, que les ha llevado a tener peor poder adquisitivo, etcétera”, plantea Dans. Pues bien, aunque el banco en cuestión no guarde registro del origen étnico de sus clientes, “es posible que la estadística avanzada que usa el algoritmo llegue a la conclusión de que es mejor denegar los préstamos a personas con unos nombres determinados, o que viven en unos barrios determinados o con cualquier característica que pueda estar correlacionada con la variable racial”, apunta el investigador. “En este caso, se estaría permitiendo que una serie histórica de datos hiciese que el algoritmo heredara un comportamiento determinado que consolida estereotipos raciales”, concluye.

De nuevo, Youssef M. Ouled apela a la relevancia del “contexto de racismo estructural”, por ejemplo cuando se utiliza un algoritmo para predecir el crimen, ya sea con el sistema Compas en EEUU o con el de RisCanvi en Cataluña. “Si las personas más identificadas a nivel policial son racializadas, las personas más denunciadas son racializadas, las personas que más contacto tienen con la institución policial son racializadas y metes todo esto a un sistema de datos para que extraiga conclusiones por sí mismo, al final va a acabar reproduciendo el mismo racismo institucional que ya existe”, sostiene.  

Según un estudio de la Universidad de Granada, la Policía en España para a las personas de origen africano 42 veces más que a las personas caucásicas; a los gitanos los paran 12 veces más, a los magrebíes 10 veces más y a las personas latinoamericanas, 8 veces más que a alguien con rasgos caucásicos. Es decir, si el sistema en el que vivimos no es neutral, “la inteligencia artificial no es neutral”, zanja Ouled. 

Los algoritmos también discriminan a las mujeres

Algo similar puede producirse –y se produce– con el género. El ejemplo más claro está en Amazon. En 2018, Reuters sacó a la luz que la compañía estadounidense había tenido que desechar un método de selección de currículos porque discriminaba claramente a las mujeres.

“El mundo de la tecnología siempre ha sido predominantemente masculino”, constata Enrique Dans. De este modo, y sin necesidad de incluir ninguna variable relacionada con el género, se vio que el algoritmo de Amazon “tendía a no seleccionar candidatas para determinados puestos de trabajo”, ya que los registros históricos con los que se había entrenado al sistema eran básicamente candidaturas de hombres. 

“En España existe de facto una discriminación”

¿Y en España? Podría aplicarse todo (o casi todo) lo anterior, pero en cualquier caso sería muy difícil enumerar todos los sistemas de inteligencia artificial que manejan nuestras vidas y en qué discriminaciones incurren sus algoritmos. 

“En España hay muchos ámbitos en los que existe de facto una discriminación más o menos consolidada, pero no se puede saber exactamente qué programas operan”, reconoce Enrique Dans. “Cuando hablamos de redes neuronales, es muy, muy difícil que una persona siga mentalmente el procedimiento estadístico que está haciendo el algoritmo. Es un sistema que se ajusta muy bien, pero que es una caja negra: introduces los datos por un lado y, por el otro lado, te salen las predicciones, aunque en realidad no sabes cómo se consiguieron”, explica el investigador. 

Youssef M. Ouled coincide en buena parte con Dans. “Hoy en día se utilizan algoritmos para todo tipo de servicios en España, pero no podemos decir con seguridad qué usos se están haciendo porque no hay registros de algo tan básico como esto”, lamenta. “A nivel laboral, se utiliza para medir la efectividad, la productividad y la puntualidad de un trabajador, o la valoración social a un servicio que te da un trabajador –con las típicas encuestas que te ponen en un centro comercial o en un aeropuerto–, pero, también, se usa a la hora de conceder un crédito. El banco te somete a un sistema de puntos de IA, y decide si te da o no el préstamo sobre una serie de criterios”, ilustra el periodista. 

En el sector público, la inteligencia artificial se utiliza, por ejemplo, para determinar quién debe recibir o no determinada ayuda social. Ouled cuenta el caso de BOSCO, una aplicación diseñada por el Gobierno para la concesión del bono social eléctrico. Según la plataforma Civio, este sistema contiene fallos y deniega el bono social a personas que tendrían derecho a recibirlo. Sin embargo, la Justicia ha impedido la apertura del código fuente de la aplicación, de manera que no podrán conocerse los criterios con los que BOSCO se guía. 

“Digamos que es una ley convertida en un algoritmo”, describe Ouled. “Si conocemos el texto de la ley, ¿por qué no podemos conocer cómo está actuando a nivel de IA?”, plantea. “Hay una opacidad brutal y no hay voluntad política para revertirlo”, sostiene el periodista.  

Cómo evitar (en la medida de lo posible) los sesgos

Para Enrique Dans, la clave no estaría tanto en la transparencia como en la necesidad de que haya una revisión exhaustiva de los resultados a posteriori. Algo así como ‘vigilar’ de cerca al algoritmo para prevenir, reducir y corregir los sesgos. “Lo único que puedes hacer es un análisis muy cuidadoso y muy detallado de los resultados que te da para poder comprobar, a posteriori, si efectivamente hay sesgos y discriminación”, defiende el investigador. 

“Lo que hace el algoritmo es perpetuar, o incluso amplificar, el sesgo que había en los datos. Como el sesgo de los datos no es fácil de observar, tenemos que observarlo al otro lado, a la salida del algoritmo”, propone Dans. 

Dicho de otra manera: “Si se entrena a un algoritmo con unas series de datos sin establecer ningún tipo de prevención al respecto, lo que te da de manera natural es un algoritmo que estadísticamente tiende a sostener y a perpetuar la discriminación”, advierte Dans. Por ello “no se puede dejar todo a la estadística; tiene que haber supervisión”, afirma rotundo el investigador. 

Youssef M. Ouled recuerda que precisamente el Gobierno se comprometió a crear en 2022 una Agencia Española de Supervisión de Inteligencia Artificial para auditar algoritmos de redes sociales, administraciones públicas y empresas. El anuncio llegó en diciembre de 2021, pero “no hemos vuelto a saber nada”, resume Ouled.