El sistema tiene sesgos y la IA los aprende
Estudios de Stanford, el MIT y Naciones Unidas revelan cómo los diseños algorítmicos perpetúan sesgos machistas y racistas apoyándose en cadenas de trabajo semi-esclavo en el Sur Global.
Cada vez que una herramienta de inteligencia artificial redacta un texto, clasifica una imagen o evalúa una solicitud, sus respuestas no nacen de la nada, y no solo por las infraestructuras y las fuentes de energía que lo posibilitan. Los algoritmos aprenden a partir de volúmenes masivos de datos generados por seres humanos durante décadas. Cuando esos datos contienen prejuicios, discriminación o desigualdades históricas, los modelos terminan absorbiendo y reproduciendo esas mismas dinámicas. Aunque estas herramientas suelen presentarse como sistemas “fríos y neutrales”, la investigación científica demuestra que reflejan e incorporan los sesgos y discriminaciones presentes en el sistema que las ha creado, es decir, el capitalista.
La discriminación en la tecnología no siempre salta a la vista. En marzo de 2024, un equipo de la Universidad de Stanford, en California, publicó un trabajo que examinó cómo reaccionan los modelos de lenguaje ante distintas formas de hablar. Los investigadores descubrieron que los sistemas vinculaban el inglés vernáculo afroamericano con estereotipos negativos históricos con mayor frecuencia que cuando procesaban el inglés “estándar”. Mientras que las palabras o insultos racistas directos suelen ser bloqueados por filtros, esta preferencia lingüística discurre por debajo del radar. Además, en Stanford comprobaron que el mero hecho de construir modelos más grandes y alimentarlos con más datos no corregía el problema, lo que confirma que el tamaño técnico de un algoritmo no elimina las ideas preconcebidas de sus diseños y fuentes de entrenamiento.
Ese mismo patrón de desigualdad se repite en el terreno del reconocimiento biométrico. En 2018, las investigadoras Joy Buolamwini, del Instituto de Tecnología de Massachusetts (MIT) en Cambridge, y Timnit Gebru presentaron el proyecto Gender Shades, una evaluación minuciosa de clasificadores faciales comerciales. El estudio detectó diferencias drásticas en los márgenes de error según el género y el color de piel de las personas analizadas. Para los hombres de tez clara, la tasa de fallo de uno de los sistemas fue del 0%, mientras que para las mujeres de piel oscura el error superó el 33%. La causa principal estaba en los conjuntos de datos de entrenamiento, nutridos abrumadoramente por rostros masculinos blancos, lo que dejaba totalmente infrarepresentadas a otras poblaciones.
El impacto práctico de estas fallas llega directamente al mundo laboral. Un experimento difundido por la plataforma económica VoxDev puso a prueba cinco modelos de lenguaje frente a unos 361.000 currículums ficticios con cualificaciones equivalentes. Los resultados mostraron que las inclinaciones de los algoritmos no siguen una línea ideológica simple. Por un lado, las herramientas mostraron cierta preferencia por las candidatas mujeres, pero al mismo tiempo penalizaron a los postulantes hombres negros. Los autores del análisis señalaron que los resultados varían según la combinación concreta entre género y racialización, lo que evidencia que aplicar estas herramientas en la selección de personal genera sesgos cruzados difíciles de predecir.
En una línea similar, un informe publicado en 2023 por ONU Mujeres recopiló varias investigaciones sobre modelos de lenguaje y representaciones de género. El documento detalló cómo los sistemas generativos asocian con regularidad a las mujeres con las tareas del hogar y los cuidados, reservando para los hombres las referencias al liderazgo y al ‘desarrollo profesional’. La organización internacional subrayó que “no se trata de un simple error puntual en un programa concreto, sino de una tendencia persistente que atraviesa distintas aplicaciones comerciales en el mercado”.
‘Colonialismo digital’ y la mano de obra detrás de la pantalla
Más allá de las respuestas que ofrece una pantalla, la literatura académica investiga las estructuras de poder que sostienen a la industria tecnológica. Varios artículos publicados en la editorial académica Springer analizan la inteligencia artificial bajo el marco del colonialismo digital y la hegemonía del conocimiento. Este enfoque examina la fuerte concentración empresarial en pocas multinacionales, la extracción masiva de datos e infraestructura en el Sur Global y el predominio de ‘valores occidentales’ en el diseño del software.
Esta dimensión económica tiene un reflejo directo en la fuerza de trabajo. La investigadora Chinmayi Arun, en un trabajo publicado para el Carnegie Endowment for International Peace, analizó la dependencia que tienen las grandes empresas de cadenas globales de lo que llaman ‘trabajo digital’. La limpieza de datos, el etiquetado de imágenes y la moderación de contenidos suelen trasladarse a países en desarrollo con salarios bajos y pocas garantías laborales. Arun destaca que la discriminación algorítmica “no es solo un fallo de programación, es también la consecuencia de una red de trabajo precario que sostiene la infraestructura de la inteligencia artificial”.
