IMAGEnet Roulette es una aplicación web que permite a los usuarios subir un 'selfie' para que la inteligencia artificial de la herramienta lo analice y nos muestre etiquetas descriptivas de la imagen. Es decir, que nos describa qué "ve" la IA cuando mira nuestra foto.
No se diferencia mucho del efecto logrado durante la última caída parcial de Facebook que, ante la imposibilidad de cargar las imágenes, empezó a mostrar a los usuarios de la red social etiquetas que intentaban describir (con mayor o menor precisión) el contenido de las mismas.
Así, cuando subimos una foto (o nos la hacemos sobre la marcha usando una webcam, o enlazamos una imagen ya subida a Internet), IMAGEnet Roulette se toma unos segundos para estudiarla, y a continuación proporciona una jerarquía de etiquetas, desde las más amplias "alguien, persona, individuo, mortal" a otras progresivamente más concretas: desde "capitalista" hasta "agente de seguros", pasando por "hombre de negocios".
Ése ha sido el caso, por ejemplo, de la foto que hemos subido de Pedro Sánchez:
La segunda foto que hemos subido, correspondiente a la cantante británica Anne-Maria, por contra, ha sido reconocida de forma algo más precisa como "rock star":
Dejando al margen su nivel de acierto, hemos podido comprobar que unas veces las etiquetas son -como en en los casos anteriores- más o menos concretas, mientras que otras el sistema se queda en niveles más abstractos ("pesimista", "transpirador"...). Pero, ¿de dónde salen todas esas etiquetas?
Este usuario se ha visto etiquetado como "hermana" (en referencia al título de las monjas católicas) | Vía @gloupin
Las eternas polémicas en torno a sesgos de la IA (o, mejor dicho, de sus datos)
La herramienta, desarrollada por el artista Trevor Paglen y la investigadora Kate Crawford con ocasión de una exposición en la Fondazione Prada de Milán, recibe su nombre del dataset IMAGEnet, que desde 2009 alberga más de 14 millones de imágenes etiquetadas y disponibles gratuitamente para cualquier investigador, con 2833 categorías referidas a fotos de personas.
Y todas ellas se han usado para entrenar la red neuronal (usando el framework Caffe) responsable de generar las descripciones que vemos cuando usamos ImageNet Roulette.
Como casi siempre que se aborda el lanzamiento de un software de visión artificial aplicada a humanos y, peor aún, que trabaja con datos previamente etiquetados por humanos, se ha generado en las redes un debate en torno a los supuestos sesgos raciales de la IA.
De hecho, la razón por la que Paglen y Crawford han incluido este software en su exposición se debe al deseo de mostrar lo que ocurre cuando se expone una IA, por bien programada que esté, a datos de mala calidad. De hecho, ellos van más lejos:
"IMAGEnet contiene una serie de categorías problemáticas, ofensivas y extrañas. [...] Algunos utilizan terminología misógina o racista".
Denuncian que eso es lo que ocurre cuando se recurre a "bases de datos que recogen términos usados en Pinceton en los años 80". y que, si bien el dataset IMAGEnet es un gran logro para la IA, su sesgo es un problema "difícil de solucionar".
Sin embargo, hay que analizar con cuidado qué cabe entender como sesgo. Una cosa es el conocido caso en que una pareja afroamericana denunció que Google Imágenes les había etiquetado como "gorilas" y otra que un periodista del New Statesman denuncie que uno de sus selfies fue clasificado por IMAGEnet Roulette con el "término racista" de "negroide".
Tal término, aunque seguramente no sea el que ninguno elegiríamos para referirnos a una persona de raza negra, es relativamente habitual en ámbitos antropológicos (igual que se aplica el de "caucasoide" a las personas de raza blanca... o "mongoloide" a las de raza oriental).
Más problemático puede resultar que algunos hombres, sin ningún motivo aparente, se vean etiquetados como "sospechoso de violación" o "delincuente sin antecedentes", según han denunciado algunos usuarios en las redes sociales:
😮"ImageNet Roulette is a provocation designed to help us see into the ways that humans are classified in machine learning systems." https://t.co/gOQIAPpTXD pic.twitter.com/6usmHtValH
— Dan Ehrenfeld (@DanEhrenfeld) September 16, 2019
Vía |
Ver 13 comentarios