La fundadora de la Liga de Justicia algorítmica, Joy Buolamwini, pronunció un discurso en el Foro Económico Mundial esta semana sobre la necesidad de combatir el sesgo de AI.
Buolamwini también es investigadora del MIT Media Lab y se volvió un poco viral para su TED Talk en 2016 titulada "Cómo estoy luchando contra el sesgo en los algoritmos".
Su último discurso incluyó una presentación en la que Buolamwini analizó los populares algoritmos de reconocimiento facial actuales.
Estos fueron los resultados generales de precisión al adivinar el género de una cara:
- Microsoft: 93.7 por ciento
- Cara ++: 90 por ciento
- IBM: 87.9 por ciento
Mostrado de esta manera, parece haber un pequeño problema. Por supuesto, la sociedad es mucho más diversa y los algoritmos deben ser precisos para todos.
Cuando se separan entre machos y hembras, un mayor la disparidad se hace evidente:
- Microsoft: 89.3 por ciento (mujeres), 97.4 por ciento (hombres)
- Cara ++: 78.7 por ciento (mujeres), 99.3 por ciento (hombres)
- IBM: 79.7 por ciento (mujeres), 94.4 por ciento (hombres)
Aquí comenzamos a ver que la subrepresentación de las mujeres en las carreras STEM comienza a tener efecto. Face ++, con sede en China, sufre lo peor, probablemente como resultado de la brecha de género (PDF) más grave del país en los Estados Unidos.
La división entre tipos de piel también aumenta la disparidad:
- Microsoft: 87.1 por ciento (más oscuro), 99.3 por ciento (más claro)
- Cara ++: 83.5 por ciento (más oscuro), 95.3 por ciento (más claro)
- IBM: 77.6 por ciento (más oscuro), 96.8 por ciento (más claro)
Es probable que la diferencia aquí nuevamente tenga que ver con una disparidad racial en las carreras STEM. Se observa una brecha entre el 12 y el 19 por ciento entre los tonos de piel más oscuros y claros.
Hasta ahora, los resultados están en línea con un estudio realizado por investigadores del NIST y la Universidad de Texas en Dallas en 2010. Los investigadores encontraron (PDF) que los algoritmos diseñados y probados en Asia oriental son mejores para reconocer a los asiáticos orientales, mientras que los desarrollados en los países occidentales son más precisos al detectar caucásicos.
"Hicimos algo que no se había hecho antes en el campo, que estaba haciendo un análisis interseccional", explica Buolamwini. "Si solo hacemos análisis de un solo eje, solo observamos el tipo de piel, solo observamos el género … vamos a perder las tendencias importantes".
Aquí es donde los resultados son más preocupantes. Los resultados están en orden descendente de más preciso a menos:
Microsoft
Hombres más ligeros (100 por ciento)
Hembras más ligeras (98.3 por ciento)
Machos más oscuros (94 por ciento)
Hembras más oscuras (79.2 por ciento)
Cara ++
Machos más oscuros (99.3 por ciento)
Hombres más ligeros (99.2 por ciento)
Hembras más ligeras (94 por ciento)
Hembras más oscuras (65.5 por ciento)
IBM
Hombres más ligeros (99.7 por ciento)
Hembras más ligeras (92.9 por ciento)
Hombres más oscuros (88 por ciento)
Hembras más oscuras (65.3 por ciento)
La falta de precisión con respecto a las hembras con tonos de piel más oscuros es de particular importancia. Dos de los tres algoritmos podrían equivocarse en aproximadamente un tercio de las ocasiones.
Solo imagine que la vigilancia se usa con estos algoritmos. Los hombres de piel más clara serían reconocidos en la mayoría de los casos, pero las mujeres de piel más oscura serían detenidas a menudo. Eso podría ser una gran cantidad de errores en áreas con gran impacto como los aeropuertos.
Antes de hacer públicos sus resultados, Buolamwini envió los resultados a cada compañía. IBM respondió el mismo día y dijo que sus desarrolladores abordarían el problema.
Cuando ella reevaluó el algoritmo de IBM, la precisión al evaluar a los hombres más oscuros saltó de 88 por ciento a 99.4 por ciento, para hembras más oscuras a partir del 65.3. por ciento a 83.5 por ciento, para hembras más ligeras a partir del 92.9 por ciento a 97.6 por ciento, y para encendedor machos se mantuvo igual a los 97 por ciento.
Buolamwini comentó: "Entonces, para todos los que vieron mi TED Talk y dijeron:" ¿No es la razón por la que no te detectaron porque, ya sabes, la física? La reflectancia de tu piel, el contraste, etc. ”, las leyes de la física no cambiaron entre diciembre de 2017, cuando hice el estudio, y 2018, cuando lanzaron los nuevos resultados".
"Lo que cambió es que lo hicieron una prioridad".
Puedes ver la presentación completa de Buolamwini en el WEF aquí.
¿Interesado en escuchar a los líderes de la industria discutir temas como este y sus casos de uso? Asista a los eventos coubicados de AI y Big Data Expo con los próximos espectáculos en Silicon Valley, Londres y Amsterdam para obtener más información. Coubicado con IoT Tech Expo, Blockchain Expo y Cyber Security & Cloud Expo.