Poco después del tiroteo de la sinagoga en Pittsburgh, noté que la palabra "judíos" estaba en tendencia en Twitter. Como investigador y educador en redes sociales, me preocupé de que la violencia se propagara en línea, como sucedió en el pasado.

La actividad de los presuntos tiradores de la sinagoga en el sitio de redes sociales de Gab ha llamado la atención sobre el papel de ese sitio como una alternativa llena de odio a las opciones más comunes como Facebook y Twitter. Esos están entre las plataformas de redes sociales que han prometido combatir el discurso de odio y el abuso en línea en sus sitios.

Sin embargo, a medida que exploraba la actividad en línea después de los disparos, rápidamente me di cuenta de que los problemas no se encuentran solo en sitios como Gab. Más bien, el discurso del odio todavía es fácil de encontrar en los principales sitios de redes sociales, incluido Twitter. También identifiqué algunos pasos adicionales que la compañía podría tomar.

Respuestas incompletas a nuevos términos de odio

Esperaba que aparecieran nuevas amenazas en línea alrededor del tiroteo en Pittsburgh, y había señales de que estaba ocurriendo. En un reciente ataque antisemita, el líder de la Nación del Islam, Louis Farrakhan, utilizó la palabra "termita" para describir a los judíos. Busqué este término, sabiendo que los racistas probablemente usarían el nuevo insulto como una palabra clave para evitar la detección al expresar el antisemitismo.

Twitter no había suspendido la cuenta de Farrakhan a raíz de otra de sus declaraciones antisemitas, y la función de búsqueda de Twitter sugirió automáticamente que podría estar buscando la frase "termitas devoran balas". Eso convierte el cuadro de búsqueda de Twitter en un cartel de odio.

Sin embargo, la compañía había ajustado aparentemente algunos de sus algoritmos internos, porque en los resultados de mi búsqueda no aparecían tweets con usos antisemitas de la palabra "termita".

Publicaciones desapercibidas durante años.

A medida que continué mi búsqueda de discursos de odio y llamé a la violencia contra los judíos, encontré aún más evidencia perturbadora de deficiencias en el sistema de moderación de contenido de Twitter.

A raíz de la elección de los EE. UU. De 2016 y del descubrimiento de que Twitter se estaba utilizando para influir en la elección, la compañía dijo que estaba invirtiendo en aprendizaje automático para "detectar y mitigar el efecto en los usuarios de actividades de cuenta falsas, coordinadas y automatizadas. ”

Según lo que encontré, estos sistemas no han identificado ni siquiera amenazas violentas y discursos de odio muy simples, claros y directos que hayan estado en su sitio durante años.

Cuando informé sobre un tweet publicado en 2014 que abogaba por matar a personas judías "por diversión", Twitter lo rechazó el mismo día, pero su aviso automatizado estándar de Twitter no daba ninguna explicación de por qué no se había tocado durante más de cuatro años.

"Mi único sueño es un mundo sin judíos"

– HAMAS PALESTINE (@ b4ng_yus) 20 de julio de 2014

Odia los juegos del sistema.

Cuando revisé los odiosos tweets que no habían sido capturados después de todos esos años, noté que muchos no contenían texto, el tweet era solo una imagen.

Sin texto, los tweets son más difíciles de encontrar para los usuarios y los propios algoritmos de identificación de odio de Twitter. Pero los usuarios que buscan específicamente un discurso de odio en Twitter pueden desplazarse a través de la actividad de las cuentas que encuentran, viendo mensajes aún más odiosos.

Twitter parece estar al tanto de este problema: los usuarios que reportan un tweet deben revisar algunos otros tweets de la misma cuenta y enviarlos al mismo tiempo. Esto termina sometiendo un poco más de contenido para revisar, pero aún deja espacio para que algunos no sean detectados.

Ayuda para los gigantes tecnológicos que luchan

Cuando encontré tweets que creí que violaban las políticas de Twitter, los informé. La mayoría de ellos fueron removidos rápidamente, incluso dentro de una hora. Pero algunos puestos obviamente ofensivos tardaron varios días en llegar.

Todavía hay algunos tweets basados ​​en texto que no se han eliminado, a pesar de violar claramente las políticas de Twitter. Eso demuestra que el proceso de revisión de contenido de la compañía no es consistente.

Puede parecer que Twitter está mejorando la eliminación de contenido dañino y que está eliminando muchos contenidos y memes y suspendiendo cuentas, pero gran parte de esa actividad no está relacionada con el discurso del odio.

Más bien, gran parte de la atención de Twitter se ha centrado en lo que la empresa denomina "manipulación coordinada", como bots y redes de perfiles falsos administrados por unidades de propaganda del gobierno.

En mi opinión, la compañía podría dar un paso significativo para solicitar la ayuda de miembros del público, así como investigadores y expertos como mis colegas y yo, para identificar contenido odioso.

Es común que las compañías de tecnología, incluido Twitter, ofrezcan pagos a las personas que reportan vulnerabilidades de seguridad en su software.

Sin embargo, todo lo que la compañía hace por los usuarios que informan de contenido problemático es enviar un mensaje generado automáticamente diciendo "gracias". La disparidad en la forma en que Twitter trata los problemas de código y los informes de contenido transmite un mensaje de que la compañía prioriza su tecnología sobre su comunidad.

En cambio, Twitter podría pagar a las personas por informar sobre contenido que viola las pautas de su comunidad, ofreciendo recompensas financieras por eliminar las vulnerabilidades sociales en su sistema, como si esos usuarios lo estuvieran ayudando a identificar problemas de software o hardware.

Un ejecutivo de Facebook expresó su preocupación de que esto solución potencial podría ser contraproducente y generar más odio en línea, pero creo que el programa de recompensa podría estructurarse y diseñarse de manera que se evite ese problema.

Mucho más por hacer.

Hay otros problemas con Twitter que van más allá de lo que se publica directamente en su propio sitio. Las personas que publican discursos de odio a menudo aprovechan una característica clave de Twitter: la capacidad de los tweets para incluir enlaces a otro contenido de Internet.

Esa función es fundamental para la forma en que las personas usan Twitter, compartiendo contenido de interés mutuo en toda la web. Pero también es un método para distribuir el discurso del odio.

Por ejemplo, un tweet puede parecer totalmente inocente, diciendo "Esto es divertido" y proporcionando un enlace. Pero el enlace, al contenido no publicado en los servidores de Twitter, muestra un mensaje lleno de odio.