Los investigadores encuentran que los sistemas para contrarrestar las falsificaciones profundas pueden ser engañados

Los investigadores han descubierto que los sistemas diseñados para contrarrestar la creciente prevalencia de deepfakes pueden engañarse.

Los investigadores, de la Universidad de California en San Diego, presentaron por primera vez sus hallazgos en la conferencia WACV 2022.

Shehzeen Hussain, estudiante de doctorado en ingeniería informática de UC San Diego y coautora del artículo, dijo:

“Nuestro trabajo muestra que los ataques a detectores deepfake podrían ser una amenaza en el mundo real.

Y lo que es más alarmante, demostramos que es posible crear robustos deepfakes adversarios incluso cuando un adversario puede no ser consciente del funcionamiento interno del modelo de aprendizaje automático utilizado por el detector ".

Se probaron dos escenarios como parte de la investigación:

1. Los atacantes tienen acceso completo al modelo del detector, incluida la tubería de extracción de rostros y la arquitectura y los parámetros del modelo de clasificación.
2. Los atacantes solo pueden consultar el modelo de aprendizaje automático para determinar las probabilidades de que un marco se clasifique como real o falso.

En el primer escenario, la tasa de éxito del ataque es superior al 99 por ciento para videos sin comprimir. Para los videos comprimidos, fue del 84,96 por ciento. En el segundo escenario, la tasa de éxito fue del 86,43 por ciento para los videos sin comprimir y del 78,33 por ciento para los videos comprimidos.

“Demostramos que los métodos actuales de vanguardia para la detección de deepfake pueden pasarse por alto fácilmente si el adversario tiene un conocimiento completo o incluso parcial del detector”, escribieron los investigadores.

Los deepfakes utilizan una red generativa de adversarios (GAN) para crear imágenes falsas e incluso vídeos con resultados cada vez más convincentes. El llamado "DeepPorn" se ha utilizado para provocar vergüenza e incluso chantaje.

Existe el viejo dicho "No lo creeré hasta que lo vea con mis propios ojos", razón por la cual convencer al contenido falso es tan preocupante. Como seres humanos, estamos bastante programados para creer lo que (pensamos) que podemos ver con nuestros ojos.

En una era de desinformación, las personas están aprendiendo gradualmente a no creer todo lo que leen.–especialmente cuando proviene de fuentes no verificadas. Enseñar a las personas a no creer necesariamente en las imágenes y los videos que ven representará un serio desafío.

(incrustar) https://www.youtube.com/watch?v=cQ54GDm1eL0 (/ incrustar)

Se ha puesto algo de esperanza en los sistemas para detectar y contrarrestar los deepfakes antes de que causen daños. Desafortunadamente, los hallazgos de los investigadores de UC San Diego frustran un poco esas esperanzas.

"Si los atacantes tienen algún conocimiento del sistema de detección, pueden diseñar entradas para apuntar a los puntos ciegos del detector y evitarlo", dijo Paarth Neekhara, otro coautor del artículo.

En una investigación separada del University College London (UCL) el año pasado, los expertos clasificaron las que creen que son las amenazas de inteligencia artificial más graves. Deepfakes ocupó el primer lugar de la lista.

"Las personas ahora llevan a cabo gran parte de sus vidas en línea y su actividad en línea puede crear y destruir reputaciones", dijo el Dr. Matthew Caldwell de UCL Computer Science.

Uno de los casos de deepfake más notorios hasta el momento fue el de la presidenta de la Cámara de Representantes de Estados Unidos, Nancy Pelosi. En 2018, circuló un video deepfake en las redes sociales que hizo que Pelosi pareciera borracha y arrastrando las palabras.

El video de Pelosi probablemente fue creado con la intención de ser divertido en lugar de particularmente malicioso.–pero muestra cómo los deepfakes podrían usarse para causar descrédito e incluso influir en los procesos democráticos.

Como parte de un intento por persuadir a Facebook de que cambie sus políticas sobre deepfakes, el año pasado, la startup israelí Canny AI creó un deepfake del CEO de Facebook, Mark Zuckerberg, que hizo que pareciera que dijo: “Imagínense esto por un segundo: un hombre, con control total de miles de millones de datos robados de personas, todos sus secretos, sus vidas, su futuro ".

(incrustar) https://www.youtube.com/watch?v=cnUd0TpuoXI (/ incrustar)

Ahora imagine la orientación precisa del contenido proporcionado por plataformas como Facebook combinado con deepfakes que no se pueden detectar … en realidad, quizás no, es un pensamiento bastante chillón.

¿Está interesado en escuchar a los líderes de la industria discutir temas como este? Asista a la 5G Expo, IoT Tech Expo, Blockchain Expo, AI & Big Data Expo, y Cyber ​​Security & Cloud Expo World Series, ubicadas en el mismo lugar, con los próximos eventos en Silicon Valley, Londres y Ámsterdam.

Etiquetas: ai, inteligencia artificial, deepfake, deepfakes, Destacado, GAN, Red Adversarial Generativa, investigación, Sociedad