Investigadores de Microsoft y de las principales universidades mundiales estudian la amenaza de la "IA ofensiva"

Un grupo de investigadores de Microsoft y siete universidades líderes mundiales han realizado un estudio de la industria sobre la amenaza ofensiva que la IA representa para las organizaciones.

Las IA son herramientas beneficiosas, pero no discriminan al brindar asistencia a personas y grupos que se proponen causar daño.

El estudio de los investigadores sobre IA ofensiva utilizó tanto la investigación existente sobre el tema como las respuestas de organizaciones como Airbus, Huawei e IBM.

Se destacaron tres motivaciones fundamentales de por qué un adversario recurriría a la IA: cobertura, velocidad y éxito.

Si bien las amenazas ofensivas de la IA adoptan muchas formas, es el uso de la tecnología para la suplantación lo que preocupa mucho tanto a la academia como a la industria. Los deepfakes, por ejemplo, están aumentando en prevalencia con fines que van desde la comedia relativamente inocua hasta el fraude, el chantaje, la explotación, la difamación y la difusión de información errónea mucho más siniestros.

Campañas similares en el pasado que usaban contenido falso / manipulado ha sido un proceso lento y arduo con pocas posibilidades de éxito. La IA no solo facilita la creación de dicho contenido, sino que también significa que las organizaciones pueden ser bombardeadas con ataques de phishing, lo que aumenta en gran medida las posibilidades de éxito.

Herramientas como el Video Authenticator de Microsoft están ayudando a contrarrestar los deepfakes, pero será una batalla constante mantenerse al día con su creciente sofisticación.

Cuando se anunció el servicio Dúplex de Google, que suena como un ser humano real para reservar citas en nombre de una persona, surgieron preocupaciones de que se pudiera usar una tecnología similar para automatizar el fraude. Los investigadores esperan que los bots adquieran la capacidad de realizar llamadas de phishing falsas convincentes.

Los investigadores también predicen una mayor prevalencia de la IA ofensiva en la "recopilación de datos, desarrollo de modelos, entrenamiento y evaluación" en los próximos años.

Aquí están las 10 preocupaciones principales de IA ofensiva desde las perspectivas de la industria y la academia:

Muy pocas organizaciones están invirtiendo actualmente en formas de contrarrestar o mitigar las consecuencias de un ataque de IA ofensivo, como una campaña de phishing falso.

Los investigadores recomiendan más investigación sobre herramientas de posprocesamiento que pueden proteger el software del análisis después del desarrollo (es decir, detección de anti-vulnerabilidad) y que las organizaciones extiendan el paradigma actual de MLOps para abarcar también la seguridad ML (MLSecOps) que incorpora pruebas de seguridad, protección y monitoreo. de modelos AI / ML.

Puede encontrar el documento completo, La amenaza de la IA ofensiva para las organizaciones, en arXiv aquí (PDF)

(Foto de Dan Dimmock en Unsplash)

Encuentra mas sobre Semana de la Transformación Digital Norteamérica, que tendrá lugar del 9 al 10 de noviembre de 2022, un evento virtual y una conferencia que explora estrategias avanzadas de DTX para un mundo de "todo digital".

La publicación Investigadores de Microsoft y de las principales universidades mundiales estudian la amenaza de la "IA ofensiva" que apareció primero en AI News.