Nvidia ha desarrollado una IA que puede convertir videos de la vida real en renderizados en 3D, lo que simplifica la creación de juegos y experiencias de realidad virtual.
Crear renders en 3D es un proceso laborioso y que requiere mucho tiempo y requiere habilidades específicas y puede ser increíblemente costoso. Al reducir las barreras, Nvidia podría permitir que más ideas pasen del concepto a la realidad.
Durante la conferencia NeurIPS AI en Montreal, Nvidia estableció un área dedicada que muestra su tecnología. La compañía usó su supercomputador DGX-1 para la demostración, por lo que no se puede lograr en su computadora doméstica promedio, al menos por ahora.
La IA que se ejecuta en el DGX-1 tomó imágenes tomadas a través de un dashcam de auto-manejo, extrajo un mapa semántico de alto nivel usando una red neuronal y luego usó Unreal Engine 4 para generar el mundo virtual.
En la siguiente animación, la imagen superior izquierda representa el mapa de entrada. La parte inferior derecha representa la síntesis de video de Nvidia (vid2vid), mientras que las otras muestran enfoques competitivos:
Bryan Catanzaro, vicepresidente de Applied Deep Learning Research en NVIDIA, dijo:
“NVIDIA ha estado inventando nuevas formas de generar gráficos interactivos durante 25 años, y esta es la primera vez que podemos hacerlo con una red neuronal.
Las redes neuronales, específicamente los modelos generativos, cambiarán la forma en que se crean los gráficos. Esto permitirá a los desarrolladores crear nuevas escenas a una fracción del costo tradicional ".
El resultado de la demostración es un juego de conducción simple que permite a los participantes navegar por una escena urbana.
"La capacidad de modelar y recrear la dinámica de nuestro mundo visual es esencial para construir agentes inteligentes", escribieron los investigadores de Nvidia en un papel. "Aparte de los intereses puramente científicos, aprender a sintetizar experiencias visuales continuas tiene una amplia gama de aplicaciones en visión por computador, robótica y gráficos por computadora".