OpenAI, la organización de investigación de IA, puede reclamar una primicia mundial: su sistema de inteligencia artificial está capacitado para jugar el complejo juego de estrategia. dota 2 ha superado a un campeón del mundo e-sports team. La competencia se llevó a cabo hoy en San Francisco y se denominó la final de OpenAI Five, que puso fin a las manifestaciones públicas de la organización de sus Dota-juntando tecnología en una nota alta.

La competencia en el lado humano incluyó cinco top dota 2 profesionales del equipo OG, que ganó el premio de deportes electrónicos más codiciado el año pasado cuando ocupó el puesto número 1 en The International, el principal evento anual dota 2 Torneo con premios que ahora suman $ 25 millones. OG se enfrentó en un concurso al mejor de tres contra OpenAI Five bots, todos entrenados usando las mismas técnicas de aprendizaje de refuerzo profundo y controlados de forma independiente por diferentes capas del mismo sistema. El aprendizaje por refuerzo es, efectivamente, un enfoque de prueba y error para la mejora personal, en el que la IA se introduce en el entorno del juego sin ningún entendimiento de cómo funciona el juego y se entrena de forma extensiva utilizando sistemas de recompensa y otros mecanismos de incentivo.

El desempeño de hoy es, con mucho, la demostración de más alta calidad de las capacidades de OpenAI Five hasta la fecha, ya que el sistema perdió casi dos partidos ante equipos de deportes electrónicos menos capaces en agosto pasado. Según el cofundador y presidente de OpenAI, Greg Brockman, quien también es el director de tecnología de la organización, OpenAI Five mejora al jugar en un entorno virtual acelerado. "OpenAI Five se basa en un profundo aprendizaje reforzado, lo que significa que no lo codificamos para jugar. Codificamos cómo aprender ", dijo Brockman a la multitud antes de la competencia. “En sus 10 meses de existencia, ya ha jugado 45,000 años de dota 2 jugabilidad Eso es mucho, todavía no se ha aburrido ".

dota 2 es un juego de estrategia muy complejo, que incluye más de 100 personajes únicos, árboles de habilidades profundas y listas de elementos, y una increíble variedad de variables que se desarrollan en la pantalla en un momento dado de una partida. Como tal, OpenAI impone ciertos límites cuando su sistema de inteligencia artificial juega jugadores profesionales, destacando el número de héroes utilizados por los dos equipos de cinco jugadores.

En este caso, cada escuadrón tenía 17 héroes para elegir. OpenAI también eligió el modo de juego denominado "Draft de capitán", que permite a cada equipo prohibir estratégicamente a los héroes para evitar que el otro equipo seleccione a esos personajes antes de usar un orden de selección distinto. Eso le permite al capitán construir fortalezas entre combinaciones de héroes y aprovechar las debilidades de héroes enemigos a través de contadores fuertes una vez que los equipos comienzan a llenar la lista uno por uno. Al igual que las coincidencias anteriores, OpenAI también deshabilitó las funciones de invocación e ilusión, ambas implican la introducción de variables adicionales en forma de copias de héroe y criaturas únicas que OpenAI no ha entrenado a su sistema para tener en cuenta.

Más allá de eso, el juego se juega como un normal dota 2 partido, con el objetivo final de destruir la "antigua" del equipo enemigo o una gran torre al final del territorio de cada equipo que se vuelve vulnerable solo cuando el equipo enemigo destruye con éxito torres más pequeñas durante el transcurso del partido, entre héroes y enemigos -Héroes combates del equipo.

En el primer partido del día, OpenAI Five sorprendió a OG y reclamó la victoria al confiar en una serie de tácticas agresivas, incluida la peculiar decisión de gastar las divisas ganadas en el juego para revivir instantáneamente a los héroes después de la muerte, incluso al principio del partido. Como lo señaló Greg Brockman, director de tecnología de OpenAI, a OpenAI le gustan las estrategias que favorecen las ganancias a corto plazo, revelando sus deficiencias en el dominio del tipo de planificación a largo plazo en las que los seres humanos son excelentes y generalmente dependen para ganar tales concursos de estrategia. Sin embargo, en este partido, las recompras anticipadas dieron sus frutos y OpenAI Five obtuvo una ventaja que OG simplemente no pudo superar, ya que el partido se prolongó en el rango de 30 minutos.

En el segundo partido, OpenAI se desempeñó aún mejor, obteniendo una ventaja temprana contra OG en los primeros minutos y luego avanzó despiadadamente sobre los jugadores humanos hasta que logró la victoria en poco más de la mitad del tiempo necesario para ganar el primer partido. Mike Cook, un ávido dota 2 El jugador y espectador que se especializa en la mezcla de IA y el diseño del juego, notó lo inusualmente agresivo que fue el OpenAI Five que comenzó a jugar en el segundo partido y lo poco que OG estaba haciendo para combatir sus avances en el mapa. Cook notó específicamente qué tan bien OpenAI Five pudo aprovechar sus selecciones específicas de héroe.

Para OpenAI, la victoria aquí no es solo una causa de celebración en sí misma, sino un testamento de que su enfoque del aprendizaje por refuerzo y su filosofía general sobre la IA están produciendo hitos. El equipo de investigación ya no realizará demostraciones públicas de su bot de IA, pero ahora está trabajando en un software que permitirá a los humanos colaborar junto con el software OpenAI Five en tiempo real, jugar en un equipo con los bots y aprender de sus estrategias peculiares y sin precedentes. y comportamientos. La organización también está lanzando una plataforma para que el público juegue contra OpenAI Five, un modo que se llama Arena, que estará abierto durante tres días a partir del 18 de abril.

OpenAI dice que es posible que el software de colaboración nunca llegue al público, aunque pude probarlo por mí mismo aquí en el evento. (A pesar de tener clase mundial dota 2 En mi equipo, desafortunadamente, fui aplastado de una manera mucho menos dramática que OG. Pero Sam Altman, cofundador y CEO de OpenAI, dice que este tipo de trabajo es una evidencia de que la colaboración con los agentes de AI podría generar enormes beneficios en el futuro. .

"Esa es una lección importante sobre cómo el mundo va a funcionar, entrenar estas cosas y hacer que funcionen en paralelo", dice Altman en una entrevista con El borde. "La colaboración es una de las visiones más positivas que tenemos para el futuro del mundo: la inteligencia artificial trabaja junto a los humanos para hacer que los humanos sean mejores y tengan más diversión y más impacto".

Altman dice que OpenAI probablemente continuará incursionando con dota 2 y otros entornos de videojuegos, principalmente porque son tan buenos bancos de pruebas para IA y buenas herramientas de evaluación comparativa para medir el progreso. Pero me dice que probablemente no exista un videojuego ahora que un sistema como OpenAI Five no puede dominar a un nivel más allá de la capacidad humana. Para la industria de la inteligencia artificial más amplia, el dominio de los videojuegos puede volverse obsoleto, se requieren apuestas simples para probar que su sistema puede aprender rápido y actuar de la manera necesaria para enfrentar tareas más difíciles y reales con beneficios más significativos.

En definitiva, OpenAI quiere tomar su dota 2 aprende y expándelos a nuevos dominios fuera de los juegos y, eventualmente, al mundo real. Con ese fin, la organización está trabajando en el uso del aprendizaje por refuerzo y otras técnicas para imbuir a las manos robóticas con movimientos más hábiles, diestros y humanos.

"Lo que OpenAI está tratando de hacer es construir inteligencia artificial general y compartir esos beneficios con el mundo y asegurarse de que sea seguro", dice Altman, refiriéndose a la búsqueda de construir un sistema de IA multipropósito capaz de realizar cualquier tarea que un humano pueda . "No estábamos aquí para ganarnos a los videojuegos, por más divertido que sea. Estamos aquí para descubrir secretos a lo largo del camino del AGI ".

Corrección: una versión anterior de este artículo dijo que el cofundador de OpenAI, Sam Altman, era el presidente de la organización. Él es, de hecho, el CEO, mientras que el director de tecnología Greg Brockman es su presidente.