La era post-exponencial de la IA y la Ley de Moore

Mi MacBook Pro tiene tres años y, por primera vez en mi vida, una computadora principal de tres años no parece una crisis que debe resolverse de inmediato. Es cierto, esto se debe en parte a que estoy esperando que Apple arregle su debacle del teclado, y en parte porque todavía no puedo soportar la Touch Bar. Pero también se debe a que tres años de crecimiento del rendimiento ya no son lo que solían ser.

No es exagerado decir que la Ley de Moore, el crecimiento exponencial alucinantemente implacable en la potencia informática de nuestro mundo, ha sido la fuerza más importante del mundo durante los últimos cincuenta años. Por lo tanto, su lenta desaceleración y / o desaparición son un gran problema, y ​​no solo porque las repercusiones ahora están llegando a cada hogar y cada bolsillo.

Todos hemos vivido con la esperanza de que algún otro campo fuera exponencial, dándonos otra era similar, por supuesto. La inteligencia artificial / aprendizaje automático fue la gran esperanza, especialmente el sueño lejano de un ciclo de retroalimentación de aprendizaje automático, la inteligencia artificial mejoró la inteligencia artificial a un ritmo exponencial durante décadas. Eso ahora parece terriblemente improbable.

En verdad siempre lo hizo. Hace un par de años, estaba hablando con el CEO de una compañía de inteligencia artificial que argumentó que el progreso de la inteligencia artificial era básicamente una curva en S, y que ya habíamos alcanzado su punto máximo para el procesamiento de sonido, nos estábamos acercando a la imagen y al video, pero solo estábamos a medio camino arriba de la curva para el texto. No hay premio por adivinar en cuál se especializó su compañía, pero parece haber sido completamente correcto.

A principios de esta semana OpenAI publicado Una actualización de su análisis del año pasado sobre cómo la potencia informática utilizada por AI¹ esta incrementando. ¿El resultado? "Ha aumentado exponencialmente con un tiempo de duplicación de 3,4 meses (en comparación, la Ley de Moore tuvo un período de duplicación de 2 años). Desde 2012, esta métrica ha crecido en más de 300,000x (un período de duplicación de 2 años produciría solo un aumento de 7x) ”.

Eso es … mucha potencia informática para mejorar el estado del arte de la IA, y está claro que este crecimiento en la informática no puede continuar. No "no lo hará"; puede no. Lamentablemente, el crecimiento exponencial en la necesidad de potencia informática para entrenar IA ha sucedido casi exactamente al mismo tiempo que la disminución del crecimiento exponencial de la Ley de Moore. Tirar más dinero al problema no ayudará; nuevamente, estamos hablando de tasas de crecimiento exponenciales aquí, los ajustes de gastos lineales no moverán la aguja.

La conclusión es que, incluso si suponemos grandes avances en la eficiencia y mejoras de rendimiento para reducir la tasa de duplicación, el progreso de la IA parece estar cada vez más limitado por el cómputo en un momento en que nuestro crecimiento colectivo en la potencia informática comienza a fallar. Tal vez haya algún tipo de avance, pero en ausencia de uno, parece mucho que estamos viendo que el progreso de IA / aprendizaje automático se nivele, dentro de poco, y en el futuro previsible.

¹Mide técnicamente "las carreras de entrenamiento de IA más grandes", pero esto parece instructivo en cuanto a tendencias.