Se han publicado los primeros resultados de referencia del consorcio MLPerf y Nvidia es un claro ganador del rendimiento de inferencia.
Para aquellos que no lo saben, la inferencia toma un modelo de aprendizaje profundo y procesa los datos entrantes, sin embargo, para lo que ha recibido capacitación.
MLPerf es un consorcio que tiene como objetivo proporcionar puntos de referencia estandarizados "justos y útiles" para el rendimiento de inferencia. Se puede pensar que MLPerf hace por inferencia lo que SPEC hace para comparar las CPU y el rendimiento general del sistema.
El consorcio ha publicado sus primeros resultados de evaluación comparativa, un esfuerzo minucioso que involucra a más de 30 empresas y más de 200 ingenieros y profesionales. La primera convocatoria de MLPerf para presentaciones dio lugar a más de 600 mediciones que abarcan 14 empresas y 44 sistemas.
Sin embargo, para la inferencia del centro de datos, solo cuatro de los procesadores están disponibles comercialmente:
- Intel Xeon P9282
- Habana Goya
- Google TPUv3
- Nvidia Turing
Nvidia no perdió tiempo en jactarse de su rendimiento superando a los otros tres procesadores en varias redes neuronales, tanto en el servidor como en los escenarios fuera de línea:
Las comparaciones directas más fáciles son posibles en el escenario fuera de línea de ImageNet ResNet-50 v1.6, donde el mayor número de jugadores importantes y nuevas empresas presentaron resultados.
En ese escenario, Nvidia una vez más se jactó del mejor rendimiento por procesador con su GPU Titan RTX. A pesar del 2x envío de Google Cloud TPU v3-8 utilizando ocho procesadores Intel Skylake, tuvo un rendimiento similar al SCAN 3XS DBP T496X2 Fluid que usaba cuatro tarjetas Titan RTX (65,431.40 frente a 66,250.40 entradas / segundo).
Ian Buck, gerente general y vicepresidente de computación acelerada de NVIDIA, dijo:
“La IA está en un punto de inflexión, ya que pasa rápidamente de la investigación a la implementación a gran escala para aplicaciones reales.
La inferencia de IA es un tremendo desafío computacional. Combinando el acelerador programable más avanzado de la industria, el conjunto de algoritmos de inteligencia artificial CUDA-X y nuestra profunda experiencia en computación con inteligencia artificial, NVIDIA puede ayudar a los centros de datos a implementar su gran y creciente cuerpo de modelos complejos de inteligencia artificial ".
Sin embargo, vale la pena señalar que Titan RTX no es compatible con la memoria ECC, por lo que, a pesar de su excelente rendimiento, esta omisión puede evitar su uso en algunos centros de datos.
Otra conclusión interesante al comparar los resultados de Cloud TPU con Nvidia es la diferencia de rendimiento al pasar de escenarios fuera de línea a servidores.
- Google Cloud TPU v3 fuera de línea: 32,716.00
- Servidor Google Cloud TPU v3: 16,014.29
- Nvidia SCAN 3XS DBP T496X2 Fluido fuera de línea: 66,250.40
- Servidor fluido Nvidia SCAN 3XS DBP T496X2 Fluid: 60,030.57
Como puede ver, el rendimiento del sistema Cloud TPU se reduce en más de la mitad cuando se usa en un escenario de servidor. El rendimiento del sistema SCAN 3XS DBP T496X2 Fluid solo cae alrededor del 10 por ciento en comparación.
Puede leer detenidamente los resultados completos de referencia de MLPerf aquí.
¿Interesado en escuchar a líderes de la industria discutir temas como este? Asista a la 5G Expo, IoT Tech Expo, Blockchain Expo, AI & Big Data Expo y Cyber Security & Cloud Expo World Series con eventos próximos en Silicon Valley, Londres y Amsterdam.