Intel Gaudi 3, potencia, escalabilidad y eficiencia para afrontar el desafío de la IA

La presentación de Intel Gaudi 3 tuvo lugar el pasado mes de abril, pero el gigante del chip ha aprovechado el escenario del Computex para profundizar en su nuevo acelerador estrella, una solución que ha sido diseñada especialmente para la IA, y para afrontar todos los desafíos que esta tecnología representa.

Intel empieza fuerte, y asegura que Gaudi 3 es capaz de maximizar el rendimiento por dólar, de ofrecer una alta escalabilidad y de conseguir una gran eficiencia. Echando un vistazo a los números tenemos una ganancia de rendimiento del 200% en FP8 y un aumento del 400% en BF16 frente a Gaudi 2.

Especificaciones y escalabilidad de Gaudi 3

Para conseguir esos altos niveles de rendimiento que Intel anuncia a bombo y platillo Gaudi 3 cuenta con novedades importantes a nivel de hardware, y las vamos a repasar a continuación:

• Arquitectura especializada en IA para optimizar consumo y rendimiento.
• 64 núcleos tensor de quinta generación y ocho motores matemáticos de matrices.
• 128 GB de memoria HBM con un ancho de banda de 3,7 TB/s.
• 96 MB de SRAM con un ancho de banda de 12,8 TB/s.
• 24 x 200 GbE y PCIe Gen5 con 16 líneas.

Intel Gaudi 3 puede escalar en configuraciones de un nodo, 64 nodos, 512 nodos y 1.024 nodos. El primero ofrece una potencia de hasta 14,7 PFLOPs en FP8 y tiene una memoria de 1.024 GB, el segundo tiene una potencia de 940 PFLOPs en FP8 y 65,6 TB de memoria, el tercero cuenta con una potencia de 7,52 EFLOPs y 525,3 TB, y el cuarto alcanza los 15 EFLOPs de potencia y tiene 1 PB de memoria.

Rendimiento, disponibilidad y precios

Intel asegura que Gaudi 3 es capaz de completar ciclos de entrenamiento con GPT3 (175.000 millones de parámetros) hasta un 40% más rápida que su rival directa, la NVIDIA H100, utilizando el nodo de 8.192 aceleradoras. Con un bloque de 64 aceleradoras Intel Gaudi es un 15% más rápida en el proceso de inferencia bajo Llama 2 (70.000 millones de parámetros) frente a NVIDIA H100.

En las gráficas adjuntas podemos ver otros datos de rendimiento interesantes utilizando diferentes configuraciones y pruebas, como Mistral con 7.000 millones de parámetros y Falcon con 180 millones de parámetros. Las puntuaciones parten del 1, que representa a la NVIDIA H100, así que más es mejor.

Intel Gaudi 3 seguirá apostando por un ecosistema de software y frameworks muy completo, se apoyará en un conjunto de partners de primera que incluye nombres tan importantes como HPE, Lenovo, SuperMicro, ASUS, GIGABYTE y Dell, y estará disponible con un precio de partida de 125.000 dólares en su versión con 8 aceleradoras.

La relación rendimiento por dólar invertido promete ser hasta 2,3 veces mayor que otras soluciones comparables en procesos de inferencia, y hasta un 90% mayor en procesos de entrenamiento. Las versiones refrigeradas por aire estarán disponibles a partir del tercer trimestre de este año, y los modelos con refrigeración líquida llegarán en el cuarto trimestre del año.