Habana Labs presenta Gaudi2: Un salto enorme frente a la primera generación

En 2019 Intel compró a Habana Labs, un movimiento muy importante con el que el gigante del chip reforzó su apuesta por la inteligencia artificial, y queda claro que desde luego fue todo un acierto, especialmente tras ver lo que han sido capaces de conseguir con Habana Gaudi2, una de las novedades más importantes que hemos visto, en materia de hardware profesional, en el evento Intel Vision de este año, al que tuvimos la suerte de asistir. Durante el evento Intel anunció también Habana Greco.

Ambas soluciones están diseñadas para acelerar cargas de trabajo centradas en aprendizaje profundo e inferencia. Habana Gaudi2 está especializado en aprendizaje profundo y es el sucesor de Habana Gaudi, mientras que Habana Greco está diseñado para tareas de inferencia y sucede a Habana Goya. No debemos confundir el aprendizaje profundo con la inferencia, ya que no son lo mismo aunque algunos caigan en el error de utilizarlos como si lo fuesen.

El aprendizaje profundo comprende el proceso de entrenamiento de una inteligencia artificial, es decir, esa etapa en la que se produce el suministro de datos que el sistema utilizará para aprender. En él se utilizan modelos jerárquicos complejos destinados con los que se intenta conseguir que la inteligencia artificial aprenda de una manera similar a como lo hacen los seres humanos. La inferencia, por contra, es el paso inmediatamente posterior, es decir, consiste en que la inteligencia artificial utilice lo aprendido.

Habana Gaudi2: 7 nm y hasta el doble de rendimiento que una GPU NVIDIA A100 con 80 GB

En el vento Intel Vision 2022 pudimos ver algunos datos de rendimiento de Habana Gaudi2, y los números fueron impresionantes. En primer lugar tenemos un salto enorme en el nodo de fabricación frente al modelo de primera generación, ya que este estaba fabricado en 16 nm y su sucesor viene en el avanzado nodo de 7 nm. Por lo que respecta al rendimiento, Gaudi2 es capaz de superar en un 90% a la NVIDIA A100 de 80 GB bajo ResNet 50, donde alcanza 5.425 imágenes por segundo, y la dobla en BERT con 685 secuencias por segundo.

Sandra Rivera, Vicepresidente ejecutivo de Intel y gerente general de Datacenter and AI Group, comentó que:

«Gaudi2 puede ayudar a los clientes de Intel a entrenar cargas de trabajo de aprendizaje profundo cada vez más grandes y complejas con mayor velocidad y eficiencia, y Greco también traerá mejoras importantes».

Comparado con la primera generación, Gaudi2 es capaz de triplicar el rendimiento en ResNet 50, y en BERT Phase-2 la ventaja que obtiene sobre la NVIDIA A100 de 80 GB es todavía mayor, ya que alcanza el 180%. A nivel de especificaciones, Gaudi2 cuenta con 24 núcleos de procesadores Tensor (Gaudi contaba con 10 núcleos), dispone de 96 GB de memoria HBME, el triple de la cantidad que montaba el modelo de primera generación, suma 48 MB de SRAM y 24 NIC RoCE RDMA de 100 GbE.

Gaudi2 tiene un TDP es de 600 vatios, pero según Eitan Medina, COO de Habana Labs, puede funcionar sin problemas con un sistema de refrigeración pasiva, lo que significa que puede integrarse sin problemas en infraestructuras ya existentes. Ya se encuentra disponible para los clientes de Habana Labs, y tienen una integración total en la suite de software Habana SynapseAI, que está optimizada para el desarrollo de modelos de aprendizaje profundo y facilita la migración de los modelos existentes basados en GPU al hardware de la plataforma Gaudi.

En cuanto a Habana Greco, esta solución centrada en la inferencia también ha recibido mejoras muy importantes, entre las que podemos destacar el uso de memoria LPDDR5, lo que se traduce en un mayor ancho de banda frente a la generación anterior, que utilizaba memoria DDR4. También ha aumentado la cantidad, pasando de 50 MB a 128 MB, se ha reducido el TDP de 200 vatios a 75 vatios y se ha adoptado un diseño monoslot. Estará disponible a mediados de este año.