Intel Gaudi 3 y el papel de la IA en la empresa, presente y futuro

El gigante del chip ha presentado Intel Gaudi 3, un acelerador especializado en IA que marca un importante punto de inflexión en el sector, y que promete una mejora de rendimiento de hasta 4 veces más en computación BF16 comparado con la generación anterior. Si lo comparamos con NVIDIA H100, que es su rival directo puesto que Blackwell todavía no ha llegado al mercado, Intel asegura que Gaudi 3:

• Rinde un 50% más de media en inferencia, es decir, en los tiempos de entrenamiento de modelos Llama2 con entre 7.000 y 13.000 millones de parámetros, y también en GPT-3 con hasta 175.000 millones de parámetros.
• Consigue una mejora de eficiencia de hasta un 40% en tareas de inferencia en Llama con entre 7.000 y 70.000 millones de parámetros, y también en modelos como Falcon con 180.000 millones de parámetros.
• Todo lo anterior se consigue, además, con un coste inferior comparado con sus rivales directos.

Intel Gaudi 3 posiciona como una solución para IA que no solo es potente, sino que también es eficiente y atractiva desde el punto de vista económico. Estos valores son muy importantes para cualquier empresa, pero no debemos olvidarnos de que además Intel Gaudi 3 se asienta sobre una plataforma de software abierta y estandarizada, lo que facilita y simplifica su implementación y su correcto aprovechamiento, y la convierte en una solución altamente escalable.

Especificaciones y disponibilidad de Intel Gaudi 3

Este nuevo acelerador de IA estará disponible en el segundo trimestre de 2024, y os podemos confirmar que gigantes como HPE, Lenovo y Supermicro le darán todo su apoyo. A nivel de especificaciones estamos ante un auténtico monstruo que cuenta con:

• Fabricado en el nodo de 5 nm.
• 64 núcleos tensor de quinta generación para procesamiento de IA.
• 8 motores de matrices para acelerar la realización de operaciones matemáticas.
• 128 GB de memoria HBM con un ancho de banda de 3,7 TB/s.
• 96 MB de memoria SRAMM con un ancho de banda de 12,8 TB/s.
• Conectividad integrada 24 x 200 GbE.
• Sistema PCIe Gen5 con 16 líneas.

Intel Gaudi 3 estará disponible en fase de producción a partir de la segunda mitad de 2024.

Creando valor a través de la IA

Intel también ha aprovechado el escenario del evento Intel Vision 2024 para hablar sobre algunas de las claves más importantes dentro de su estrategia en el mundo de la IA, una tecnología que está transformando el mundo, y que juega un papel cada vez más importante en las empresas.

En este sentido, la visión de Intel es clara, la IA ha representado un punto de inflexión, y según las últimas previsiones un 80% de las empresas utilizarán IA generativa en 2026. En ese mismo año al menos un 50% de las implementaciones de computación en el borde (edge) implicarán el uso de aprendizaje profundo, y esto disparará el gasto en IA generativa hasta los 151.000 millones de dólares en 2027.

La IA representa una gran cantidad de oportunidades, pero hay una carencia importante tanto a nivel de preparación como de infraestructura en las empresas actualmente, y esto impide hacer un óptimo aprovechamiento de la IA. Para ayudar a las empresas a dar el salto a la IA y redefinir el presente y el futuro de la empresa Intel tiene una visión muy clara:

• Una estrategia de sistemas escalables que permitan cubrir todos los segmentos de forma adecuada.
• Una implementación de sistemas bien planificada y adaptada que permita una ejecución optimizada.
• Un ecosistema abierto que permita seguir avanzando a buen ritmo en el sector de la IA empresarial.
• Intel Gaudi 3, un acelerador que proporcionará una importante y necesaria base a nivel de hardware para que el sector pueda seguir mejorando.
• Plataformas edge de red y de conectividad adaptados a las necesidades particulares de las cargas de trabajo propias de la IA.

Intel ha ofrecido también una visión comprensiva muy interesante del presente y del futuro de la IA, hablando de la era de la IA de los «co-pilots», que es en la que nos encontramos actualmente y que «mejora» a los seres humanos; de la era de los agentes de IA, que permitirá automatizar flujos de trabajo de un dominio, y el futuro, que estará en la era de las funciones de IA, que permitirá automatizar departamentos completos.

El gigante del chip ha cerrado haciendo un repaso a las claves más importantes de los procesadores Intel Xeon 6, conocidos con el nombre en clave Sierra Forest, que están configurados con hasta 288 núcleos E de alta eficiencia y son capaces de mejorar el rendimiento por vatio hasta en un 240%. Estos procesadores fueron uno de los grandes protagonistas en la participación de Intel en el MWC 2024.

Si comparamos con los procesadores Xeon de segunda generación el ahorro energético que podemos conseguir es enorme, aunque obviamente dependerá de la cantidad total de racks. Intel ha puesto un ejemplo muy interesante en este sentido, y es que con 72 racks de procesadores Intel Xeon 6 podemos igualar el rendimiento de 200 racks con procesadores Intel Xeon Gen 2, y reducir el consumo en 1 megavatio. Estarán disponibles a partir de la segunda mitad de este año.