Rendimiento de los AMD Instinct MI300X en MLPerf

AMD presentó los aceleradores Instinct MI300X en junio del año pasado, y ofreció una relación completa de especificaciones y datos técnicos que ya compartimos con vosotros en este artículo, así que os invito a echarle un vistazo si no tuvisteis la oportunidad de hacerlo en su momento, ya que os dará el contexto necesario para entender esta nueva información.

Justo ayer tuve la oportunidad de asistir a un evento online donde AMD dio nuevos datos de rendimiento de los Instinct MI300X bajo MLPerf, y la verdad es que los resultados son prometedores. Como podemos ver en la gráfica adjunta estos aceleradores ofrecen un rendimiento muy competitivo frente a los aceleradores NVIDIA H100, basados en la arquitectura Hopper.

En la siguiente gráfica vemos el enorme escalado que podemos conseguir al pasar de un único acelerador Instinct MI300X a una plataforma completa formada por ocho unidades de este acelerador. El escalado de rendimiento es tan bueno que es casi totalmente lineal en ambas pruebas. Con uno solo de estos aceleradores es posible mover sin problema LLama 2 con 70.000 millones de parámetros.

La configuración de Instinct MI300X con 192 GB de memoria HBM es una de las claves más importantes detrás de su alto nivel de rendimiento, y de su amplia compatibilidad con diferentes LLMs, incluidos los más avanzados y complejos. Estos aceleradores contribuyeron al desarrollo de Llama 3.1 en Meta, y con la plataforma formada por ocho unidades es posible mover Llama 3.1 con 405.000 millones de parámetros.

Los aceleradores Instinct MI300X son una gran apuesta por la fuerza bruta y la capacidad de la memoria. Estarán disponibles a partir del último trimestre de este mismo año, y utilizan la arquitectura CDNA 3 de AMD, que parte de un diseño chiplet para alcanzar una cantidad de shaders enorme. Cada Instinct MI300X tiene dos chiplets GPU que suman en total 19.456 shaders, 1.216 unidades de texturizado, 304 unidades de computación y 1.216 núcleos especializados en IA.

No tienen unidades de rasterizado porque son aceleradores especializados en IA, y por tanto no tienen la necesidad de representar píxeles. Su TDP es de 750 vatios, y cada acelerador gráfico puede alcanzar un pico de potencia en FP16 de 653,7 TFLOPs.

Su auténtica sucesora será la serie MI400, y AMD ha confirmado que esta podría llegar en algún momento de 2026, como vemos en la hoja de ruta que ha compartido la compañía durante la celebración de dicho evento.