Cerebras presenta Andromeda, su nueva supercomputadora de IA con 13,5 millones de núcleos

Este lunes, Cerebras Systems ha presentado la que es ya su supercomputadora de inteligencia artificial más ambiciosa: Andromeda. Compuesta por 13,5 millones de núcleos y capaz de procesar más de 1 exaflop de potencia computacional de IA. O lo que es lo mismo, 1 quintillón de operaciones por segundo, con una precisión media de 16 bits.

Andromeda es, en realidad, un conjunto de 16 computadoras Cerebras CS-2 conectadas entre sí. Cada una de las computadoras Cerebras CS-2 supera a todas las GPU, batiendo el récord del mayor modelo de IA entrenado en un solo dispositivo y embebiendo más de 850.000 núcleos. Además, permite unos 20.000 millones de parámetros en un solo chip, con lo que esto supone a la hora de ahorrar tiempo y costes en el entrenamiento de miles de GPU, el hardware y los requisitos de escalado.

Cada CS-2 contiene un chip Wafer Scale Engine, también llamado WSE-2, que actualmente es el chip de silicio más grande jamás fabricado con aproximadamente 8.5 pulgadas cuadradas y empaquetado con 2.6 billones de transistores organizados en 850.000 núcleos.

Este hito, que marca un antes y un después en el campo de las supercomputadoras, se ha construido en un centro de datos ubicado en la región californiana de Santa Ana y ha tenido un coste de 35 millones de dólares. Antes de su presentación, Andromeda ha sido probada en trabajos comerciales y académicos, “ofreciendo un escalado casi perfecto a través del paralelismo de datos simple en modelos de lenguaje grande de clase GPT, incluidos GPT-3, GPT-J y GPT-NeoX», según fuentes de Cerebras.

Un hito en el campo de las supercomputadoras

¿Y por qué ofrece un escalado casi perfecto? A medida que Cerebras agrega más unidades de computadora CS-2 para construir la supercomputadora Andrómeda, el tiempo de entrenamiento en redes neuronales se reduce en «proporción casi perfecta», según admite Cerebras. Hay que tener en cuenta que para escalar un modelo de aprendizaje profundo es importante añadir más potencia de cómputo utilizando sistemas basados en GPU.

La potencia de Andromeda es tal que, incluso, puede realizar tareas que los sistemas basados en GPU. Por ejemplo, logró un escalado casi perfecto en GPT-J a 2.500 millones y 25.000 millones de parámetros con longitudes de secuencia largas. También MSL de 10.240. Mientras que los usuarios que intentaron hacer el mismo trabajo en Polaris, un clúster Nvidia A100 de 2.000, las GPU no pudieron hacer el trabajo debido a la memoria de la GPU y a las limitaciones de ancho de banda de la memoria.

Pero, ¿en qué posición se sitúa entonces Andrómeda respecto a otras supercomputadoras? En la actualidad, Frontier es la más rápida del mundo, se encuentra en Oak Ridge National Labs y puede funcionar a 1.103 exaflops con doble precisión de 64 bits.

Un dato importante: Andrómeda está disponible para su uso por múltiples usuarios de forma remota. De hecho, ya está siendo utilizada por el asistente de escritura comercial Jasper AI, el Laboratorio Nacional de Argonne, la Universidad de Cambridge para temas de investigación.