El lunes, Cerebras Methods presentó su supercomputadora Andromeda AI de 13,5 millones de núcleos para aprendizaje profundo, informes Reuters. Según Cerebras, Andromeda ofrece más de 1 exaflop (1 quintillón de operaciones por segundo) de potencia computacional de IA con una precisión media de 16 bits.
La Andrómeda es en sí misma un grupo de 16 Cerebros C-2 computadoras conectadas entre sí. Cada CS-2 contiene una Chip de motor de escala de oblea (a menudo llamado “WSE-2”), que actualmente es el chip de silicio más grande jamás fabricado, de unas 8,5 pulgadas cuadradas y repleto de 2,6 billones de transistores organizados en 850.000 núcleos.
Cerebras construyó Andromeda en un centro de datos en Santa Clara, California, por $35 millones. Está ajustado para aplicaciones como grandes modelos de lenguaje y ya se ha utilizado para trabajos académicos y comerciales. “Andromeda ofrece un escalado casi perfecto a través de un paralelismo de datos easy en modelos de lenguaje grande de clase GPT, incluidos GPT-3, GPT-J y GPT-NeoX”. escribe Cerebras en un comunicado de prensa.
cerebros
La frase “escalado casi perfecto” significa que a medida que Cerebras agrega más unidades de computadora CS-2 a Andromeda, el tiempo de entrenamiento en las redes neuronales se scale back en una “proporción casi perfecta”, según Cerebras. Por lo common, para escalar un modelo de aprendizaje profundo agregando más poder de cómputo usando sistemas basados en GPU, uno podría ver Rendimientos decrecientes a medida que aumentan los costos de {hardware}. Además, Cerebras afirma que su supercomputadora puede realizar tareas que los sistemas basados en GPU no pueden:
El trabajo imposible de GPU fue demostrado por uno de los primeros usuarios de Andromeda, que logró un escalado casi perfecto en GPT-J a 2500 millones y 25000 millones de parámetros con longitudes de secuencia largas: MSL de 10240. Los usuarios intentaron hacer el mismo trabajo en Polaris, un clúster de 2000 Nvidia A100, y las GPU no pudieron hacer el trabajo debido a las limitaciones de la memoria de la GPU y el ancho de banda de la memoria”.
Aún está por verse si esas afirmaciones resisten el escrutinio externo, pero en una period en la que las empresas a menudo entrenan modelos de aprendizaje profundo en cada vez más grandes racimos de GPU Nvidia, Cerebras parece estar ofreciendo un enfoque alternativo.
¿Cómo se compara Andrómeda con otras supercomputadoras? Actualmente, el más rápido del mundo, Frontera, reside en Oak Ridge Nationwide Labs y puede funcionar a 1.103 exaflops con doble precisión de 64 bits. Esa computadora costó $ 600 millones para construir.
El acceso a Andrómeda ya está disponible para que lo utilicen varios usuarios de forma remota. Ya está siendo utilizado por el asistente de redacción comercial. jaspeI and Argonne Nationwide Laboratory, y la Universidad de Cambridge para la investigación.
