En Resumen
- El fabricante de chips Nvidia anunció el lunes que su tecnología de red Spectrum-X ha ayudado a expandir la supercomputadora Colossus de la startup xAI, ahora reconocida como el mayor clúster de entrenamiento de IA en el mundo.
- Colossus, sirve como campo de entrenamiento para la tercera generación de Grok, la suite de grandes modelos de lenguaje de xAI desarrollada para alimentar las funciones de chatbot para los suscriptores Premium de X.
- La startup xAI del multimillonario tecnológico Elon Musk planea duplicar la capacidad del sistema a 200.000 GPUs, según un comunicado de Nvidia.
El fabricante de chips Nvidia anunció el lunes que su tecnología de red Spectrum-X ha ayudado a expandir la supercomputadora Colossus de la startup xAI, ahora reconocida como el mayor clúster de entrenamiento de IA en el mundo.
Colossus, ubicado en Memphis, Tennessee, sirve como campo de entrenamiento para la tercera generación de Grok, la suite de grandes modelos de lenguaje de xAI desarrollada para alimentar las funciones de chatbot para los suscriptores Premium de X.
Colossus, desarrollado en solo 122 días, comenzó a entrenar sus primeros modelos 19 días después de la instalación. La startup xAI del multimillonario tecnológico Elon Musk planea duplicar la capacidad del sistema a 200.000 GPUs, dijo Nvidia en un comunicado el lunes.
En su núcleo, Colossus es un gigantesco sistema interconectado de GPUs, cada uno especializado en procesar grandes conjuntos de datos. Cuando se entrenan los modelos Grok, necesitan analizar enormes cantidades de texto, imágenes y datos para mejorar sus respuestas.
.@xAI's Colossus in Memphis, the world's largest AI supercomputer with 100,000 NVIDIA Hopper GPUs, achieves new heights with NVIDIA Spectrum-X Ethernet. A testament to NVIDIA's dedication to #AI progress.
Read more: https://t.co/NDSMpQKbGl pic.twitter.com/KpLpWg3Ao1
— NVIDIA (@nvidia) October 28, 2024
Promocionado por Musk como el clúster de entrenamiento de IA más potente del mundo, Colossus conecta 100.000 GPUs NVIDIA Hopper utilizando una red unificada de Acceso Directo a Memoria Remota. Las GPUs Hopper de Nvidia manejan tareas complejas al separar la carga de trabajo entre múltiples GPUs y procesarla en paralelo.
La arquitectura permite que los datos se muevan directamente entre nodos, evitando el sistema operativo y garantizando baja latencia, así como un rendimiento óptimo para tareas extensas de entrenamiento de IA.
Mientras que las redes Ethernet tradicionales a menudo sufren de congestión y pérdida de paquetes, limitando el rendimiento al 60%, Spectrum-X logra un rendimiento del 95% sin degradación de la latencia.
Spectrum-X permite que grandes cantidades de GPUs se comuniquen de manera más fluida entre sí, ya que las redes tradicionales pueden saturarse con demasiados datos.
La tecnología permite que Grok se entrene de forma más rápida y precisa, lo cual es esencial para construir modelos de IA que respondan de manera efectiva a las interacciones humanas.
El anuncio del lunes tuvo poco efecto en las acciones de Nvidia, que bajaron ligeramente. Las acciones se negociaron a $141 hasta el lunes, con la capitalización de mercado de la empresa en $3,45 billones.
Editado por Sebastian Sinclair