En Resumen
- Huawei lanzó el OceanStor A310, un sistema de almacenamiento de inteligencia artificial diseñado para la era de los modelos de IA grandes.
- El OceanStor A310 busca acelerar el procesamiento de datos para la inteligencia artificial, superando a soluciones como el ESS 3500 de IBM en términos de velocidad.
- Este sistema ofrece un rendimiento de hasta 400 GBps de ancho de banda de lectura secuencial y 208 GBps de ancho de banda de escritura, lo que lo convierte en una solución eficiente para el entrenamiento de modelos de IA.
Huawei lanzó la semana pasada su nuevo modelo de almacenamiento de inteligencia artificial (IA), el OceanStor A310, en GITEX GLOBAL 2023, en un intento de abordar ciertos desafíos de la industria en torno a las aplicaciones de modelos grandes.
Diseñado para la era de los modelos de IA grandes o Large Language Models (LLM), el OceanStor A310 tiene como objetivo proporcionar una solución de almacenamiento para el entrenamiento de modelos básicos, el entrenamiento de modelos de la industria y la inferencia en modelos de escenarios segmentados.
Imagina el OceanStor A310 como un bibliotecario súper eficiente en una vasta biblioteca digital, que busca rápidamente fragmentos de información. En comparación, otro sistema, el ESS 3500 de IBM, es un bibliotecario más lento. Cuanto más rápido pueda obtener información el OceanStor A310, más rápido pueden funcionar las aplicaciones de IA, tomando decisiones inteligentes de manera oportuna. Este acceso rápido a la información es lo que hace destacar al OceanStor A310 de Huawei.
El punto fuerte del OceanStor A310 parece residir en su capacidad para acelerar el procesamiento de datos para la inteligencia artificial.
Según informes, en comparación con el ESS 3500 de IBM, la última matriz totalmente flash de Huawei alimenta las GPU de Nvidia casi cuatro veces más rápido por unidad de bastidor. Esto se realiza utilizando la metodología de Nvidia's Magnum GPU Direct, donde los datos se envían directamente desde un recurso de almacenamiento NVMe a las GPU sin la intervención de un sistema de almacenamiento host.
El OceanStor A310 de Huawei demostró un rendimiento de hasta 400 GBps de ancho de banda de lectura secuencial y 208 GBps de ancho de banda de escritura. Sin embargo, el impacto de los marcos de código abierto y de código cerrado en estos números sigue siendo incierto.
Profundizando en su mecanismo, el OceanStor A310 está diseñado como una solución de almacenamiento de lago de datos de aprendizaje profundo que potencialmente ofrece escalabilidad horizontal ilimitada y alto rendimiento para cargas de trabajo mixtas.
"Sabemos que para las aplicaciones de IA, el mayor desafío es mejorar la eficiencia para el entrenamiento de modelos de IA", dijo Evangeline Wang, Gerente de Producto y Marketing de Huawei, en un comunicado compartido por el medio tecnológico Blocks and Files. "El mayor desafío para el sistema de almacenamiento durante el entrenamiento de IA es mantener el suministro de datos a la CPU, a las GPU", agregó. "Esto requiere que el sistema de almacenamiento proporcione el mejor rendimiento".
Para abordar este problema, cada OceanStor puede soportar hasta 96 SSD NVMe, procesadores y una memoria caché. Los usuarios pueden agrupar hasta 4.096 A310, compartiendo un sistema de archivos global que admite protocolos estándar para aplicaciones. El OceanStor A310 tiene como objetivo minimizar el tiempo de transmisión de datos a través de SmartNIC y un diseño masivamente paralelo.
"Huawei A310, con sus nodos pequeños, fue el más rápido en general tanto en lectura secuencial como en escritura, con un ancho de banda de escritura/lectura secuencial de 41,6/80GBps en comparación con los números de 30/63GBps de IBM", dijo Block and Files en un estudio de referencia que comparó la solución de Huawei con sus competidores directos.
La presentación del OceanStor A310 llega en un momento en que la industria de la IA busca soluciones eficientes de almacenamiento y procesamiento de datos. Este esfuerzo de Huawei tiene como objetivo abordar algunos de los desafíos actuales y puede contribuir a lograr un entrenamiento de modelos de IA más eficiente.
Sin embargo, las sanciones de Estados Unidos a Huawei, principalmente debido a preocupaciones sobre la seguridad nacional y los presuntos vínculos de la empresa con el gobierno chino, añaden una capa de complejidad a la incursión de Huawei en soluciones de almacenamiento de IA.
Las posibles implicaciones de OceanStor A310 de Huawei podrían ser notables. Al ofrecer una solución a algunas de las ineficiencias actuales en el almacenamiento y procesamiento de datos, Huawei está intentando desafiar a otros proveedores y empujar a la industria de la IA hacia una nueva era de posibles innovaciones y eficiencia.
Editado por Andrew Hayward