En Resumen
- Microsoft presenta cuatro nuevos compiladores de IA: Rammer, Roller, Welder y Grinder.
- Estas herramientas mejoran la eficiencia de la compilación de modelos de IA en hardware como GPUs.
- Los compiladores superan significativamente las soluciones existentes en pruebas de referencia, ofreciendo ventajas competitivas.
Microsoft ha presentado un conjunto de cuatro nuevos compiladores de inteligencia artificial diseñados para optimizar el rendimiento de varios modelos de IA. El "cuarteto de heavy metal" de herramientas de compilación de vanguardia llevan los nombres de Rammer, Roller, Welder y Grinder.
Estas herramientas fueron desarrolladas en colaboración entre Microsoft Research y diversas instituciones académicas. Proporcionan soluciones avanzadas para compilar, lo que es esencialmente la conversión del código fuente (legible por humanos) en código máquina (una serie de unos y ceros que permite que una computadora lo ejecute). Estas herramientas están diseñadas para compilar modelos de inteligencia artificial comunes permitiendo que se ejecuten de manera más eficiente en aceleradores de hardware como las GPUs.
En una publicación de blog de Microsoft Research que destaca sus capacidades, la compañía dice que los compiladores se basan en la extensa investigación y desarrollo de Microsoft en inteligencia artificial.
"Los compiladores de IA que desarrollamos han demostrado una mejora sustancial en la eficiencia de compilación de IA, facilitando así el entrenamiento y despliegue de modelos de IA", escribió Jilong Xue, Investigador Principal en MSR Asia. "En el futuro, estos modelos a gran escala podrían ayudar inherentemente a lograr la optimización y compilación".
Los cuatro nuevos compiladores abordan desafíos distintos en la optimización de cargas de trabajo de IA.
Rammer se enfoca en maximizar el paralelismo de hardware, es decir, la capacidad del hardware para realizar diferentes tareas simultáneamente. Esto es un factor clave en el rendimiento, y Rammer minimiza la sobrecarga de programación en tiempo de ejecución mediante una mejor utilización de los recursos paralelos.
Roller adopta un enfoque diferente para acelerar la compilación, utilizando un algoritmo de construcción rápida para encontrar soluciones, generando así núcleos optimizados en segundos en lugar de horas. En otras palabras, Roller ayuda a crear programas informáticos eficientes para IA más rápido al simplificar el proceso de diseño.
Welder reduce el costoso tráfico de acceso a la memoria al conectar operadores en un pipeline concentrado. Es decir, unifica las optimizaciones de memoria en un solo marco para una mayor eficiencia.
Finalmente, Grinder permite la ejecución de flujo de control en aceleradores al integrarlo con el flujo de datos. Esto permite la optimización a través de los límites del flujo de control. Piénsalo como un experto que guía los pasos de un aprendiz, diciéndole qué hacer para terminar el trabajo más rápido.
Como uno de los gigantes tecnológicos líderes, Microsoft ha estado a la vanguardia del avance de la IA. La compañía ha colaborado estrechamente con la firma de investigación en IA OpenAI en modelos de lenguaje grandes como GPT-3.5 y GPT-4, que alimentan a ChatGPT y Bing Chat. Recientemente, Microsoft se asoció con Meta para integrar LLaMA-2 en su solución de computación en la nube e introdujo una técnica llamada el Algoritmo de Pensamientos para mejorar el razonamiento en modelos como ChatGPT.
Las pruebas encontraron que los compiladores superaron significativamente las soluciones existentes en las pruebas de referencia. Rammer superó a otros compiladores funcionando hasta 20 veces mejor en las GPUs. Roller igualó o superó el rendimiento de última generación mientras reducía el tiempo de compilación en órdenes de magnitud. Welder superó a frameworks como PyTorch funcionando hasta 21 veces mejor en las GPUs. Grinder aceleró los modelos con flujo de control hasta 8 veces.
El cuarteto de heavy metal demuestra el liderazgo continuo de Microsoft en el diseño de sistemas de IA innovadores y en la creación de nombres divertidos para sus productos. Mientras que las grandes asociaciones en el espacio de la IA, como la que tiene con OpenAI captan titulares, la compañía también desarrolla activamente una infraestructura de software vital para potenciar la IA detrás de escena.
Con mejoras significativas en el rendimiento en comparación con las soluciones existentes, Rammer, Roller, Welder y Grinder podrían proporcionar ventajas competitivas clave a medida que surjan cargas de trabajo de IA más complejas.