En Resumen
- La especulación sobre el lanzamiento de Llama 3 de Meta está en su maximo apogeo, con muchos entusiastas ansiosos por el próximo avance en IA.
- Los rumores apuntan a la llegada de Llama 3, secuela del exitoso LLM Llama 2, posiblemente para principios de 2024.
- Aunque los rumores no han sido confirmados oficialmente, patrones de entrenamiento e inversiones en hardware sugieren un lanzamiento cercano.
La curiosidad sobre el próximo gran movimiento de Meta está alcanzando su punto máximo en la carrera por dominar el panorama de la inteligencia artificial. Con su modelo de texto generativo Llama 2, lanzado en julio, bien establecido en el mercado, los observadores de IA están buscando ansiosamente señales de Llama 3.
Si los rumores de la industria son ciertos, la secuela del exitoso LLM de código abierto del gigante tecnológico de las redes sociales, podría llegar a principios de 2024.
Aunque Meta no ha confirmado oficialmente los rumores, Mark Zuckerberg arrojó recientemente algo de luz sobre lo que podría ser el futuro de los LLM (modelos de lenguaje grandes) de Meta, comenzando con el reconocimiento de que Llama 3 está en proceso. Sin embargo, señaló que el nuevo modelo de IA fundamental aún está en segundo plano mientras la prioridad sigue siendo ajustar Llama 2 para que sea más amigable para el consumidor.
"Quiero decir, siempre hay otro modelo que estamos entrenando", dijo en una entrevista de podcast que se centró en la intersección entre IA y el metaverso, "Entrenamos a Llama 2 y lo lanzamos como un modelo de código abierto, y ahora la prioridad es integrarlo en varios productos de consumo...
"Pero sí, también estamos trabajando en los modelos futuros, y no tengo nada nuevo o noticias al respecto", continuó. "No sé exactamente cuándo estará listo".
Aunque aún no exista una confirmación de los rumores, los patrones en los ciclos de desarrollo y las importantes inversiones en hardware sugieren un próximo lanzamiento. Llama 1 y Llama 2 tuvieron intervalos de entrenamiento de seis meses, y si se mantiene este ritmo, el nuevo Llama 3, que se especula que estará a la altura del GPT-4 de OpenAI, podría ser lanzado en la primera mitad de 2024.
Añadiendo profundidad a la especulación, el usuario de Reddit llamaShill ha presentado un análisis exhaustivo de los ciclos de desarrollo históricos de modelos de Meta.
El entrenamiento de Llama 1 abarcó desde julio de 2022 hasta enero de 2023, con Llama 2 siguiendo el mismo camino hasta julio de 2023, estableciendo un escenario plausible para el entrenamiento de Llama 3 desde julio de 2023 hasta enero de 2024. Estas ideas encajan perfectamente con la narrativa de un Meta que persigue incansablemente la excelencia en IA, ansioso por mostrar su próximo avance que podría estar a la altura de las capacidades de GPT-4.
Mientras tanto, los foros tecnológicos y las redes sociales están llenos de discusiones sobre cómo esta nueva iteración podría restablecer la ventaja competitiva de Meta. La comunidad tecnológica también ha reconstruido una línea de tiempo probable a partir de las migajas de información disponibles.
Overheard at a Meta GenAI social:
"We have compute to train Llama 3 and 4. The plan is for Llama-3 to be as good as GPT-4."
"Wow, if Llama-3 is as good as GPT-4, will you guys still open source it?"
"Yeah we will. Sorry alignment people."
— jason (@agikoala) August 25, 2023
A eso se suma un poco de rumor en Twitter: una conversación supuestamente escuchada en un evento social de "Meta GenAI", posteriormente tuiteada por el investigador de OpenAI Jason Wei. "Tenemos la capacidad de cálculo para entrenar a Llama 3 y 4", dijo una fuente no identificada, según Wei, y agregó que también sería de código abierto.
Mientras tanto, la asociación de la empresa con Dell, que ofrece Llama 2 en las instalaciones para usuarios empresariales, subraya su compromiso con el control y la seguridad de los datos personales, un movimiento estratégico y representativo de los tiempos actuales. A medida que Meta se prepara para enfrentarse a gigantes como OpenAI y Google, este compromiso es fundamental.
Meta también está incorporando IA en muchos de sus productos, por lo que tiene sentido que la empresa aumente sus apuestas para no quedarse atrás. Llama 2 impulsa Meta AI y otros servicios como los chatbots de Meta, los servicios generativos de Meta y las gafas de IA de Meta, por nombrar algunos.
En medio de este torbellino de especulaciones, las reflexiones de Mark Zuckerberg sobre la liberación de código abierto de Llama 3 solo han servido para intrigar y desconcertar. "Necesitaríamos un proceso para poner esto a prueba y hacerlo seguro", compartió Zuckerberg durante un reciente podcast con el científico de la computación Lex Fridman.
Llama 2 presume de una arquitectura multinivel con versiones que ofrecen 7 mil millones, 13 mil millones y robustos 70 mil millones de parámetros, cada uno adecuado para diferentes niveles de complejidad y potencia computacional. Los parámetros en los LLMs sirven como los bloques de construcción neuronales que definen la capacidad del modelo para comprender y generar lenguaje, siendo el número de parámetros a menudo correlacionado con la sofisticación y calidad potencial de la salida del modelo.
El gigante de la IA Llama 2, ha sido entrenado en un extenso corpus de 2 billones de tokens, lo que respalda su capacidad para navegar y generar texto similar al humano en una amplia variedad de temas y contextos.
En el fondo, también se está sentando las bases de hardware. Como informó Decrypt, Meta está abasteciendo un centro de datos con Nvidia H100s, uno de los componentes de hardware más potentes para el entrenamiento de IA, esto es una clara señal de que las ruedas están en movimiento.
Sin embargo, a pesar de toda la emoción y especulación, la verdad sigue envuelta en el secreto corporativo.
Las intenciones de Meta de competir en el espacio de la IA están en gran medida moldeadas por los tiempos de entrenamiento requeridos, las inversiones en hardware y la pregunta de código abierto. Mientras tanto, la anticipación es tan palpable como la probabilidad de un lanzamiento de Llama 3 en 2024.
Editado por Ryan Ozawa.