En Resumen
- Nvidia lanzó el Jetson Orin Nano Super, una computadora compacta de $249 con un rendimiento de IA mejorado en un 70%, alcanzando 67 TOPS.
- Diseñado para desarrolladores, puede manejar modelos de lenguaje y visión por computadora con bajo consumo de energía (7-25 watts).
- La arquitectura Ampere y las actualizaciones de software lo hacen ideal para robótica, chatbots y aplicaciones de borde eficientes.
Traemos buenas noticias para los desarrolladores y aficionados de la IA: Nvidia acaba de hacer mucho más económica la construcción de robots, drones, cámaras inteligentes y otros dispositivos impulsados por IA que necesitan un cerebro. La nueva Jetson Orin Nano Super de la compañía, anunciada el martes y disponible ahora, incorpora más potencia de procesamiento que su predecesor mientras cuesta la mitad, $249.
La computadora del tamaño de la palma de la mano ofrece un aumento de rendimiento del 70%, alcanzando 67 billones de operaciones por segundo para tareas de IA. Esto representa un salto significativo desde modelos anteriores, especialmente para alimentar chatbots, visión por computadora y aplicaciones de robótica.
"Este es un nuevo Jetson Nano Super. Casi 70 billones de operaciones por segundo, 25 watts y $249", dijo el CEO de Nvidia Jensen Huang en un video oficial revelado desde su cocina. "Ejecuta todo lo que hace el HGX, incluso ejecuta LLMs".
El ancho de banda de memoria también recibió una importante mejora, aumentando a 102 gigabytes por segundo, 50% más rápido que la generación anterior del Jetson. Esta mejora hace que el dispositivo pueda manejar modelos de IA más complejos y procesar datos de hasta cuatro cámaras simultáneamente.
El dispositivo viene con la arquitectura GPU Ampere de Nvidia y un procesador ARM de 6 núcleos, permitiéndole ejecutar múltiples aplicaciones de IA a la vez. Esto brinda a los desarrolladores el potencial de trabajar con competencias más variadas, como construir modelos pequeños para robots capaces de mapear el entorno, reconocimiento de objetos y comandos de voz con baja potencia de procesamiento.
Los propietarios actuales de Jetson Orin Nano tampoco se quedan atrás. Nvidia está lanzando actualizaciones de software para aumentar la eficiencia de sus procesadores de IA heredados.
Los números detrás del nuevo Jetson Orin Nano Super de Nvidia cuentan una historia interesante. Con solo 1.024 núcleos CUDA, parece modesto comparado con los 1.920 núcleos del RTX 2060, los 3.584 del RTX 3060, o los 3.072 del RTX 4060. Pero el conteo bruto de núcleos no cuenta toda la historia.
Mientras que las GPU para juegos como la serie RTX consumen entre 115 y 170 watts de energía, el Jetson consume apenas 7 a 25 watts. Eso es aproximadamente un séptimo del consumo de energía de un RTX 4060—el más eficiente del grupo.
Los números de ancho de banda de memoria pintan un panorama similar. Los 102 GB/s del Jetson podrían parecer poco impresionantes junto a los más de 300 GB/s de las tarjetas RTX, pero está optimizado específicamente para cargas de trabajo de IA en el edge, donde el procesamiento eficiente de datos importa más que el rendimiento bruto.
Dicho esto, la verdadera magia ocurre en el rendimiento de IA. El dispositivo produce 67 TOPS (billones de operaciones por segundo) para tareas de IA—un número difícil de comparar directamente con los TFLOPS de las tarjetas RTX, ya que miden diferentes tipos de operaciones.
Pero en términos prácticos, el Jetson puede manejar tareas como ejecutar chatbots de IA locales, procesar múltiples feeds de cámara y controlar robots—todo simultáneamente con un presupuesto de energía que apenas podría ejecutar un ventilador de enfriamiento de GPU para juegos, básicamente estando a la par con un RTX 2060 a una fracción del costo y del consumo de energía.
Sus 8GB de memoria compartida pueden parecer pocos, pero significa que es más capaz que un RTX 2060 normal cuando se trata de ejecutar modelos de IA locales como Flux o Stable Diffusion que pueden arrojar un error de "memoria insuficiente" en esas GPU, o descargar parte del trabajo a la RAM normal, reduciendo el tiempo de inferencia—básicamente el proceso de pensamiento de la IA.
El Jetson Orin Nano Super también admite varios tipos de modelos tanto grandes como pequeños, incluidos aquellos con hasta 8.000 millones de parámetros, como el modelo Llama 3.1. Puede generar tokens a una velocidad de aproximadamente 18-20 por segundo cuando se usa una versión cuantizada de estos modelos. Un poco lento, pero aún suficientemente bueno para algunas aplicaciones locales. Aun así, es una mejora sobre la generación anterior de modelos de hardware Jetson AI.
Dado su precio y características, el Jetson Orin Nano Super está diseñado principalmente para prototipado y aplicaciones a pequeña escala. Para usuarios avanzados, empresas o aplicaciones que requieren recursos computacionales extensivos, las capacidades del dispositivo pueden parecer limitadas en comparación con sistemas de gama alta que cuestan mucho más y requieren mucha más energía.
Editado por Andrew Hayward