En Resumen
- Microsoft presenta nuevo método llamado "Algoritmo de Pensamientos" (AoT) para entrenar IA con razonamiento humano.
- AoT mejora la eficiencia y resolución de problemas al guiar modelos de lenguaje en la búsqueda sistemática.
- AoT fusiona la intuición humana con la exploración algorítmica, superando las limitaciones de la IA para mejorar los análisis.
El gigante tecnológico Microsoft ha presentado un nuevo método de entrenamiento de IA llamado "Algoritmo de Pensamientos" (AoT), diseñado para mejorar la eficiencia y la capacidad de razonamiento más humanizado en modelos de lenguaje amplios o Large Language Models (LLM) como ChatGPT.
Este enfoque innovador es el siguiente paso lógico para la compañía, que ha invertido significativamente en IA, especialmente a través de OpenAI, los creadores de DALL-E, ChatGPT y el poderoso modelo de lenguaje GPT.
Microsoft sostiene que la técnica AoT tiene el potencial de ser un cambio revolucionario, ya que "guía al modelo de lenguaje por un camino de resolución de problemas más eficiente", según un artículo de investigación. Este nuevo enfoque utiliza el "aprendizaje en contexto", permitiendo que el modelo explore soluciones de manera sistemática y organizada.
El resultado es una resolución de problemas más veloz y menos demandante de recursos.
"Esta técnica supera los enfoques anteriores de consulta única y se equipara a un reciente enfoque de consulta múltiple que utiliza una búsqueda exhaustiva en árbol", sostiene el artículo. "De manera interesante, nuestros resultados sugieren que instruir al modelo con un algoritmo puede llevar a un rendimiento superior al del algoritmo en sí".
Los investigadores señalan que el modelo adquiere una "intuición" mejorada a medida que esta técnica optimiza su proceso de búsqueda.
¿Un híbrido humano-algorítmico?
El método AoT aborda las limitaciones de enfoques actuales de aprendizaje contextual, como el "Chain-of-Thought" (CoT). CoT a veces produce pasos intermedios incorrectos, mientras que AoT guía al modelo con ejemplos algorítmicos para resultados más confiables.
AoT se inspira en humanos y máquinas para mejorar el rendimiento de la IA generativa. Humanos destacan en intuición, algoritmos en exploración organizada. El Algoritmo de Pensamientos busca "fusionar estas dos facetas duales para aumentar las capacidades de razonamiento dentro de los LLM".
Microsoft dice que esta técnica híbrida permite que el modelo supere las limitaciones de la memoria de trabajo humana, permitiendo un análisis más completo de las ideas.
A diferencia del enfoque lineal de razonamiento de CoT o la técnica del "Árbol de Pensamientos" (ToT), el método AoT posibilita una reflexión flexible de diversas opciones para los subproblemas, manteniendo su efectividad con una mínima inducción. Además, rivaliza con las herramientas externas de búsqueda en árboles, logrando un equilibrio eficiente entre los costos y los cálculos involucrados.
En general, el Algoritmo de Pensamientos representa un cambio desde el aprendizaje supervisado hacia la integración del proceso de búsqueda en sí mismo. Con mejoras en la ingeniería de las indicaciones, los investigadores creen que este enfoque puede permitir que los modelos resuelvan problemas complejos del mundo real de manera eficiente, al tiempo que reducen su impacto ambiental.
Dado su sustancial inversión en IA, Microsoft parece estar en una buena posición para incorporar el Algoritmo de Pensamiento en sistemas avanzados como GPT-4. Aunque es un desafío, enseñar a los modelos de lenguaje a "pensar" de esta manera más humana podría ser transformador.