OpenAI Quiere Evitar las Alucinaciones y Mentiras de la IA

Por Jason Nelson

OpenAI, la compañía detrás de ChatGPT, dijo el miércoles que está mejorando las habilidades de resolución de problemas matemáticos del chatbot con el objetivo de reducir las alucinaciones de la IA.

"Mitigar las alucinaciones es un paso crítico hacia la construcción de AGI alineada", dijo OpenAI en una publicación.

La última iteración de ChatGPT, GPT-4, lanzada en marzo, continúa impulsando la inteligencia artificial en la corriente principal. Pero los chatbots de IA generativa han tenido históricamente problemas con los hechos y la emisión de información falsa, conocida coloquialmente como "alucinaciones".

Las alucinaciones de la IA se refieren a casos en los que una IA genera resultados inesperados y falsos que no están respaldados por datos del mundo real. Las alucinaciones de la IA pueden ser contenido, noticias o información falsa sobre personas, eventos o hechos.

OpenAI advierte prominentemente a los usuarios que no confíen ciegamente en ChatGPT, presentando un descargo de responsabilidad que dice: "ChatGPT puede producir información inexacta sobre personas, lugares o hechos".

Si bien OpenAI no citó ejemplos específicos que llevaran a la última investigación sobre alucinaciones, dos eventos recientes ilustraron el problema en situaciones del mundo real.

En abril, Jonathan Turley, un abogado defensor penal de EE. UU. y profesor de derecho, afirmó que ChatGPT lo acusó de cometer agresión sexual. Peor aún, la IA inventó y citó un artículo del Washington Post para respaldar la afirmación.

La semana pasada, Steven A. Schwartz, un abogado en Mata v. Avianca Airlines, admitió haber "consultado" el chatbot como fuente al realizar investigaciones. ¿El problema? Los resultados que ChatGPT proporcionó a Schwartz eran todos falsos.

"Esa es la culpa del declarante, por no confirmar las fuentes proporcionadas por Chat GPT de las opiniones legales que proporcionó", escribió Schwartz en la declaración jurada presentada ante el tribunal, agregando que "lamenta mucho" haber utilizado la inteligencia artificial generativa para complementar la investigación. Schwartz juró no volver a hacerlo sin una verificación absoluta de su autenticidad.

En febrero, la gigante tecnológica Microsoft dio a los periodistas una demostración de las capacidades del chatbot de Bing, incluyendo informes de ganancias, especificaciones de aspiradoras y planes de viaje. Los resultados fueron menos que estelares.

"Estoy sorprendido de que el equipo de Bing haya creado esta demostración pregrabada llena de información inexacta y la haya presentado con confianza al mundo como si fuera buena", dijo el investigador de IA Dmitri Brereton, quien asistió al evento, en Substack. "Estoy aún más sorprendido de que este truco haya funcionado y que todos se hayan subido al tren de la emoción de la IA de Bing sin hacer ni una pizca de diligencia debida".

A pesar de estos problemas, Microsoft está apostando fuerte por ChatGPT, incorporando la tecnología en su navegador web Bing después de una inversión de $13 mil millones en OpenAI.

En su investigación, OpenAI comparó la "supervisión de resultados", que proporciona comentarios basados en un resultado final, y la "supervisión de procesos", que proporciona comentarios para cada paso en una cadena de pensamiento.

"Evaluamos nuestros modelos de recompensa supervisados por procesos y resultados utilizando problemas del conjunto de pruebas de matemáticas", dijo OpenAI. "Generamos muchas soluciones para cada problema y luego elegimos la solución clasificada como la mejor por cada modelo de recompensa".

El equipo de investigación concluyó que la supervisión de procesos proporcionó un mejor rendimiento ya que alienta al modelo a seguir un proceso aprobado por humanos, mientras que la supervisión de resultados generalmente es más difícil de analizar.

OpenAI reconoció que se desconoce cómo se desarrollarán los resultados más allá de las matemáticas, pero dice que el trabajo futuro debe explorar el impacto de la supervisión de procesos en otros dominios. La compañía publicó su conjunto de datos completo de supervisión de procesos para fomentar la investigación.

"Si estos resultados se generalizan, podemos encontrar que la supervisión del proceso nos da lo mejor de ambos mundos: un método que es tanto más efectivo como más alineado que la supervisión del resultado", dijo OpenAI.

OpenAI aún no ha respondido a la solicitud de comentarios de Decrypt.

Noticias recomendados