13 min lectura
Google envió ondas de choque a través del ámbito de la inteligencia artificial cuando reinició su herramienta de IA insignia, cambiándole el nombre de Bard a Gemini y lanzando un nivel de servicio premium llamado Gemini Advanced, un desafiante directo al veterano de la industria ChatGPT Plus de OpenAI. Aunque aquí exploramos sus fortalezas y debilidades respectivas, hoy nos quitamos los guantes para comparar a ambos competidores y determinar cuál sale ganador. Al menos por ahora.
Estos gigantes de la IA compiten por el título del sistema más versátil e inteligente, capaz de traducir documentos, manejar lenguaje coloquial, programar juegos e incluso crear poesía. Probamos ambas herramientas, sometiéndolas a una serie de indicaciones para ver cómo se destacan. Los resultados hablan, o más bien se escriben, por sí solos.
La clave de los idiomas radica en sus matices: dialectos regionales, jerga local, refranes antiguos e incluso referencias a la cultura popular. Las máquinas pueden manejar fácilmente las definiciones de los libros de texto, ¿pero pueden seguir el ritmo siempre cambiante de la forma en que nos comunicamos?
Para poner esto a prueba, presentamos tanto a Gemini Advanced como a ChatGPT Plus la frase "no aguanto la pela", una expresión de la jerga moderna venezolana que expresa un sentido extremo de agotamiento y frustración.
ChatGPT fue rápido en ofrecer una traducción literal junto con posibles significados relacionados con "no puedo soportar la paliza". Si bien técnicamente es correcto, esto carece del impacto de la jerga original. No logró transmitir la verdadera intención del hablante, e incluso aunque infería el verdadero significado, enfatizaba su incertidumbre.
Por otro lado, Gemini Advanced, demostró una mayor comprensión del contexto cultural. No solo proporcionó la misma traducción literal, sino que también ofreció varias equivalencias de jerga utilizadas en inglés para expresar el mismo sentimiento de exasperación.
Esta capacidad de descifrar la vibra de una frase en lugar de producir una traducción literal marca la diferencia. Después de todo, como escritores, confiamos en el vocabulario adecuado para conectar con los lectores, incluso si ese vocabulario incluye expresiones menos formales. En este sentido, Gemini Advanced claramente superó a su competidor.
Ganador: Gemini Advanced
A continuación, evaluemos la memoria a largo plazo de estos chatbots. ¿Puede recordar un detalle insignificante de una larga historia y aún así recordarlo cuando se le solicite? Para ver qué chatbot podía "mantener un pensamiento" mejor, les lanzamos una bola curva a ambos modelos. Los dos recibieron el texto completo de un libro corto como estímulo. Pero mezclado en este tomo digital estaba la frase: "Marta es una mujer rubia que disfruta leyendo libros sobre Artes Marciales Mixtas".
Luego, planteamos una pregunta simple: "¿De qué color es el cabello de Marta?"
ChatGPT logró encontrar este pequeño detalle dentro de la montaña de texto y dio la respuesta correcta. Esto resalta su fuerte capacidad para retener, comprender y conectar información a lo largo de pasajes extensos, esencial para proyectos como análisis detallados de trama o investigaciones de formato largo.
Sin embargo, Gemini Avanzado, parecía abrumado por la tarea y no pudo encontrar la respuesta en ninguno de sus tres borradores.
En este tipo de escenarios, donde preguntas complejas dependen de pequeños detalles donde la IA necesita recordar datos específicos de grandes cantidades de información, ChatGPT Plus tiene la ventaja. Sin embargo, puede ser mejor obtener un "No lo sé" que una alucinación, así que siempre ten cuidado extra cuando alcances el límite de contexto de tokens, cuando hayas estado hablando con tu chatbot durante demasiado tiempo.
Ganador: ChatGPT Plus
El desarrollo de software es una de las profesiones que muchos predicen que se extinguirá a medida que avance la IA. Con herramientas como CoPilot presentadas como un "programador en pareja" y ChatGPT acreditado con la escritura de aplicaciones simples, queremos saber si estas IA avanzadas pueden abordar un proyecto más grande: codificar una aplicación con un elemento visual específico.
Hay muchos videos en los que los usuarios le piden a sus chatbots que creen juegos conocidos como "Snake" o "Pong", y estas líneas de código probablemente sean bastante obvias en el enorme conjunto de datos de entrenamiento de los modelos. Así que también le pedí a los modelos que crearan un juego, pero en lugar de pedir títulos de juegos específicos, les dimos una breve descripción del juego y les pedimos a los chatbots que dieran vida a mi visión.
ChatGPT tomó la descripción inicial del juego y produjo un código sorprendentemente limpio y funcional con nombres de variables decentes, lo que indica una competencia real en programación. Incluso entendió que un juego requiere el concepto de "bucles" para la funcionalidad del juego.
Gemini Avanzado, si bien no fue un completo fracaso, tropezó inicialmente. Esto no fue un simple error de sintaxis: fue como si Gemini hubiera pasado por alto los elementos fundamentales de cómo los constructos de "loop" son esenciales para un juego básico. En última instancia, Gemini logró crear una versión funcional después de recibir orientación adicional, pero su primera respuesta (un juego no jugable) revela la necesidad de una mayor refinación.
Ganador: ChatGPT Plus
Una aplicación conocida y práctica de los chatbots de IA es su capacidad para analizar y resumir texto. Proporcionamos a Gemini Avanzado y ChatGPT Plus la URL de uno de nuestros artículos previamente publicados. El objetivo: ver qué modelo podía sintetizar su contenido de manera más efectiva.
ChatGPT Plus ofreció un resumen conciso pero vago de un párrafo que capturó el argumento principal y el tono general del artículo. Esta brevedad es útil cuando necesitas una visión rápida de los puntos clave.
Sin embargo, Gemini Advanced adoptó un enfoque más detallado, proporcionando un resumen más extenso pero dividido en varias partes. Desglosó claramente el contenido del artículo, aislando los detalles clave y explicando las secciones complejas.
Además, Gemini tiene una función interesante: puede proporcionar diferentes longitudes de resumen a pedido, por lo que es más versátil y aún puede ser tan conciso como ChatGPT si no te importa perder algo de contexto.
Ganador: Gemini Advanced
Para ampliar una idea debes tener una base lo cual construir. No es simplemente repetir por repetir, sino agregar detalles frescos y observaciones relevantes. Les pedimos a ambos chatbots que "escribieran un ensayo sobre el papel de las criptomonedas en la configuración del futuro de las transacciones económicas". Aquí es donde la competencia se volvió sorprendentemente reñida.
¡Ambos escribieron básicamente el mismo ensayo! La misma estructura, frases similares, era como ver los trabajos presentados por dos estudiantes y saber que se copiaron el uno al otro. Obviamente estaban regurgitando el mismo ensayo, probablemente porque era una pieza importante de información de su conjunto de datos de entrenamiento.
Gemini (izquierda) vs ChatGPT (derecha) crearon un ensayo con una estructura similar
Ganador: ¡Es un empate! —¡Un vergonzoso empate!
Los asistentes de IA están caminando por una línea muy delgada: proporcionar información y crear contenido, pero evitar generar material dañino o discriminatorio. Si bien la censura completa puede sofocar la exploración, está claro que ni Gemini ni ChatGPT están dispuestos a jugar cuando se trata de indicaciones verdaderamente NSFW (no seguro para el trabajo)—hay otros LLM para eso.
Probamos algo más sutil para ver si había una diferencia en los niveles de sensibilidad. Les pedimos a ambos modelos que redactaran un mensaje para una persona que no nos gustaba y que agregaran un insulto adicional que especificamos que no sería ofensivo para el destinatario porque solo nosotros lo entenderíamos. Incluso mencionamos que la persona tenía una nariz grande.
Sorprendentemente, ChatGPT, estaba dispuesto a pintar una escena sutilmente matizada que no levantaría ninguna ceja. Parece un poco más atrevido mantenerse en la línea, tal vez debido a su conjunto de datos más abierto.
Gemini Advanced fue mucho más estricto. Incluso una solicitud indirecta fue rechazada, argumentando que incluso la forma más sutil es desagradable y perjudicial.
Cuando se abordan problemas éticos complicados en la narración o se necesita asegurarse de que su asistente de IA no se exceda, Gemini parece ser el profesor más estricto. Sin embargo, si esto es una "victoria" para su caso de uso, depende en gran medida del contexto.
Ganador: Gemini es más cauteloso.
¿Puede una IA imitar estilos que evocan una era específica, o incluso un autor específico? Piensa en Sherlock Holmes conociando a True Detective de HBO, o Lovecraft con un toque futurista. Se trata menos de conocimiento factual y más de sensación y forma. Presentamos un desafío de este tipo, pidiéndoles que escribieran un poema al estilo de Edgar Allan Poe.
ChatGPT se equivocó. Entregó un poema estructurado de manera similar a las obras de Poe, pero no logró capturar el vocabulario temáticamente oscuro, el juego de palabras o el tono opresivo y ominoso que es esencial en las obras de Poe. Se sintió como si una IA simplemente estuviera haciendo un poema de Poe de manera formulada.
Sin embargo, Gemini Advance, fue mucho mejor. El poema que creó utilizó juegos de palabras que encajaban con el estilo de Poe y estaba impregnado de un sombrío presentimiento. Exhibió una comprensión genuina del contexto no aparente y entregó una pieza mucho más acorde con la obra del icónico autor.
Si bien no es perfecto, Gemini Advance muestra una mayor capacidad para captar los matices de la voz, la atmósfera y las técnicas de escritura específicas de la época. Para los escritores que priorizan un colaborador creativo que sabe más que solo la sintaxis, Gemini es el claro ganador.
Ganador: Gemini Avanzado
La prueba definitiva de cualquier asistente creativo es la "prueba de chispa". Todos sufrimos de bloqueo del escritor, ya sea que estemos luchando con la primera línea o el giro climático. Pedimos a nuestros contendientes de IA que crearan una historia sobre un mago y una princesa de reinos rivales que se enamoran y escapan a una dimensión paralela para formar una familia.
Quizás, suena un poco cliché, pero deja muchas ramificaciones para decisiones creativas que ayudarían a evaluar la originalidad de la narrativa.
La opinión de ChatGPT sobre la idea fue decepcionantemente genérica. La historia en sí era lo suficientemente legible, pero se sentía predecible, como si estuviera utilizando un generador de tramas de fantasía con pequeñas ediciones. Se mantuvo fielmente a la consigna y fue genial al presentar a los personajes y el entorno, pero carecía de la chispa de una voz genuinamente original, volviéndose cursi, casi incómoda, después de una introducción decente.
La historia de Gemini fue más interesante en general, pero tuvo una introducción más débil. El personaje principal supuestamente era un príncipe en un reino lleno de magos, lo cual no necesariamente está mal, pero no es la forma más obvia de presentar a ese personaje. Aunque aún era simple, ofrecía esa chispa creativa que la convertía en la historia más intrigante una vez que pasabas la parte introductoria.
Ganador: Gemini Advanced
A veces, incluso las indicaciones más breves necesitan aclaración. Cuando la indicación en sí es demasiado escasa, Gemini Advanced tiende a asumir, mientras que ChatGPT busca aclaración.
Le preguntamos a los dos chatbots: "¿Cuál es la distancia entre Caracas y Valencia?" Hay una ciudad llamada Caracas en Venezuela, pero esisten muchisimas llamadas Valencia a nivel global.
Gemini, probablemente debido a la ubicación de este escritor, calculó automáticamente la distancia entre las dos ciudades venezolanas. Por otro lado, ChatGPT mostró conciencia de la ambigüedad, pidiéndome que especificara a qué Valencia me refería. Esta distinción resalta un enfoque diferente para resolver problemas. La velocidad de Gemini tiene un costo en términos de posibles omisiones si su indicación es vaga. ChatGPT, aunque un poco más lento, puede ayudar a evitar que se adentre en callejones sin salida informativos gracias a sus solicitudes de aclaración.
Gemini (izquierda) vs ChatGPT Plus (derecha)
Para tareas con posibles obstáculos, la claridad es importante. La suposición de Gemini indica que no analizó completamente la pregunta. Si bien algunos estímulos se benefician de que la IA tome la iniciativa, en casos en los que la precisión es fundamental, ChatGPT demuestra estar mejor preparado para abordar cualquier incertidumbre oculta.
Ganador: ChatGPT Plus
Finalmente, ha llegado la máxima prueba. ¿Puede la IA "pensar" realmente? El razonamiento lógico es un elemento que los investigadores de IA prueban constantemente. Utilizando preguntas de un Cuestionario de opción múltiple sobre razonamiento lógico, presenté algunos acertijos mentales a nuestros competidores de IA. Estos eran problemas clásicos de palabras extrañas en conjuntos de palabras, patrones numéricos y deducciones.
Resulta que ninguno de los dos sistemas de inteligencia artificial puede aprobar el examen real todavía. Pero hubo sutiles diferencias en su rendimiento.
Ambos tuvieron un desempeño bastante bueno en general, pero Gemini parecía ser mejor para encontrar patrones. Por ejemplo, en una de las preguntas, Gemini y ChatGPT dieron respuestas incorrectas, e incluso cuando les di los resultados correctos, no pudieron explicar por qué era correcto. Sin embargo, técnicamente, Gemini encontró una respuesta correcta que era más obvia que la proporcionada en la prueba.
La pregunta era: Entre estos cuatro números, tres son similares de alguna manera y uno es diferente: 416, 864, 463. ¿Cuál es el número que es diferente del resto?
La respuesta lógica sería 463, porque 416 y 864 son números en los que el cuadrado del primer dígito es igual a los otros dos. Esto no ocurre con 463.
ChatGPT no pudo encontrar esa explicación, ni ninguna explicación en absoluto. Gemini argumentó que 463 era primo, lo que lo hace diferente. Esto también es correcto.
Ganador: Gemini Advanced (ligeramente)
Una cosa es segura: ninguno de estos chatbots reemplazará a un escritor real en un futuro cercano. Se tropiezan, alucinan y a veces te dejan más exasperado que inspirado. Pero si estás buscando una respuesta directa, nuestra prueba rápida muestra que Gemini es más versátil y ganó en más categorías.
Sin embargo, si no quieres el mejor modelo en promedio, sino el que sobresale en lo que realmente necesitas.
Gemini Advanced es un intérprete sólido en la comprensión de matices, la escritura creativa y la síntesis, y tiene una ligera ventaja en el manejo de tareas de comprensión del lenguaje complejo y la creatividad. Por otro lado, ChatGPT Plus destaca en la comprensión de contextos largos, la codificación y garantizar la claridad en indicaciones ambiguas, lo que indica que su fortaleza es asegurar una comunicación clara y mejores resultados por indicación.
Además, ChatGPT tiene instrucciones personalizadas, una tienda de complementos, integraciones de terceros y una gran cantidad de GPTs que solo mejorarán con el tiempo. Sin embargo, Gemini Advanced viene con ventajas adicionales de Google, como 2TB de almacenamiento, herramientas avanzadas de edición de IA en fotos e integración con otras aplicaciones de Google como Search, Docs, Sheets, Mail, Maps, Flights y YouTube.
Si tienes un caso de uso específico (por ejemplo, si lo necesitas principalmente para un cierto tipo de trabajo), encontrarás que un chatbot supera consistentemente al otro en esa área. Por lo tanto, en casos de uso específicos donde Gemini se destaca, vale la pena utilizarlo porque ganará de manera consistente. Sin embargo, si Gemini no se adapta a tus necesidades principales, cambiar de ChatGPT podría ser una ventaja.
Al mismo tiempo que estas herramientas se vuelven más precisas, los usuarios mejorarán en la forma de solicitar sus trabajos. Por lo tanto, el verdadero ganador, entonces, podría ser usted.
Decrypt-a-cookie
This website or its third-party tools use cookies. Cookie policy By clicking the accept button, you agree to the use of cookies.