En Resumen
- Comediantes profesionales encontraron que la inteligencia artificial, a través de LLMs como ChatGPT, es inadecuada para generar humor de calidad.
- El estudio en el Festival Fringe de Edimburgo mostró que los LLMs carecen de la humanidad necesaria para crear comedia auténtica y graciosa.
- Participantes del estudio expresaron preocupaciones éticas sobre el uso de IA en la comedia, señalando sesgos culturales y limitaciones en la comprensión del contexto y la sátira.
El humor y la comedia son infinitamente matizados y subjetivos, pero los investigadores de DeepMind de Google encontraron consenso entre los comediantes profesionales: "La inteligencia artificial es muy mala en eso"
Ese fue uno de muchos comentarios recopilados durante un estudio realizado a veinte comediantes y artistas profesionales durante talleres en el Festival Fringe de Edimburgo en agosto de 2023 y en línea. Los hallazgos mostraron que los modelos grandes de lenguaje o Large Language Models (LLMs) accedidos a través de chatbots presentaron desafíos significativos y plantearon preocupaciones éticas sobre el uso de la IA en la generación de material humorístico.
La investigación involucró un taller de tres horas en el que los comediantes participaron en una sesión de escritura de comedia con LLMs populares como ChatGPT y Bard. También evaluó la calidad de la producción a través de un cuestionario de interacción humano-computadora basado en el Índice de Soporte a la Creatividad (CSI), que mide qué tan bien una herramienta apoya la creatividad.
Los participantes también discutieron las motivaciones, procesos y preocupaciones éticas de usar la inteligencia artificial en la comedia en un grupo de enfoque.
Los investigadores pidieron a los comediantes que utilizaran la IA para escribir rutinas de comedia en vivo y luego les pidieron que evaluaran los resultados y compartieran sus pensamientos. Los resultados no fueron buenos.
Uno de los participantes describió el material generado por IA como "lo más insípido y aburrido que he leído. Dejé de leerlo. Era muy malo". Otro se refirió a la producción como "un borrador vomitivo que sé que tendré que revisar y mejorar".
"Y no quiero vivir en un mundo donde mejore", dijo otro.
El estudio encontró que los LLMs fueron capaces de generar esquemas y fragmentos de rutinas más largas, pero carecían de los elementos distintivamente humanos que crean algo gracioso. Cuando se les pidió que generaran la estructura de un borrador, los modelos "arrojaron una escena que proporcionaba mucha estructura", pero cuando se trataba de los detalles, "los LLMs no tuvieron éxito como herramienta de apoyo a la creatividad".
Entre las razones, los autores señalan que estaba la “alineación de valor cultural global de los LLMs”, ya que las herramientas utilizadas en el estudio generaron material basado en todo el material acumulado, abarcando todas las disciplinas posibles. Esto también introdujo una forma de sesgo, que los comediantes señalaron.
“Los participantes señalaron que las estrategias de moderación existentes utilizadas en el filtrado de seguridad y los LLM ajustados a la instrucción reforzaban puntos de vista hegemónicos al borrar grupos minoritarios y sus perspectivas, y calificaron esto como una forma de censura”, dijo el estudio.
Los LLMs populares están restringidos, según los investigadores, citando los llamados “criterios HHH”, que piden una salida honesta, inofensiva y útil, encapsulando lo que “la mayoría de los usuarios desean de una IA alineado”.
El material fue descrito por un panelista como “material de comedia de crucero de la década de 1950, pero un poco menos racista”.
“Cuanto más amplio es el atractivo de algo, menos genial podría ser”, dijo otro participante. “Si haces algo que se adapta a todos, probablemente terminará no siendo el favorito de nadie”.
Los investigadores enfatizaron la importancia de considerar la sutil diferencia entre el discurso dañino y el lenguaje ofensivo utilizado en la resistencia y la sátira. Mientras tanto, los comediantes también se quejaron de que la IA fallaba porque no entendía matices como el sarcasmo, el humor negro o la ironía.
“Muchas de mis respuestas podían tener partes oscuras, y luego no me escribía nada oscuro, porque pensaba que iba a suicidarme”, informó un participante. “Así que simplemente dejó de darme cualquier cosa”.
El hecho de que los chatbots se basaran en material escrito no ayudó, encontró el estudio.
"Dado que los LLM disponibles actualmente son accesibles principalmente a través de una interfaz de chat basada en texto, sintieron que la utilidad de estas herramientas se limitaba solo a un subconjunto de los dominios necesarios para producir un producto cómico completo", señalaron los investigadores.
“Cualquier texto escrito podría ser un texto aceptable, pero un gran actor probablemente podría hacerlo muy entretenido”, dijo un participante.
El estudio reveló que las limitaciones de la inteligencia artificial en la escritura de comedia van más allá de la simple generación de contenido. Los comediantes enfatizaron que la perspectiva y el punto de vista son rasgos únicos de los seres humanos, con un comediante señalando que los humanos "añaden mucho más matiz, emoción y sutileza" debido a su experiencia vivida y su relación con el material.
Muchos describieron la centralidad de la experiencia personal en la buena comedia, lo que les permite recurrir a recuerdos, conocidos y creencias para construir narrativas auténticas y atractivas. Además, los comediantes destacaron la importancia de comprender el contexto cultural y la audiencia.
"El tipo de comedia que podría hacer en la India sería muy diferente del tipo de comedia que podría hacer en el Reino Unido, porque mi contexto social cambiaría", dijo uno de los participantes.
Thomas Winters, uno de los investigadores citados en el estudio, explica por qué esto es algo difícil de abordar para la inteligencia artificial.
“El requisito previo de cambio de marco del humor revela su dificultad para que una máquina lo adquiera”, dijo. “Esta dependencia sustancial de la percepción del pensamiento humano: la memoria, las habilidades lingüísticas para la integración semántica y las inferencias del conocimiento del mundo, a menudo llevó a los investigadores a concluir que el humor es un problema completo de IA”.
Abordando la amenaza que la IA representa para los empleos humanos, la CTO de OpenAI, Mira Murati, dijo recientemente que "algunos trabajos creativos quizás desaparezcan, pero tal vez no deberían haber estado allí en primer lugar”. Sin embargo, dadas las capacidades actuales de la tecnología, parece que por ahora los comediantes pueden respirar aliviados.
Editado por Ryan Ozawa.