Investigadores Pueden Identificar Textos Generados Por IA Con Una Precisión Del 99%

Si te has estado acostumbrando a la idea de que tu amigable chatbot de IA, ChatGPT, redacte tu tesis final, es hora de entrar en la realidad. Si bien la escritura generada por IA ha impresionado a las masas, los investigadores de la Universidad de Kansas acaban de aumentar las apuestas al desarrollar un método con más del 99% de precisión para identificar la escritura académica científica generada por IA.

La investigación, publicada en la revista científica Cell Reports, explica cómo lograron hacerlo.

"La necesidad de discriminar la escritura humana de la IA es ahora crítica y urgente, especialmente en dominios como la educación superior y la escritura académica, donde la IA no había sido una amenaza o contribuyente significativo a la autoría", escribieron los investigadores.

Los intentos previos de detectar contenido generado por IA han tenido diferentes grados de éxito. Los propios esfuerzos de OpenAI, por ejemplo, no han sido confiables. Pero estas herramientas de detección tradicionalmente se han enfocado en un amplio espectro de estilos de escritura, en lugar de centrarse en el tono y propósito específicos que caracterizan la escritura académica científica.

Por el contrario, el método del equipo fue afinado para la escritura académica. Al comparar 64 perspectivas escritas por humanos y 128 artículos generados por ChatGPT sobre los mismos temas de investigación, identificaron marcadores clave de la escritura de IA.

Por ejemplo, la tendencia de ChatGPT a usar las palabras "otros" e "investigadores" en lugar de palabras como "sin embargo", "pero" y "aunque" resultó ser una pista reveladora. Además, la predilección de los humanos por estructuras de párrafos complejas, longitudes de oraciones variadas y recuentos de palabras cambiantes fue otra huella dactilar que faltaba en la escritura de IA.

Cuando se puso a prueba el modelo, logró identificar artículos generados por IA de los escritos por humanos con una tasa de precisión del 100% y distinguir párrafos escritos por IA dentro de artículos humanos con una tasa del 92%. En pruebas similares, el modelo del equipo incluso superó a un detector de texto de IA existente en el mercado.

Según un artículo enviado por Cell a Techxplore, el siguiente paso es ampliar los límites de la aplicabilidad del modelo, probándolo en conjuntos de datos más extensos y diferentes tipos de escritura académica científica. Queda por ver si el modelo mantendrá su efectividad a medida que ChatGPT y sus similares se vuelvan más sofisticados.

Además, los usuarios podrían potencialmente ajustar Modelos de Lenguaje de Gran Tamaño (LLMs) de código abierto y manipular el lenguaje para evadir este y otros métodos de detección. Sería otra carrera armamentística tecnológica: una entre "jailbreakers" que buscan crear las herramientas de IA más avanzadas y los investigadores que buscan desarrollar los mejores detectores para contenido generado por IA.

Pero, ¿esta herramienta está disponible para que los educadores la usen en los trabajos de los estudiantes?

Desaire dice que el modelo aún no está completamente desarrollado. Sin embargo, sus métodos pueden ser fácilmente replicados para diferentes aplicaciones.

Mientras tanto, recuerda: antes de pedirle a ChatGPT que "escriba mi tesis", ten en cuenta que tu amigo de IA podría ser más predecible de lo que piensas, por lo que es mejor hacer tu propia investigación (de trabajos). En cuanto a ChatGPT, podría ser hora de volver a la escuela de IA para algunas lecciones de matices y variedad.