OpenAI Actualiza ChatGPT para Detectar Señales de Riesgo en Conversaciones Sensibles

Por Jason Nelson

OpenAI anunció el jueves nuevas funciones de seguridad diseñadas para ayudar a ChatGPT a reconocer señales de riesgo creciente en las conversaciones, mientras la empresa enfrenta un escrutinio legal y político cada vez mayor sobre cómo su chatbot maneja a usuarios en situaciones de angustia.

En un post, OpenAI señaló que las actualizaciones mejoran la capacidad de ChatGPT para identificar señales de alerta relacionadas con el suicidio, las autolesiones y la posible violencia, analizando el contexto que se desarrolla con el tiempo en lugar de tratar cada mensaje de forma aislada.

"Las personas acuden a ChatGPT todos los días para hablar de lo que les importa, desde preguntas cotidianas hasta conversaciones más personales o complejas", escribió la empresa. "A lo largo de cientos de millones de interacciones, algunas de estas conversaciones incluyen a personas que están pasando por dificultades o experimentando angustia".

Según OpenAI, ChatGPT ahora utiliza "resúmenes de seguridad" temporales, que describió como notas de alcance limitado que capturan el contexto relevante en materia de seguridad de conversaciones anteriores.

"En conversaciones sensibles, el contexto puede importar tanto como un solo mensaje", escribió la empresa. "Una solicitud que parece ordinaria o ambigua por sí sola puede tener un significado muy diferente cuando se analiza junto con señales anteriores de angustia o posible intención dañina".

OpenAI indicó que los resúmenes son notas de corto plazo que se utilizan solo en situaciones graves, no para recordar a los usuarios de forma permanente ni para personalizar conversaciones, y se usan para detectar señales de que una conversación se está volviendo peligrosa, evitar proporcionar información dañina, reducir la tensión en la situación o guiar a los usuarios hacia ayuda profesional.

"Nos enfocamos en escenarios agudos, como el suicidio, las autolesiones y el daño a terceros", afirmaron. "Trabajando con expertos en salud mental, actualizamos las políticas y el entrenamiento de nuestro modelo para mejorar la capacidad de ChatGPT de reconocer señales de alerta que emergen a lo largo de una conversación y utilizar ese contexto para generar respuestas más cuidadosas".

El anuncio llega mientras OpenAI enfrenta múltiples demandas e investigaciones que alegan que ChatGPT no respondió de forma adecuada en conversaciones peligrosas relacionadas con violencia, vulnerabilidad emocional y comportamientos de riesgo.

En abril, el fiscal general de Florida, James Uthmeier, inició una investigación contra OpenAI vinculada a preocupaciones sobre la seguridad infantil, las autolesiones y el tiroteo masivo de 2025 en la Universidad Estatal de Florida. OpenAI también enfrenta una demanda federal que alega que ChatGPT ayudó al presunto autor del ataque a llevarlo a cabo.

El martes, OpenAI y su CEO Sam Altman fueron demandados en un tribunal estatal de California por la familia de un estudiante de 19 años que murió de una sobredosis accidental, con la demanda alegando que ChatGPT alentó el consumo peligroso de drogas y dio consejos sobre cómo mezclar sustancias.

OpenAI afirmó que ayudar a ChatGPT a reconocer "el riesgo que solo se hace evidente con el tiempo" sigue siendo un desafío constante; métodos de seguridad similares podrían eventualmente expandirse a otras áreas.

"Hoy, este trabajo se centra en escenarios de autolesiones y daño a terceros. En el futuro, exploraremos si métodos similares pueden ser útiles en otras áreas de alto riesgo, como la biología o la ciberseguridad, con salvaguardas cuidadosas implementadas", escribieron. "Esta sigue siendo una prioridad permanente, y continuaremos fortaleciendo las medidas de protección a medida que nuestros modelos y comprensión evolucionen".

Noticias recomendados