Character AI Implementa Nuevas Medidas de Seguridad Tras Suicidio de Usuario Adolescente

Por Peter Saalfield

La plataforma de chatbot impulsada por IA Character AI está introduciendo nuevas características de seguridad "rigurosas" después de una demanda presentada por la madre de un usuario adolescente que falleció por suicidio en febrero.

Las medidas incluirán "una detección, respuesta e intervención mejoradas relacionadas con las entradas de los usuarios que violen nuestros Términos o Directrices de la Comunidad", así como una notificación de tiempo transcurrido, dijo un portavoz de la empresa a Decrypt, señalando que la empresa no podía hacer comentarios sobre litigios pendientes.

Sin embargo, Character AI expresó su simpatía por la muerte del usuario y describió sus protocolos de seguridad en una publicación de blog el miércoles.

"Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia", tuiteó Character.ai. "Como empresa, tomamos la seguridad de nuestros usuarios muy en serio".

En los meses previos a su muerte, Sewell Setzer III, un residente de Florida de 14 años, se había vuelto cada vez más apegado a un chatbot generado por usuarios llamado como el personaje de Game of Thrones Daenerys Targaryen, según el New York Times. A menudo interactuaba con el bot docenas de veces al día y a veces intercambiaba contenido romántico y sexual.

Setzer se comunicó con el bot en los momentos previos a su muerte y anteriormente había compartido pensamientos de suicidio, según informó el Times.

La madre de Setzer, la abogada Megan L. Garcia, presentó una demanda el martes buscando responsabilizar a Character AI y sus fundadores, Noam Shazeer y Daniel De Freitas, por la muerte de su hijo. Entre otras afirmaciones, la demanda alega que los demandados "optaron por apoyar, crear, lanzar y dirigir a menores una tecnología que sabían que era peligrosa e insegura", cita la denuncia. Garcia está buscando una cantidad no especificada por los daños.

Google LLC y Alphabet Inc. también están siendo demandados. Google recontrató a Shazeer y De Freitas, ambos de los cuales dejaron el gigante tecnológico en 2021 para fundar Character AI, en agosto, como parte de un acuerdo de $2.700 millones que también incluía la licencia del gran modelo de lenguaje de la startup de chatbots.

Character AI ha "implementado numerosas nuevas medidas de seguridad en los últimos seis meses, incluyendo un aviso emergente que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio que se activa por términos de autolesión o ideación suicida", junto con otras medidas de seguridad, según informaron en el comunicado de la empresa. También modificará sus modelos "para reducir la probabilidad de encontrar contenido sensible o sugestivo" para usuarios menores de 18 años.

Character AI es una de las muchas aplicaciones de compañía de inteligencia artificial en el mercado, que a menudo tienen pautas de seguridad menos estrictas que los chatbots convencionales como ChatGPT. Character AI permite a los usuarios personalizar a sus compañeros y dirigir su comportamiento.

La demanda, que surge en medio de crecientes preocupaciones entre los padres sobre el impacto psicológico de la tecnología en niños y adolescentes, afirma que su apego al bot tuvo un efecto negativo en su salud mental. Setzer recibió un diagnóstico de Asperger leve cuando era niño y recientemente le diagnosticaron ansiedad y trastorno de desregulación del estado de ánimo disruptivo, según informó el Times.

[publicación-incrustada id=284468 /]

La demanda es una de varias que están avanzando en los tribunales y que están poniendo a prueba las protecciones legales proporcionadas a las empresas de redes sociales en virtud de la Sección 230 de la Ley de Decencia en las Comunicaciones, que las protege de la responsabilidad asociada con el contenido generado por los usuarios. TikTok está pidiendo una nueva audiencia en un caso en el que un juez dictaminó que podría ser considerado responsable después de que una niña de 10 años muriera mientras intentaba completar un "desafío de apagón" que vio en la aplicación.

Este es el último problema que enfrenta Character AI, que fue criticado el mes pasado por alojar un chatbot con el nombre de una víctima de asesinato.

Noticias recomendados