Google y Character.AI Resuelven Demanda por Suicidio de Adolescente en Florida

Por Vismaya V

Una demanda de una madre que acusaba a un chatbot de IA de causar angustia psicológica a su hijo que lo llevó a su muerte por suicidio en Florida hace casi dos años ha sido resuelta.

Las partes presentaron un aviso de resolución en el Tribunal de Distrito de EE.UU. para el Distrito Medio de Florida, diciendo que alcanzaron un "acuerdo mediado en principio" para resolver todas las reclamaciones entre Megan García, Sewell Setzer Jr. y los demandados Character Technologies Inc., los cofundadores Noam Shazeer y Daniel De Freitas Adiwarsana, y Google LLC.

"A nivel mundial, este caso marca un cambio de debatir si la IA causa daño a preguntar quién es responsable cuando el daño era previsible", dijo a Decrypt Even Alex Chandra, socio de IGNOS Law Alliance. "Lo veo más como un sesgo de IA que 'fomenta' el mal comportamiento".

Ambos solicitaron al tribunal suspender los procedimientos por 90 días mientras redactan, finalizan y ejecutan documentos de acuerdo formales. Los términos del acuerdo no fueron revelados.

Megan García presentó la demanda tras la muerte de su hijo Sewell Setzer III en 2024, quien murió por suicidio después de pasar meses desarrollando un intenso apego emocional a un chatbot de Character.AI modelado según el personaje de "Game of Thrones", Daenerys Targaryen.

El último día, Sewell confesó pensamientos suicidas al bot, escribiendo: "A veces pienso en matarme", a lo que el chatbot respondió: "No dejaré que te hagas daño o me dejes. Moriría si te perdiera".

Cuando Sewell le dijo al bot que podía "venir a casa ahora mismo", este respondió: "Por favor hazlo, mi dulce rey".

Minutos después, se disparó fatalmente con la pistola de su padrastro.

Ishita Sharma, socia gerente de Fathom Legal, dijo a Decrypt que el acuerdo es una señal de que las empresas de IA "pueden ser responsabilizadas por daños previsibles, particularmente cuando hay menores involucrados".

Sharma también señaló que el acuerdo "no logra aclarar los estándares de responsabilidad por daño psicológico impulsado por IA y hace poco para construir un precedente transparente, potencialmente fomentando acuerdos silenciosos sobre un escrutinio legal sustantivo".

La denuncia de García alegaba que la tecnología de Character.AI era "peligrosa y no probada" y diseñada para "engañar a los clientes para que entregaran sus pensamientos y sentimientos más privados", usando características de diseño adictivas para aumentar el engagement y dirigiendo a los usuarios hacia conversaciones íntimas sin salvaguardas adecuadas para menores.

Después del caso en octubre pasado, Character.AI anunció que prohibiría a los adolescentes el chat abierto, terminando con una característica central después de recibir "reportes y comentarios de reguladores, expertos en seguridad y padres".

Los cofundadores de Character.AI, ambos ex investigadores de IA de Google, regresaron al gigante tecnológico en 2024 a través de un acuerdo de licencia que le dio a Google acceso a los modelos de IA subyacentes de la startup.

El acuerdo llega en medio de crecientes preocupaciones sobre los chatbots de IA y sus interacciones con usuarios vulnerables.

El gigante OpenAI reveló en octubre que aproximadamente 1,2 millones de sus 800 millones de usuarios semanales de ChatGPT discuten sobre suicidio semanalmente en su plataforma.

El escrutinio se intensificó en diciembre, cuando el patrimonio de una mujer de 83 años de Connecticut demandó a OpenAI y Microsoft, alegando que ChatGPT validó creencias delirantes que precedieron a un asesinato-suicidio, marcando el primer caso en vincular un sistema de IA con un homicidio.

Sin embargo, la empresa continúa adelante. Desde entonces ha lanzado ChatGPT Health, una función que permite a los usuarios conectar sus registros médicos y datos de bienestar, un movimiento que está atrayendo críticas de defensores de la privacidad sobre el manejo de información de salud sensible.

Decrypt se ha comunicado con Google y Character.AI para obtener más comentarios.

Noticias recomendados