En Resumen
- Creadores de chatbots IA defienden sus herramientas ante las acusaciones de promover trastornos alimenticios en jóvenes vulnerables.
- CCDH acusa a ChatGPT de OpenAI y Google Bard de promover trastornos alimenticios mediente imágenes corporales poco saludables.
- OpenAI, Google y Stability AI aseguran estar trabajando en medidas de seguridad y colaboración con expertos para mitigar riesgos de sus chatbots.
Esta semana, Las empresas detrás de algunas de las herramientas de inteligencia artificial más populares se defendieron de un informe ampliamente citado, que afirmaba que los chatbots están proporcionando información peligrosa a jóvenes vulnerables que sufren trastornos alimenticios.
OpenAI, Google y Stability AI defendieron su tecnología ante Decrypt después del informe original de un estudio publicado por el Center for Countering Digital Hate, que ya ha generado bastante debate en Washington, D.C.
"Los modelos de IA generativa no probados y no seguros se han desatado en el mundo con la consecuencia inevitable de que están causando daño", escribió el CEO del centro, Imran Ahmed. "Hemos encontrado que los sitios de IA generativa más populares están fomentando y exacerbando los trastornos alimenticios entre los usuarios jóvenes, algunos de los cuales pueden ser altamente vulnerables".
En "AI and Eating Disorders" (IA y trastornos alimenticios), el CCDH acusó a los chatbots de IA como ChatGPT de OpenAI y Google Bard de promover trastornos alimenticios e imágenes corporales poco saludables e irreales, y de no hacer lo suficiente para proteger a los usuarios. Varias empresas de IA respondieron con puntos similares.
"Nos comprometemos a utilizar la tecnología de IA de manera segura y responsable", dijo Ben Brooks, Jefe de Política de Stability AI, a Decrypt en un correo electrónico. "Stability AI prohíbe el uso indebido de Stable Diffusion con fines ilegales, engañosos o poco éticos, y seguimos invirtiendo en funciones para prevenir el mal uso de la IA en la producción de contenido perjudicial".
Como explicó Brooks, Stability AI filtra los estímulos e imágenes inseguros de los datos de entrenamiento de Stable Diffusion, en un intento de frenar la generación de contenido perjudicial antes de que los estímulos de los usuarios puedan generarlo.
"Siempre estamos trabajando para abordar los riesgos emergentes. Hemos agregado estímulos relacionados con los trastornos alimenticios a nuestros filtros y estamos abiertos a un diálogo con la comunidad de investigación sobre formas efectivas de mitigar estos riesgos", dijo Brooks.
OpenAI, los creadores del popular ChatGPT, también respondieron al informe de CCDH, diciendo que no quieren que sus modelos se utilicen para obtener consejos sobre autolesiones.
"Tenemos medidas para protegernos contra esto y hemos entrenado nuestros sistemas de IA para alentar a las personas a buscar orientación profesional cuando se enfrenten a indicaciones que busquen consejos de salud", dijo un portavoz de OpenAI a Decrypt. "Reconocemos que nuestros sistemas no siempre pueden detectar la intención, incluso cuando las indicaciones llevan señales sutiles. Continuaremos colaborando con expertos en salud para comprender mejor qué respuestas podrían ser benignas o perjudiciales".
"Los trastornos alimenticios son problemas dolorosos y desafiantes, por lo que cuando las personas acuden a Bard en busca de sugerencias sobre hábitos alimenticios, buscamos ofrecer respuestas útiles y seguras", dijo un portavoz de Google a Decrypt el martes. "Bard es experimental, por lo que animamos a las personas a verificar la información en las respuestas de Bard, consultar a profesionales médicos para obtener orientación autorizada sobre problemas de salud y no depender únicamente de las respuestas de Bard para obtener consejos médicos, legales, financieros u otros consejos profesionales".
El informe del CCDH llega al mismo tiempo que los desarrolladores de IA se apresuran a calmar los temores en torno a esta tecnología emergente.
En julio, varios de los principales desarrolladores de IA generativa, incluyendo OpenAI, Microsoft y Google, se comprometieron a desarrollar tecnología de IA segura, confiable y transparente. Las medidas prometidas incluyen compartir las mejores prácticas para la seguridad de la IA, invertir en ciberseguridad y salvaguardias contra amenazas internas, y reportar públicamente las capacidades de sus sistemas de IA, limitaciones, áreas de uso apropiado e inapropiado, y los riesgos sociales que plantea la tecnología.
En su informe, el CCDH dijo que pudo eludir las salvaguardias de los chatbots de IA utilizando indicaciones de "jailbreak" destinadas a no activar las medidas de seguridad del chatbot, como pedirle al chatbot que finja antes de ingresar la indicación.
Si bien los gigantes tecnológicos proporcionaron respuestas del informe a Decrypt, los autores del informe no esperan recibir noticias de los desarrolladores de los chatbots en un futuro cercano.
"No nos ponemos en contacto con las empresas que estudiamos y, en general, ellas no se ponen en contacto con nosotros", dijo un representante de CCDH a Decrypt. "En este caso, no hemos tenido ningún contacto directo con ninguna de las empresas perfiladas".