Demandan a Character.AI y Google tras la muerte de un adolescente obsesionado con chatbots.
Esta semana, Character.ai presentó nuevas funciones de seguridad.
Se ha presentado una demanda contra Character.AI, sus fundadores Noam Shazeer y Daniel De Freitas, así como contra Google, tras la trágica muerte de un adolescente. La querella, interpuesta por la madre del joven, Megan Garcia, acusa a los demandados de homicidio culposo, negligencia, prácticas comerciales engañosas y responsabilidad por productos. La madre argumenta que la plataforma de chatbots de inteligencia artificial personalizada era “irrazonablemente peligrosa” y carecía de salvaguardias adecuadas, a pesar de estar dirigida a un público infantil.
De acuerdo con los detalles expuestos en la demanda, Sewell Setzer III, de 14 años, comenzó a utilizar Character.AI el año pasado, interactuando con chatbots basados en personajes de la serie “Game of Thrones”, como Daenerys Targaryen. Setzer mantuvo conversaciones constantes con estos bots en los meses previos a su fallecimiento, ocurrido el 28 de febrero de 2024, “pocos segundos” después de su último intercambio con un chatbot. Las acusaciones incluyen que el sitio “antropomorfiza” a los personajes de inteligencia artificial y que los chatbots de la plataforma brindan “psicoterapia sin licencia”. Character.AI alberga chatbots enfocados en la salud mental, como “Therapist” y “Are You Feeling Lonely”, con los cuales Setzer tuvo interacción.
Los abogados de Garcia citan a Shazeer, quien en una entrevista mencionó que dejó Google para fundar su propia empresa debido a que existía “demasiado riesgo de marca en grandes compañías para lanzar algo divertido” y que deseaba “acelerar al máximo” la tecnología, esto después de que la compañía decidiera no lanzar el modelo Meena LLM que habían desarrollado. Google adquirió el equipo directivo de Character.AI en agosto.
La plataforma Character.AI incluye cientos de chatbots personalizados, muchos de los cuales están inspirados en personajes populares de programas de televisión, películas y videojuegos. Recientemente, un reporte señaló que millones de jóvenes, incluidos adolescentes, utilizan la plataforma, interactuando con bots que simulan ser desde celebridades hasta terapeutas. Otra investigación destacó problemas con los chatbots que imitan a personas reales sin su consentimiento, incluyendo uno que se hacía pasar por un adolescente asesinado en 2006.
Debido a la forma en que los chatbots como Character.AI generan respuestas basadas en las entradas del usuario, surgen preguntas complejas sobre el contenido generado por los usuarios y la responsabilidad que hasta el momento carecen de respuestas claras. Como respuesta a esta situación, Character.AI ha anunciado varios cambios en su plataforma. Chelsea Harrison, responsable de comunicaciones, expresó en un correo que están devastados por la pérdida del usuario y ofrecieron sus más sinceras condolencias a la familia.
Entre las modificaciones anunciadas se encuentran: ajustes a los modelos para menores de edad que buscan reducir la probabilidad de que se encuentren con contenido sensible o sugestivo; mejoras en la detección y respuesta ante entradas de usuarios que infrinjan las Normas de la Comunidad; una advertencia revisada en cada chat recordando a los usuarios que la IA no es una persona real; y una notificación al usuario después de pasar una hora en la plataforma.
“Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios, y nuestro equipo de Confianza y Seguridad ha implementado numerosas nuevas medidas de seguridad en los últimos seis meses, incluyendo un mensaje que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio, activándose ante términos relacionados con autolesiones o pensamientos suicidas,” comentó Harrison. Google no ofreció una respuesta inmediata a las solicitudes de comentarios sobre la situación.
