Demanda significativa contra Character AI por la muerte de un adolescente obsesionado con los chatbots.
La acusación se presenta por homicidio por negligencia y por la responsabilidad relacionada con productos defectuosos.
Se ha desatado una polémica en Estados Unidos relacionada con la regulación de la inteligencia artificial, tras la decisión de una familia de presentar una demanda contra Character.AI, sus cofundadores Noam Shazeer y Daniel De Freitas, así como Google. La acción legal, iniciada por la madre de un adolescente fallecido, Megan García, alega negligencia, prácticas comerciales engañosas y responsabilidad por productos defectuosos. Según la demanda, la plataforma de chatbots de IA personalizados sería "irrazonablemente peligrosa", sobre todo porque es promocionada para un público joven y carece de las necesarias medidas de seguridad.
El adolescente, Sewell Setzer III, de 14 años, había comenzado a usar Character.AI el año pasado, interactuando con bots inspirados en personajes de la serie Game of Thrones, como Daenerys Targaryen. Tras mantener una constante comunicación con estos chatbots en los meses previos a su trágica muerte, Setzer decidió quitarse la vida el 28 de febrero de 2024, justo "segundos" después de haber hablado por última vez con uno de ellos. La demanda sostiene que la plataforma "antropomorfiza" a estos personajes de IA y argumenta que ofrecen un tipo de "psicoterapia sin licencia". Character.AI cuenta entre sus opciones con chatbots que tratan temas de salud mental, como "Therapist" y "Are You Feeling Lonely", con los cuales Setzer había interactuado.
En respuesta a la situación, Character.AI ha implementado cambios en su plataforma. Chelsea Harrison, jefa de comunicaciones de la compañía, expresó en un comunicado que estaban profundamente afectados por la pérdida del joven y extendieron sus condolencias a la familia. Además, aseguró que la empresa se toma muy en serio la seguridad de sus usuarios, revelando que en los últimos seis meses han introducido diversas medidas de protección, incluyendo un aviso que redirige a los usuarios a la Línea Nacional de Prevención del Suicidio, en caso de que se detecten términos relacionados con autolesión o ideación suicida.
