Roblox, Discord, OpenAI y Google crean un nuevo grupo para la seguridad infantil.
ROOST afirma que el avance de la inteligencia artificial ha generado una mayor necesidad de fortalecer la seguridad en línea para los menores.
Google, OpenAI, Roblox y Discord han unido fuerzas en la creación de una nueva organización sin fines de lucro destinada a mejorar la seguridad infantil en línea. Esta iniciativa, denominada Robust Open Online Safety Tools (ROOST), tiene el objetivo de hacer que las tecnologías de seguridad esenciales sean más accesibles para las empresas y ofrecer herramientas de inteligencia artificial de código abierto, gratuitas para identificar, revisar y reportar material de abuso sexual infantil.
La motivación detrás de esta iniciativa proviene en parte de las transformaciones que los avances en inteligencia artificial generativa han causado en los entornos digitales. Eric Schmidt, ex CEO de Google y uno de los socios fundadores de ROOST, destacó la necesidad urgente de innovar en la seguridad en línea para los niños. Aunque aún se conocen pocos detalles sobre las herramientas de detección de CSAM, se ha confirmado que emplearán modelos de IA de lenguaje avanzado y buscarán "unificar" las opciones existentes para abordar este contenido.
El enfoque de ROOST se basa en una plataforma centrada en la protección infantil, fomentando la colaboración y la transparencia mediante un modelo de código abierto que permitirá una infraestructura más accesible e inclusiva. El anuncio de ROOST se produce en medio de un intenso debate regulatorio sobre la seguridad infantil en las redes sociales y plataformas digitales, donde las empresas buscan soluciones de autorregulación para satisfacer las demandas legales.
Según el National Center for Missing and Exploited Children (NCMEC), la explotación infantil sospechosa ha aumentado en un 12% entre 2022 y 2023. Desde 2020, más de la mitad de los niños en Estados Unidos utilizan Roblox, que ha enfrentado críticas por no abordar adecuadamente la explotación sexual infantil y la exposición a contenido inapropiado. Tanto Roblox como Discord fueron señalados en una demanda relacionada con redes sociales en 2022, en la que se alegaba que estas plataformas no lograron prevenir que adultos enviaran mensajes a niños sin supervisión.
Los miembros fundadores de ROOST están ofreciendo financiamiento, herramientas o su experiencia para el proyecto. La organización planea colaborar con desarrolladores líderes de modelos de inteligencia artificial para crear una "comunidad de práctica" enfocada en medidas de seguridad de contenido, proporcionando conjuntos de datos de entrenamiento y identificando vacíos en la seguridad.
ROOST pretende hacer que "las herramientas que ya existen" sean más accesibles, combinando las tecnologías de detección y reporte de sus organizaciones miembros en una solución unificada que será más sencilla de implementar para otras empresas. Naren Koneru, vicepresidente de ingeniería, confianza y seguridad de Roblox, mencionó que ROOST podría albergar sistemas de moderación de IA que las empresas podrán integrar mediante llamadas API. Sin embargo, aún hay incertidumbre respecto a las herramientas de moderación de IA que ofrecerá ROOST.
Por su parte, Discord anunció que sus contribuciones se basarán en el proyecto Lantern, de intercambio de información entre plataformas, al que se unió en 2023 junto a Meta y Google. También podría incluir una versión actualizada de su modelo de IA para detección de contenidos inapropiados, que se planea abrir al público este año. La interacción entre estas herramientas y los sistemas de detección de CSAM ya existentes, como la herramienta de análisis de imágenes PhotoDNA de Microsoft, no está del todo clara.
Además de su participación en ROOST, Discord ha lanzado una nueva función denominada "Ignorar", que permite a los usuarios ocultar mensajes y notificaciones sin notificar a las personas que han silenciado. El Director Legal de Discord, Clint Smith, afirmó que están comprometidos a hacer de Internet un lugar más seguro y mejor, especialmente para los jóvenes. ROOST ha recaudado más de 27 millones de dólares para sus primeros cuatro años de operación, respaldado por organizaciones filantrópicas como la McGovern Foundation, el Future of Online Trust and Safety Fund, la Knight Foundation y el AI Collaborative. La organización también contará con el apoyo de expertos en seguridad infantil, inteligencia artificial, tecnología de código abierto y contra el extremismo violento.
