Cloudflare presenta una herramienta para combatir bots de inteligencia artificial.

Cloudflare, el proveedor de servicios en la nube que cotiza en bolsa, ha lanzado una nueva herramienta gratuita para evitar que los bots recopilen datos de los sitios web alojados en su plataforma con el propósito de entrenar modelos de IA. Algunos proveedores de IA, como Google, OpenAI y Apple, permiten a los propietarios de sitios web bloquear los bots que utilizan para recopilar datos y entrenar modelos al modificar el archivo robots.txt de su sitio web, el cual indica a los bots qué páginas pueden acceder en un sitio. Sin embargo, Cloudflare señala en una publicación anunciando su herramienta de combate contra bots que no todos los raspadores de IA respetan esto. "Los clientes no desean que los bots de IA visiten sus sitios web, especialmente aquellos que lo hacen de manera deshonesta", escribe la empresa en su blog oficial. "Tememos que algunas empresas de IA que intentan eludir las reglas para acceder al contenido se adapten persistentemente para evadir la detección de bots".

Por lo tanto, en un intento por abordar el problema, Cloudflare analizó el tráfico de bots de IA y rastreadores para ajustar los modelos automáticos de detección de bots. Los modelos consideran, entre otros factores, si un bot de IA podría estar intentando evadir la detección al imitar la apariencia y el comportamiento de alguien que utiliza un navegador web. "Cuando los actores malintencionados intentan rastrear sitios web a gran escala, generalmente utilizan herramientas y marcos que podemos reconocer", escribe Cloudflare. "Basándose en estas señales, nuestros modelos son capaces de identificar apropiadamente el tráfico de bots evasivos de IA como bots". Cloudflare ha establecido un formulario para que los anfitriones informen sobre bots de IA y rastreadores sospechosos y afirma que continuará agregando a una lista negra manualmente a los bots de IA con el tiempo.

El problema de los bots de IA se ha destacado con fuerza a medida que el auge de la IA generativa impulsa la demanda de datos de entrenamiento de modelos. Muchos sitios, desconfiados de que los proveedores de IA entrenen modelos con su contenido sin alertar o compensarlos, han optado por bloquear los raspadores y rastreadores de IA. Según un estudio, alrededor del 26% de los 1,000 sitios principales en la web han bloqueado el bot de OpenAI; otro encontró que más de 600 editoriales de noticias habían bloqueado el bot. Sin embargo, bloquear no es una protección infalible. Como se mencionó anteriormente, algunos proveedores parecen estar ignorando las reglas estándar de exclusión de bots para obtener ventajas competitivas en la carrera de la IA. El motor de búsqueda de IA Perplexity fue acusado recientemente de suplantar visitantes legítimos para recopilar contenido de sitios web, y se dice que OpenAI y Anthropic a veces han ignorado las reglas de robots.txt. En una carta a los editores el mes pasado, la startup de licencias de contenido TollBit dijo que, de hecho, ve "muchos agentes de IA" ignorando el estándar robots.txt. Herramientas como la de Cloudflare podrían ayudar, pero solo si demuestran ser precisas en la detección de bots de IA clandestinos. Y no resolverán el problema más intratable de los editores que corren el riesgo de sacrificar tráfico de referencia de herramientas de IA como las descripciones de la IA de Google, que excluyen sitios de inclusión si bloquean rastreadores de IA específicos.