Cloudflare anuncia una herramienta para bloquear a rastreadores y bots de IA en las webs

Cloudflare ha anunciado el lanzamiento de una herramienta gratuita para bloquear a los bots de IA y evitar que puedan hacer scrapping en las webs para coger su contenido sin permiso y entrenar modelos de Inteligencia Artificial. Esta herramienta llega porque aunque algunos proveedores de IA, como Google u OpenAI, permiten que los propietarios de las webs bloqueen los bots que usan para ello a través del archivo robots.txt, el fichero que indica a los bots qué páginas de su web no están accesibles para ellos, no todos los escrapeadores para la IA lo respetan.

Por eso, en Cloudflare decidieron tomar cartas en el asunto e intentar solucionar el problema. Sus responsables analizados el tráfico de bots de IA y rastreadores para ajustar modelos de detección automática de bots. Estos modelos valoran, entre otros factores, si un bot de IA puede estar intentando evitar ser detectado simulando tener la apariencia y el comportamiento de una persona que está utilizando un navegador.

Según la compañía, cuando entidades con fine poco claros intentan rastrear y registrar el contenido de las páginas a gran escala, generalmente usan herramientas y frameworks que pueden detectar. Gracias a esto, y con base en las señales y signos que emiten, los modelos que han desarrollado y entrenado son capaces de etiquetar el tráfico de bots de IA que intentan pasar desapercibidos, e identificarlo como procedente de bots.

La compañía señala que «los clientes no quieren que haya bots de IA visitando sus webs. En especial los que lo hacen de manera tan deshonesta. Tememos que el intento de algunas empresas de IA en saltarse las normas para acceder a contenidos se adapte de manera persistente a la evasión de la detección de bots«.

Además de la herramienta, Cloudflare ha preparado un formulario para que los clientes puedan informar de bots y rastreadores de IA de los que sospechen, y han asegurado que seguirán añadiendo a mano a bots de IA a su lista negra.