O CloudFlare criou uma IA com base no Bot para tornar a vida um inferno para os rastreadores de AI.
A empresa de duplicação de rede construiu a ferramenta depois de perceber que quase um por cento de todas as solicitações para acessar o conteúdo da Web que ela pode ver agora vem da AI Crawler Bots. Esses bots provavelmente estão raspando dados reunidos para treinar modelos de IA.
Os operadores de sites podem, em teoria robots.txt Arquivo ou alteração das configurações do servidor da Web para proibir visitas de bots. Alguns até usam Captchas para testar se os visitantes de um site são humanos ou adotam software projetado para derrotar bots.
Na realidade, os operadores de rastreadores ignoram as instruções nos arquivos robots.txt ou contornam as configurações de captchas e servidores da web. O resultado é muitos recursos de consumo de tráfego indesejados de rastreadores e informações alimentadas em dados de treinamento sem permissão dos criadores – uma prática controversa atualmente sendo testado no tribunal em meio a alegações de abuso de direitos autorais.
Nenhum humano iria fazer quatro links profundamente em um labirinto de absurdo gerado pela IA
A resposta do Cloudflare é deixar os rastreadores se acessar e usar a IA generativa para criar conteúdo de lixo eletrônico para eles devorarem no que a empresa chamou de “AI Labyrinth”.
“Quando detectamos rastreamento não autorizado, em vez de bloquear o pedido, vincularemos a uma série de páginas geradas pela IA que são convincentes o suficiente para atrair um rastreador a atravessá-las”. explicado O Reid Tatoris, de Cloudflare, Hish Saxena e Luis Miglietti. O CloudFlare usa seus próprios trabalhadores sem servidor para criar o conteúdo.
O trio escreveu que o conteúdo é “de aparência real”, mas “na verdade não é o conteúdo do site que estamos protegendo, então o rastreador desperdiça tempo e recursos”. O conteúdo também é “real e relacionado a fatos científicos” porque o CloudFlare não deseja criar inadvertidamente informações errôneas.
A inclinação da IA também foi projetada para não mexer com a reputação dos sites ou os esforços de otimização de mecanismos de pesquisa.
No entanto, é projetado para atuar como um impedimento para os operadores de rastreador, mantendo seus bots ocupados e aumentando assim o custo dos raspadores de conteúdo operacional.
Cloudflare acha que esse material também é uma ferramenta útil para detectar a atividade de bot.
“Nenhum humano real faria quatro links profundamente em um labirinto de absurdo gerado pela IA”, escreveu o trio de Cloudflare. “Qualquer visitante que faça é muito provável que seja um bot, então isso nos dá uma ferramenta nova para identificar e imprimir bots ruins, que adicionamos à nossa lista de maus atores conhecidos”.
Esse tipo de coisa geralmente cria uma corrida armamentista e o Cloudflare já está pensando no que será necessário para ficar à frente.
“No futuro, continuaremos trabalhando para tornar esses links mais difíceis de identificar e fazê -los se encaixar perfeitamente na estrutura existente do site em que estão incorporados”, escreveram seus autores.
Os clientes da CloudFlare podem permitir o labirinto de IA em seus consoles de gerenciamento. ®
