O que muda em setembro
A partir de 15 de setembro de 2026, a Cloudflare passa a exigir que as empresas de IA separem seus crawlers por propósito. Um bot para busca, outro para treinamento de modelo, outro para uso agêntico. Quem não separar entra na regra de bloqueio padrão em páginas sustentadas por publicidade.
Sites novos na plataforma passam a permitir rastreamento de busca por padrão, enquanto bloqueiam uso de treinamento e agente em páginas monetizadas por anúncio. A lógica por trás é razoável: rastrear para indexar e mandar tráfego de volta é uma troca. Rastrear para treinar modelo que substitui a visita é outra coisa, e a Cloudflare está forçando a distinção que as empresas de IA preferiam manter embaçada.
Vale lembrar a escala de quem está aplicando isso. A Cloudflare fica na frente de uma fatia enorme da web, o que faz uma decisão de configuração padrão virar, na prática, política de mercado.
De Pay Per Crawl a Pay Per Use
O Pay Per Crawl começou como experimento com uma mecânica elegante: quando um bot de IA pede uma página, o servidor responde 402 Payment Required. O publisher define a tarifa, a empresa de IA decide se paga.
Em 2026 isso está evoluindo para um modelo de Pay Per Use, mais amplo, em que o publisher pode ser remunerado quando o conteúdo aparece numa resposta de IA ou quando um agente compra informação premium para completar uma tarefa. A diferença é grande: sai da cobrança por acesso e vai para cobrança por valor entregue.
Os primeiros resultados que vazaram vieram de um teste com o dataset público do Stack Overflow, com queda de cerca de 32% no tráfego de bot não autorizado e alta de aproximadamente 27% na receita de licenciamento de dados. A Cloudflare começou o modelo de pagamento com dois parceiros, Ceramic.ai e You.com.
A web se fechando
O quadro mais amplo de 2026 é de uma web trancando as portas. Mais de 2,5 milhões de sites já proíbem uso do conteúdo para treinamento, e o GPTBot está bloqueado por cerca de 19% dos sites.
Isso me deixa dividido, e acho honesto dizer. Como quem trabalha com visibilidade, a web fechada é ruim: menos conteúdo acessível significa respostas de IA piores e mais concentradas em quem tem acordo comercial. Como quem já viu cliente perder metade do tráfego para uma resposta gerada com o conteúdo dele próprio, entendo perfeitamente quem fecha.
O que me incomoda de verdade é o efeito de segunda ordem. Se só quem tem contrato de licenciamento é lido, a visibilidade em IA vira função de poder de negociação, não de qualidade de conteúdo. Isso é uma web bem diferente da que fez o SEO funcionar como meritocracia imperfeita mas real por vinte anos.
A pergunta que ainda não tem resposta boa: quando o acesso ao conteúdo vira contrato comercial, o que sobra de SEO para quem não tem departamento jurídico?
O risco para o seu site
Sai da macroeconomia e vai para o seu painel. O risco concreto é este: você pode bloquear sem querer o canal de IA que estava começando a trazer resultado.
Três cenários que já vi acontecer:
O time de infraestrutura ativa uma regra de bot management genérica para conter scraping e derruba junto o OAI-SearchBot, que é o crawler de busca da OpenAI, aquele que gera citação com link. O time acha que bloqueou raspagem, e bloqueou distribuição.
A configuração padrão muda numa migração de plano ou num site novo, e ninguém revisa. Meses depois alguém pergunta por que a marca sumiu do ChatGPT.
O robots.txt tem regra ampla de Disallow para user-agents de IA copiada de algum tutorial, sem distinguir treinamento de busca. É a confusão mais comum e a mais fácil de corrigir.
A distinção que importa: GPTBot é treinamento. OAI-SearchBot e ChatGPT-User são busca e navegação com citação. Bloquear os três com a mesma regra é abrir mão do canal para proteger o dado, e quase nunca é o que a empresa queria.
O que checar antes do prazo
- Abra seu
robots.txte leia linha a linha. Separe as regras por propósito, e decida conscientemente sobre cada grupo em vez de tratar "bot de IA" como categoria única. - Confira as regras de WAF e bot management no painel da Cloudflare. O que está lá costuma ser mais restritivo do que o time de marketing imagina.
- Teste de verdade, com
curle o user-agent do bot, e veja o código de resposta. Configuração que parece certa no painel e devolve 403 na prática é rotina. - Olhe os logs de servidor dos últimos 90 dias. Quais bots de IA passam, com que frequência, e recebendo qual status? Sem isso você está adivinhando.
- Decida a política e escreva num documento. Se a empresa quer aparecer em IA mas não quer alimentar treinamento, isso é uma posição legítima e precisa estar registrada, senão a próxima pessoa que mexer no firewall vai desfazer.
- Se você é publisher com volume relevante, avalie o Pay Per Use com seriedade. Pode virar linha de receita.
Fiz esse trabalho neste site: os bots de busca e de IA que geram citação passam, e a pasta de propostas de cliente fica fora do alcance de todos eles. Configuração de crawler é decisão de negócio, e faz parte do que trato em SEO técnico.
Mapa dos bots por propósito
A decisão de bloquear ou liberar só faz sentido se você souber o que cada bot faz. Essa tabela mental é a parte que resolve a maior parte dos erros de configuração.
Busca com citação, quase sempre liberar
- OAI-SearchBot, da OpenAI, alimenta a busca do ChatGPT e é o que gera citação com link.
- ChatGPT-User, quando o usuário pede explicitamente para o modelo acessar uma URL.
- PerplexityBot e Perplexity-User, mesma lógica.
- Claude-SearchBot, busca da Anthropic.
- Googlebot, que também alimenta AI Overviews e AI Mode. Bloquear aqui é bloquear a busca inteira.
Treinamento, decisão de negócio
- GPTBot, coleta para treinamento da OpenAI.
- ClaudeBot, coleta da Anthropic.
- Google-Extended, controla uso do conteúdo para treinamento do Gemini sem afetar o ranqueamento na busca.
- Applebot-Extended, mesma lógica para a Apple.
- CCBot, do Common Crawl, que alimenta muitos datasets de terceiros.
- Bytespider, meta-externalagent, Amazonbot.
O par que mais confunde: Google-Extended não afeta ranking na busca e não afeta a exibição em AI Overviews. Ele controla treinamento. Muita gente bloqueia achando que está saindo dos AI Overviews, e não está. Para sair dos recursos de IA existe o toggle no Search Console, descrito em os relatórios de IA generativa.
Agentes, avaliar caso a caso
Bots que executam tarefa em nome do usuário, como comparar preço ou preencher formulário. Para e-commerce, bloquear pode significar ficar de fora de recomendação de compra, o que discuto em ChatGPT Shopping e o e-commerce.
Definindo a política
Antes de mexer em configuração, responda três perguntas com quem decide. Sem isso, a configuração vira preferência de quem mexeu por último.
Você quer aparecer em resposta de IA? Para quase todo negócio de serviço, produto ou software, a resposta é sim, e os dados de citação em AI Overviews sustentam isso. Para publisher que vive de pageview, a conversa é outra.
Você aceita que seu conteúdo treine modelo? Pergunta diferente da primeira, e independente. Dá para dizer sim para busca e não para treinamento, e essa é a configuração que recomendo para a maioria.
Você tem conteúdo com valor de licenciamento? Base de dados proprietária, arquivo grande, conteúdo único de nicho. Se sim, vale avaliar Pay Per Use em vez de simplesmente liberar ou bloquear.
A política mais comum que implemento, e que uso aqui: busca liberada para todos, treinamento bloqueado, área comercial sensível fora do alcance de todo mundo. Escrita num documento, com data, para a próxima pessoa que mexer no firewall saber que existe uma decisão por trás.
Como testar de verdade
Configuração que parece certa no painel e devolve 403 na prática é rotina. O teste real leva cinco minutos.
Requisite as suas páginas principais com cada user-agent e olhe o status:
O que você espera ver: 200 para os bots que você liberou, e 403 ou 401 para os que bloqueou de propósito. Qualquer 403 inesperado é um canal que você está perdendo sem saber.
Vale rodar em mais de uma URL, porque regra de WAF costuma ser por caminho. E vale repetir periodicamente, porque configuração muda sozinha quando alguém atualiza plano, ativa um "modo de segurança" ou migra de CDN. É exatamente o tipo de coisa que compensa automatizar com alerta, e o desenho está em monitorar visibilidade em IA com n8n.
Complementarmente, olhe os logs dos últimos 90 dias: quais bots de IA passaram, com que frequência, e recebendo qual status. Se algum sumiu do log em determinada semana, cruze com o histórico de deploy e de mudança de configuração.
Conclusão
O prazo de setembro vai gerar uma onda de bloqueio acidental. Já vejo os primeiros casos, sempre com o mesmo enredo: alguém apertou o cinto de segurança da infraestrutura e cortou distribuição junto, e a descoberta acontece semanas depois, pelo relatório.
Reserve uma hora para revisar sua configuração de crawler antes de 15 de setembro. É provavelmente a hora mais barata de trabalho de SEO que você vai investir neste semestre.