O que eu escrevi em julho
Em julho publiquei aqui que a Cloudflare tinha dado um prazo às empresas de IA: até 15 de setembro de 2026, separar os robôs de busca dos de treinamento, ou ser bloqueadas por padrão em páginas com publicidade. O anúncio original, de 1º de julho, dizia isso para domínios novos, e ia além: quem bloqueasse treinamento bloquearia também robôs de uso misto, como Googlebot, Bingbot e Applebot.
Passado o prazo, o que aconteceu foi mais brando e, para o dono de site, melhor. Vale atualizar, porque muita empresa se preparou para um bloqueio que não veio, e algumas podem ter bloqueado o Google sem perceber.
O que aconteceu no dia 15
No post de 15 de setembro, a Cloudflare respondeu à pergunta de quem já está na plataforma em uma frase: não precisa fazer nada, na quase totalidade dos casos, porque as configurações atuais continuam valendo. Os padrões novos ficaram para domínios que entram na Cloudflare a partir de agora, escolhidos no cadastro.
A novidade de verdade foi uma opção chamada Disallow AI Training. Ela grava no robots.txt que o site não aceita uso do conteúdo para treinar modelos e, ao mesmo tempo, deixa os robôs de uso misto rastrearem para a busca. Na prática, o site continua no Google, no Bing e na busca da Apple e recusa o treinamento.
A opção Block continua existindo e faz o que o nome diz: tira esses robôs de tudo, inclusive da busca. Quem escolher Block para os robôs de uso misto sai do Google.
A frase que importa: se você quer continuar aparecendo no Google, não use Block nos robôs de uso misto. Para recusar treinamento sem perder busca, a opção é Disallow AI Training.
Por que o Googlebot é o centro da história
O Googlebot não é um robô só de busca. O mesmo rastreamento alimenta o índice do Google e os recursos de IA dele, e é por isso que a Cloudflare chama esses robôs de uso misto. A regra anunciada em julho, de aplicar sempre a restrição mais dura, faria o bloqueio de treino derrubar também a indexação. Para a maioria das empresas brasileiras, que dependem do Google para ser encontradas, isso seria um tiro no pé.
O Disallow AI Training funciona porque Apple, Google e Microsoft, segundo a Cloudflare, respeitam ou se comprometeram a respeitar essa preferência dentro de um prazo definido. É um acordo de cavalheiros registrado no robots.txt, e não uma barreira técnica. Para quem quer barreira, continua existindo o bloqueio no firewall, com o custo de sair da busca.
Como saber se o Google foi bloqueado
Bloqueio do Googlebot quase nunca avisa. O site continua abrindo para o visitante, o painel mostra tudo funcionando e, semanas depois, o tráfego orgânico começa a cair sem explicação. Alguns sinais aparecem bem antes disso.
No Search Console, o relatório de estatísticas de rastreamento mostra quantas requisições o Googlebot fez por dia e que resposta recebeu. Um degrau para baixo, ou um aumento de respostas 403, a partir da data em que alguém mexeu na configuração, é o primeiro alerta. A inspeção de URL também ajuda: rode o teste ao vivo de uma página importante e veja se o Google consegue buscá-la.
No painel da Cloudflare, os eventos de segurança mostram quais requisições foram barradas e por qual regra. Filtrar pelo nome do robô resolve a dúvida em minutos. Com acesso aos logs do servidor, o padrão é o mesmo: o Googlebot some ou passa a receber erro.
O cuidado é não culpar o bloqueio antes de olhar. Queda de tráfego em outubro também pode ser sazonalidade ou mudança na página de resultados, como expliquei em volatilidade sem update confirmado. Se o Googlebot está chegando e recebendo 200, o problema está em outro lugar.
Para quem está entrando agora na Cloudflare
Domínios que entram na plataforma depois de 15 de setembro escolhem, no cadastro, entre dois pacotes de padrões. O pacote pensado para sites com anúncios é o mais restritivo: busca liberada, treino recusado e agentes de IA bloqueados nas páginas com publicidade.
Para uma loja, bloquear agentes tem um custo que nem sempre aparece na hora. São esses robôs que comparam preço e montam recomendações de compra dentro dos assistentes, tema que discuti em ChatGPT Shopping e o e-commerce. Se o site vende, vale escolher o pacote com cuidado e revisar a regra de agentes depois do cadastro.
Quantos sites bloqueiam, de fato
A própria Cloudflare deu dois números que ajudam a calibrar o pânico. Menos de 1% dos sites da plataforma bloqueia robôs de busca. E 17% ativam algum mecanismo contra treinamento. Ou seja: quase todo mundo quer continuar sendo encontrado, e uma minoria relevante quer limitar o uso do conteúdo para treinar modelos.
Esse desenho combina com o que vejo nos clientes. Empresa que vende serviço ou produto quer aparecer em qualquer lugar onde o cliente pergunta, inclusive nas respostas de IA. Quem tem motivo para recusar treino é quem vende o próprio conteúdo: editoras, bases de dados, cursos.
robots.txt e firewall dizendo a mesma coisa
Um problema antigo dessas configurações era o robots.txt dizer uma coisa e o firewall fazer outra. Em 21 de agosto a Cloudflare lançou o Bot Preference Sync, que atualiza o robots.txt de acordo com o que está configurado para busca, agentes e treinamento. Está disponível em todos os planos, inclusive no gratuito, e vem ligado por padrão para clientes novos. Quem usava o robots.txt gerenciado antigo é convidado a revisar e migrar.
Vale conferir mesmo assim. Se alguém da sua equipe ou da agência editou o robots.txt na mão, a sincronização pode reescrever o que foi feito, ou o arquivo pode estar contradizendo o firewall há meses.
E a cobrança pelo uso do conteúdo
Em 30 de setembro entrou em beta o Pay Per Use. A empresa de IA informa cada uso do conteúdo, com data, endereço de origem e identificador; o dono do site aceita ou recusa as ofertas no painel; a Cloudflare cobra e repassa por mês. O Pay Per Crawl, que cobra pelo acesso, continua como opção separada.
Para a maioria das empresas, isso ainda é assunto para acompanhar. Faz diferença para quem produz conteúdo em volume e tem audiência que interessa às empresas de IA. Para uma indústria, uma clínica ou uma loja, o ganho de aparecer na resposta costuma ser maior que qualquer tarifa por uso.
O que conferir no seu site em 15 minutos
- No painel da Cloudflare, abra as configurações de robôs de IA e veja o que está marcado para busca, agentes e treinamento. Se houver Block em robôs de uso misto, entenda quem marcou e por quê.
- Abra o seu robots.txt no navegador e confira se ele bate com o painel. Procure por regras para Googlebot, Bingbot, Applebot, GPTBot, OAI-SearchBot e Google-Extended.
- No Search Console, veja o relatório de estatísticas de rastreamento dos últimos 90 dias. Queda brusca nas requisições do Googlebot a partir de setembro é sinal de bloqueio.
- Se o site é novo na Cloudflare, confirme qual dos dois pacotes de padrões foi escolhido no cadastro. O de sites com anúncios é mais restritivo para agentes.
- Decida a política por escrito: quais robôs entram para busca, quais para treino, quais para agentes. Assim a próxima pessoa que mexer no painel sabe o motivo.
Se quiser entender o que cada robô de IA consegue ler na sua página, o ponto de partida é crawlers de IA não executam JavaScript. E se a dúvida for o llms.txt, os dados estão em llms.txt vale a pena?.
Minha recomendação
Para quase toda empresa que me procura, a configuração certa é deixar a busca liberada para todos os robôs e não usar Block em nenhum robô de uso misto. Treino é decisão de negócio, e um dado novo ajuda a tomá-la. Um estudo da Ahrefs com 66,6 milhões de respostas do ChatGPT, que detalho em o ChatGPT parou de citar o Reddit, mostrou que só 14,4% delas buscaram na web. As outras saíram do que o modelo aprendeu. Recusar o treino protege o conteúdo e, junto, tira a empresa desse conhecimento.
Por isso divido em dois casos. Quem vende o próprio conteúdo, como editora, curso ou base de dados, deve recusar o treino, e agora pode fazer isso sem sair do Google. Quem publica conteúdo para atrair cliente deve pesar o custo de não ser lembrado pela IA antes de recusar.
O que eu não faria é bloquear por medo. Em julho a conversa era sobre um prazo; em setembro, a resposta da Cloudflare foi dar ao dono do site uma opção intermediária que antes não existia. A revisão dessas configurações faz parte do que entrego em SEO técnico, e o post de julho, com o contexto do anúncio, continua em Cloudflare vai bloquear crawlers de IA por padrão.