Bloqueie o treino, libere a busca

CH.01

O preço de bloquear tudo: você não bloqueia o bot, bloqueia o tráfego de retorno

Um bloqueio geral pode restringir robôs de busca junto com os de treinamento. Identifique os usos de cada fornecedor antes de decidir o que permitir. Controles e exceções variam.

A maioria bloqueia os bots de IA com o argumento de "não quero virar dado de treino". O argumento não está errado; o errado é a execução: as pessoas escrevem User-agent: * / Disallow: / no robots.txt, ou clicam no botão "Block AI Bots" da Cloudflare, achando que isso só barra o treino. Na prática, você barra junto o "bot de busca" que alimenta as respostas citadas do ChatGPT, do Perplexity e do Claude — e é exatamente esse que devolve tráfego para o seu site.

Coloque as proporções na mesa e fica claro por que bloquear tudo é desperdício. A observação da Cloudflare em maio de 2026 mostra: 51,8% das requisições de bots de IA são puramente de treino, 35,7% são de uso misto e apenas 9,3% são puramente de busca. O tráfego de treino que você de fato quer barrar passa de metade; a busca pura, que você jamais pode barrar, é menos de um décimo. Bloquear tudo de uma vez é, para expulsar mais da metade dos visitantes, trancar do lado de fora também aquele cliente — menos de 10% — que é o único que traz dinheiro de volta.

Treinamento e busca têm controles separados. A OpenAI diferencia GPTBot de OAI-SearchBot; a Anthropic, ClaudeBot de Claude-SearchBot. Google-Extended controla treinamento do Gemini e alguns usos de grounding, sem afetar inclusão ou posição no Google Search. Essas diferenças não estabelecem uma garantia geral de posição ou citação.

CH.02

Robôs: finalidades e controles

Um fornecedor pode usar agentes diferentes para treinamento, indexação e pedidos do usuário. Confira a finalidade e o controle documentados para cada nome; pertencer à mesma empresa não torna as regras intercambiáveis.

GPTBot coleta conteúdo que pode ser usado no treinamento; OAI-SearchBot apoia a busca do ChatGPT. ChatGPT-User realiza certos acessos iniciados pelo usuário e não determina inclusão no Search. A Anthropic diferencia ClaudeBot, Claude-SearchBot e Claude-User para treinamento, busca e pedidos do usuário. O acesso de busca ajuda na descoberta, sem garantir um link de fonte em toda resposta.

CH.03

Configuração precisa de separação: a sintaxe linha a linha do robots.txt

Identifique o grupo robots.txt correspondente ao product token do robô. A RFC 9309 combina grupos correspondentes e usa * quando não há correspondência. No grupo aplicável, vale o caminho correspondente mais longo; se Allow e Disallow forem equivalentes, Allow tem prioridade.

Um grupo nomeado com Allow: / pode permitir um robô de busca mesmo quando o grupo geral User-agent: * tem Disallow: /. Omitir um grupo nomeado não significa permitir: o robô pode receber a restrição wildcard. Verifique o grupo e o caminho aplicáveis, não a ordem das linhas.

• →Política de treinamento: para restringir GPTBot, ClaudeBot e CCBot, crie grupos User-agent separados com Disallow: /. Decida separadamente sobre Google-Extended: seu Disallow também limita os usos de grounding abrangidos, não só treinamento.
• →Busca: configure User-agent: OAI-SearchBot com Allow: / e avalie Claude-SearchBot e PerplexityBot separadamente. ChatGPT-User é iniciado pelo usuário e robots.txt pode não se aplicar; Perplexity-User geralmente o ignora. A Anthropic informa que seus três agentes respeitam robots.txt.
• →Buscadores — libere sem falta: mantenha Googlebot e Bingbot totalmente rastreáveis; não os confunda com os bots de treino de IA
• →Verifique a regra geral wildcard: User-agent: * com Disallow: / pode bloquear agentes sem grupo nomeado correspondente, mas não substitui automaticamente grupos explícitos correspondentes. robots.txt fornece instruções de rastreamento, não controle de acesso imposto.

CH.04

O controle na camada de CDN: a parede que realmente segura

Conclusão primeiro: o robots.txt é um pedido; o CDN é quem cumpre a lei. Se o que você precisa é "barrar garantido" e não "pedir com educação", o controle de acesso deve ficar na camada do servidor ou do CDN, retornando 403 com base em regra de user-agent — não só escrito no robots.txt.

Por quê? Porque o robots.txt não tem poder coercitivo. Um bot que falsifica o user-agent ou simplesmente ignora as regras vai coletar do mesmo jeito o diretório que você marcou como Disallow. Quando o seu objetivo é algo com interesse concreto em jogo, como "não ser treinado", a placa de aviso não basta — você precisa que o CDN/WAF barre direto, por user-agent, antes mesmo de a requisição chegar ao conteúdo.

CH.05

Verificar que a configuração funcionou: confirme que o bot de busca ainda entra

Conclusão primeiro: configurar não é o mesmo que configurar certo. A falha mais perigosa da separação é "bloquear o errado em silêncio" — você acha que só barrou o treino, mas barrou o bot de busca também, e sem nenhum aviso de erro. É preciso verificar ativamente, e não supor.

A verificação tem um único objetivo: confirmar que "o bot de treino que devia ser barrado está barrado e o bot de busca que devia ser liberado está fluindo". Os dois lados precisam ser checados — checar só que o treino foi barrado, sem checar que a busca foi liberada, é verificar pela metade. Os cinco passos a seguir rodam em uma volta de meia hora.

CH.06

Modelo de configuração de separação: copie, cole, encerre

Conclusão primeiro: não precisa escrever do zero. O modelo de robots.txt abaixo já barra o treino e libera a busca por você — confira a explicação linha a linha, troque para o seu domínio e está pronto para ir ao ar.

Como usar: escreva as diretivas da tabela abaixo, na ordem, no /robots.txt da raiz do seu site. Cada bot de treino é um bloco independente (uma linha User-agent, uma linha Disallow); os bots de busca recebem Allow explícito; no fim, mantenha o Sitemap. Lembre-se de combinar com o Capítulo 4 — adicione esses bots que "devem ser bloqueados" também nas regras de interceptação obrigatória do CDN/WAF.