OpenAI
OAI-SearchBotDescobertaControlável
Crawler da OpenAI que exibe e vincula sites na busca do ChatGPT.
Independente do GPTBot; permiti-lo não libera rastreamento para treinamento.
POLÍTICA ROBOTS · MATRIZ OFICIAL
Decida quais crawlers de IA seu robots.txt deve controlar.
Separe descoberta em busca, treinamento de modelos e recuperação iniciada pelo usuário. Só geramos grupos que a documentação atual declara controláveis.
Comece por uma postura operacional
O preset preenche todos os tokens controláveis; cada diretiva pode ser ajustada antes da cópia.
MATRIZ DE CONTROLE
Uma decisão explícita por token
Só linhas controláveis entram no rascunho. As informativas explicam ações do usuário sem gerar regras enganosas.
TokenFinalidadeSua diretiva
OpenAI
GPTBotTreinamentoControlável
Crawler da OpenAI para conteúdo que pode treinar modelos de fundação.
O bloqueio sinaliza uso futuro e é separado da inclusão na busca do ChatGPT.
OpenAI
ChatGPT-UserRecuperação do usuárioApenas informativo
Agente da OpenAI acionado pelo usuário, não um crawler automático.
A OpenAI diz que robots.txt pode não se aplicar; nenhum grupo é gerado.
Apenas informativo
Anthropic
ClaudeBotTreinamentoControlável
Crawler da Anthropic para conteúdo que pode contribuir ao treinamento.
A Anthropic declara atualmente que seus bots respeitam robots.txt.
Anthropic
Claude-SearchBotDescobertaControlável
Crawler de busca da Anthropic usado para melhorar a qualidade dos resultados.
Decida separadamente do acesso de treinamento do ClaudeBot.
Anthropic
Claude-UserRecuperação do usuárioControlável
Agente da Anthropic acionado por uma solicitação do usuário.
A Anthropic documenta controle por robots.txt; o bloqueio pode reduzir a recuperação solicitada.
Google
Google-ExtendedToken de controle, não User-Agent HTTPTreinamento + groundingControlável
Token do Google para controlar treinamento do Gemini e grounding com o Google Search.
Não possui User-Agent HTTP próprio e não afeta inclusão nem ranking no Google Search.
Perplexity
PerplexityBotDescobertaControlável
Crawler de busca da Perplexity que exibe e vincula sites.
A Perplexity informa que não é usado para treinar modelos de fundação.
Perplexity
Perplexity-UserRecuperação do usuárioApenas informativo
Agente da Perplexity acionado pelo usuário, sem função de crawl ou treinamento.
A Perplexity diz que geralmente ignora robots.txt; nenhum grupo é gerado.
Apenas informativo
Fatos revisados · 2026-08-12
Notas oficiais de controle
Abra a documentação mais recente antes da implantação. Produtos e comportamentos podem mudar após esta revisão.
OpenAI
Controles separados para OAI-SearchBot, GPTBot e o comportamento do ChatGPT-User.
Abrir fonte oficialAnthropic
Orientação robots para ClaudeBot, Claude-SearchBot e Claude-User.
Abrir fonte oficialGoogle
Documentação do Google-Extended como token de controle.
Abrir fonte oficialPerplexity
Papéis e comportamento robots de PerplexityBot e Perplexity-User.
Abrir fonte oficialLimite de implantação
O texto gerado é intencionalmente restrito. Use-o na revisão, não como arquivo substituto.
- 01Mescle com o robots.txt atual; substituir o arquivo pode apagar diretivas de busca existentes.
- 02Confira as fontes novamente antes da publicação. Nomes, finalidades e comportamento podem mudar.
- 03WAF, CDN, hospedagem ou bloqueio de IP ainda podem recusar um crawler permitido por robots.txt.
- 04robots.txt não garante acesso, indexação, visibilidade, menções ou citações. Agentes acionados por usuários se comportam de modo diferente.
Antes de publicar
Allow garante acesso ou citação por uma IA?
Não. robots.txt expressa uma preferência de rastreamento. Rede, sistemas do fornecedor, relevância e produto são fatores independentes.
Por que ChatGPT-User e Perplexity-User não são gerados?
A documentação descreve solicitações do usuário em que robots.txt pode não se aplicar ou geralmente é ignorado. Gerar regras exageraria o controle.
Posso substituir meu robots.txt atual por este resultado?
Não. Mescle apenas os grupos revisados, preserve regras de busca e ativos e teste a resposta implantada.