A capacidade de rastreamento dos crawlers de IA não é ilimitada — e, com mais frequência do que parece, ela acaba sendo gasta nas páginas erradas. Em um site de médio ou grande porte, é possível que mais da metade das visitas diárias de GPTBot, ClaudeBot ou PerplexityBot recaia sobre URLs que nunca servirão como referência, como paginações, parâmetros de filtro e páginas de campanhas antigas. O resultado: páginas de produto e artigos comparativos que você gostaria de ver citados por mecanismos de IA são justamente os que demoram mais para ser atualizados e têm a menor frequência de novo rastreamento. Otimizar o crawl budget significa redirecionar esse fluxo para o destino certo.
Quanto mais os crawlers de IA rastrearem, melhor.
Durante muito tempo, o conceito de crawl budget esteve associado principalmente ao Google. Ele representa o volume de rastreamento que o mecanismo de busca está disposto a dedicar ao seu site e depende de dois fatores: quanto o servidor consegue suportar (crawl rate limit) e quanto o mecanismo considera que vale a pena rastrear (crawl demand). Na era do GEO, deixamos de ter um único protagonista e passamos a conviver com cerca de uma dúzia deles, cada qual com seu próprio apetite e suas regras de cortesia. Em alguns sites, os logs do servidor mostram que o volume de rastreamento de ClaudeBot e GPTBot já se aproxima ou até supera o do Googlebot tradicional. A maioria desses bots não executa JavaScript, é sensível ao tempo de resposta e não se torna automaticamente mais criteriosa diante de milhares de URLs de baixo valor: se você oferecer uma URL, eles irão rastreá-la.
Primeiro, descubra quem está consumindo seu orçamento
Antes de otimizar, você precisa saber quem está gerando a conta. Crawlers de IA cumprem funções diferentes: alguns são usados no treinamento de modelos, outros fazem recuperação em tempo real — rastreando o conteúdo quando o usuário envia uma pergunta durante a conversa — e alguns atendem aos dois objetivos. Essa diferença define quais bots você deve liberar e, uma vez liberados, quais áreas do site devem rastrear primeiro. Abaixo estão os mais encontrados atualmente nos logs de sites B2B. Guarde os nomes dos user agents: eles serão necessários na análise dos logs e na configuração do robots.txt.
- GPTBot (treinamento da OpenAI), OAI-SearchBot (busca em tempo real do ChatGPT)
- ClaudeBot/Claude-User (treinamento da Anthropic e recuperação em tempo real)
- PerplexityBot/Perplexity-User (indexação do Perplexity e rastreamento instantâneo)
- Google-Extended (controla se o Gemini pode usar seu conteúdo, sem afetar o posicionamento na busca convencional)
- Amazonbot, Bytespider, Meta-ExternalAgent (fontes de rastreamento com grande apetite e frequentemente subestimadas)
Três sinais de que seu crawl budget está vazando
- Mais da metade das requisições dos crawlers registradas nos logs atinge URLs com parâmetros após o ponto de interrogação, ordenação ou filtros, em vez das suas páginas de conteúdo estratégico.
- Páginas importantes — como artigos comparativos recém-publicados, páginas de preços e cases — não são rastreadas por bots de IA há mais de duas ou três semanas.
- Os crawlers encontram com frequência erros 404, redirecionamentos 301 ou páginas que levam três ou quatro segundos para responder — e cada ocorrência desperdiça orçamento.
Quanto maior o site, mais evidente fica o problema. Um site institucional com apenas 30 páginas dificilmente precisa se preocupar com crawl budget. Mas basta ter categorias de e-commerce, paginação no blog, versões em vários idiomas ou navegação por filtros que gere muitas combinações de parâmetros para o universo rastreável crescer facilmente para dezenas de vezes o número real de páginas de conteúdo. Como o orçamento do crawler é limitado, essas URLs extras não aumentam sua cobertura: apenas reduzem a chance de as páginas importantes serem rastreadas.
Use os logs do servidor para encontrar os vazamentos
Não adianta trabalhar com suposições: é preciso consultar os logs. O access log do servidor é a fonte mais confiável para analisar o crawl budget. Ao filtrar os user agents dos crawlers de IA, você consegue medir três pontos: quantas vezes cada bot acessou o site, entre quais tipos de URL suas requisições se distribuíram e qual foi a proporção de cada código de status encontrado (200, 301, 404, 5xx). Em geral, a maior parte do desperdício se concentra em poucos padrões: combinações de parâmetros criadas por filtros facetados, páginas de resultados da busca interna, paginação sem fim e páginas de campanhas antigas que já deveriam ter sido encerradas. Meça primeiro para descobrir em qual ponto interromper o fluxo trará a maior economia. O monitoramento de visibilidade em IA mostra se a marca foi citada; os logs revelam onde os crawlers gastaram tempo. As duas informações precisam ser comparadas.
Seis ações para redirecionar o orçamento às páginas importantes
- Use Disallow no robots.txt para bloquear a busca interna, parâmetros de filtro, carrinhos de compra e outros caminhos que nunca precisam ser rastreados. Assim, você economiza requisições já na origem.
- Defina a canonical de páginas duplicadas ou muito semelhantes para que o crawler concentre o orçamento na versão principal, em vez de rastrear todas as variações de ordenação.
- Elimine cadeias de redirecionamentos 301 e links internos que levam a erros 404. Cada redirecionamento desnecessário percorrido pelo crawler representa uma página real a menos no rastreamento.
- Mantenha um sitemap XML limpo, contendo apenas URLs indexáveis, e faça com que o lastmod reflita com precisão a data de atualização. Isso ajuda os crawlers a decidir quais páginas devem visitar novamente.
- Use links internos para direcionar relevância e caminhos de rastreamento às páginas estratégicas. Como a maioria dos crawlers de IA não executa JavaScript, menus e artigos relacionados precisam usar links HTML reais, sem depender de geração dinâmica no front-end.
- Reduza o tempo até o primeiro byte (TTFB) e o tamanho das páginas. Quanto mais rápida for a resposta, mais páginas o crawler conseguirá visitar dentro do mesmo orçamento.
Priorize as páginas que entregam respostas aos crawlers de IA.
O orçamento economizado precisa ser investido no conteúdo certo. Em GEO, devem ter prioridade e ser rastreadas com frequência as páginas que respondem diretamente a uma pergunta, apresentam estrutura clara e permitem uma extração limpa do conteúdo: glossários com definições objetivas, artigos comparativos com números específicos, tutoriais passo a passo e páginas de produto com FAQs. Essas são as fontes com maior probabilidade de serem consultadas por mecanismos de IA ao gerar respostas. Posicioná-las no início do sitemap, reforçá-las com vários links internos e manter o conteúdo atualizado são maneiras claras de dizer aos crawlers: vale a pena voltar aqui com frequência. Em contrapartida, páginas de agradecimento, páginas de login e listagens de tags com rolagem infinita devem ficar de fora.
O objetivo da otimização de crawl budget nunca foi fazer o crawler visitar mais páginas, mas aumentar a chance de que cada visita chegue a uma página que você quer ver citada por mecanismos de IA.— Tenten GEO Consulting Team
Esse trabalho não se resolve de uma vez por todas. O site ganhará novos parâmetros, o marketing lançará novas páginas de campanha e cada reformulação poderá criar novos redirecionamentos. Como os vazamentos de crawl budget continuarão surgindo, a análise de logs precisa entrar na rotina trimestral, com atenção à taxa de acerto dos crawlers e ao intervalo entre rastreamentos das páginas importantes. Se você não sabe onde os crawlers de IA estão gastando tempo no seu site ou quais páginas que deveriam servir de referência nem sequer estão sendo rastreadas, agende um diagnóstico de GEO de 30 minutos. Usaremos os logs do seu servidor para apontar os vazamentos.
