La capacité d’exploration des robots d’IA n’est pas illimitée — et elle se disperse sur les mauvaises pages bien plus souvent qu’on ne l’imagine. Sur un site de taille moyenne ou importante, il est tout à fait possible que plus de la moitié des passages quotidiens de GPTBot, ClaudeBot ou PerplexityBot concernent des URL qui ne seront jamais citées : pagination, paramètres de filtrage ou anciennes pages de campagne. Conséquence : les fiches produit et les articles comparatifs que vous aimeriez voir repris par l’IA sont justement les contenus les moins souvent revisités et les plus lents à être actualisés. Optimiser votre budget de crawl revient à rediriger ce flux vers les bonnes pages.
L’objectif n’est pas que les robots d’IA explorent davantage, mais qu’ils explorent mieux.
Le budget de crawl était autrefois surtout considéré comme un sujet propre à Google. Il désigne le volume d’exploration qu’un moteur de recherche est prêt à consacrer à votre site. Deux facteurs le déterminent : la charge que votre serveur peut supporter (crawl rate limit) et l’intérêt que le moteur estime avoir à explorer vos contenus (crawl demand). Avec l’essor du GEO, le terrain ne compte plus un seul acteur, mais une douzaine, chacun avec son propre appétit et ses propres règles de courtoisie. D’après les logs serveur de certains sites, le volume d’exploration de ClaudeBot et de GPTBot se rapproche de celui du traditionnel Googlebot, voire le dépasse. La plupart de ces robots n’exécutent pas JavaScript, sont sensibles au temps de réponse et ne deviennent pas spontanément plus sélectifs face à une multitude d’URL à faible valeur : ils explorent ce que vous leur présentez.
Commencez par identifier qui dépense votre budget
Avant toute optimisation, vous devez savoir quels robots consomment vos ressources. Tous ne poursuivent pas le même objectif : certains servent à entraîner des modèles, d’autres à effectuer des recherches en temps réel — uniquement lorsqu’un utilisateur pose une question au cours d’une conversation — et d’autres encore remplissent ces deux fonctions. Cette distinction vous aide à décider quels robots autoriser et, une fois l’accès accordé, quelles pages leur donner à explorer en priorité. Voici les user-agents les plus couramment observés dans les logs des sites B2B. Retenez leurs noms : ils vous serviront ensuite pour analyser les logs et configurer le fichier robots.txt.
- GPTBot (entraînement des modèles OpenAI), OAI-SearchBot (recherche en temps réel de ChatGPT)
- ClaudeBot/Claude-User (entraînement des modèles Anthropic et recherche en temps réel)
- PerplexityBot/Perplexity-User (indexation par Perplexity et exploration instantanée)
- Google-Extended (détermine si Gemini peut utiliser votre contenu, sans incidence sur le classement dans la recherche classique)
- Amazonbot, Bytespider, Meta-ExternalAgent (robots particulièrement gourmands, dont le volume d’exploration est souvent sous-estimé)
Trois signes que votre budget de crawl se disperse
- Plus de la moitié des requêtes des robots relevées dans les logs ciblent des URL comportant des paramètres après un point d’interrogation, des options de tri ou des filtres, au lieu de vos contenus stratégiques.
- Vos pages importantes — nouvel article comparatif, page tarifaire ou étude de cas — n’ont pas été explorées par les robots d’IA depuis plus de deux ou trois semaines.
- Les robots rencontrent fréquemment des erreurs 404, des redirections 301 ou des pages qui mettent trois ou quatre secondes à répondre : à chaque fois, une partie du budget est perdue.
Plus le site prend de l’ampleur, plus le phénomène devient visible. Un site vitrine de seulement 30 pages n’a guère à se préoccuper de son budget de crawl. En revanche, dès que vous ajoutez des catégories e-commerce, une pagination de blog, plusieurs versions linguistiques ou une navigation à facettes générant de nombreuses combinaisons de paramètres, le nombre d’URL explorables peut rapidement représenter plusieurs dizaines de fois celui des véritables pages de contenu. Le budget des robots reste fixe : ces URL supplémentaires n’augmentent pas vos ressources d’exploration, elles réduisent simplement les chances que vos pages importantes soient visitées.
Repérez les fuites dans les logs serveur
Inutile de procéder par intuition : consultez les logs. Le journal d’accès de votre serveur est la source la plus fiable pour comprendre l’utilisation du budget de crawl. En filtrant les user-agents des robots d’IA, vous pouvez mesurer trois éléments : le nombre de passages de chaque robot, la répartition de ses requêtes par type d’URL et la proportion des différents codes d’état rencontrés (200, 301, 404, 5xx). L’essentiel du gaspillage se concentre généralement sur quelques schémas récurrents : combinaisons de paramètres produites par la navigation à facettes, pages de résultats du moteur de recherche interne, pagination sans fin et anciennes pages de campagne qui auraient dû être retirées depuis longtemps. Commencez par mesurer afin d’identifier là où vous récupérerez le plus de budget. Le suivi de la visibilité dans les moteurs d’IA vous indique si vos contenus sont cités ; les logs révèlent où les robots passent leur temps. Ces deux sources doivent être comparées.
Six actions pour réorienter le budget vers vos pages importantes
- Utilisez la directive Disallow dans robots.txt pour bloquer la recherche interne, les paramètres de filtrage, les paniers et les autres chemins qui n’ont jamais besoin d’être explorés. Vous économiserez ainsi les requêtes dès la source.
- Définissez une URL canonique pour les pages dupliquées ou très similaires, afin que les robots concentrent leur budget sur la version de référence au lieu d’explorer chaque variante de classement.
- Supprimez les chaînes de redirections 301 et corrigez les liens internes menant vers des erreurs 404. Chaque redirection superflue suivie par un robot représente une véritable page de moins explorée.
- Maintenez un sitemap XML propre, limité aux URL indexables, et veillez à ce que lastmod reflète fidèlement la date de mise à jour. Les robots pourront ainsi déterminer plus facilement quelles pages revisiter.
- Servez-vous du maillage interne pour orienter l’autorité et les parcours d’exploration vers vos pages stratégiques. La plupart des robots d’IA n’exécutent pas JavaScript : les menus et les articles connexes doivent donc reposer sur de véritables liens HTML, et non uniquement sur une génération dynamique côté interface.
- Réduisez le délai jusqu’au premier octet (TTFB) ainsi que le poids des pages. Plus votre serveur répond rapidement, plus un robot peut explorer de pages avec le même budget.
Donnez la priorité aux pages qui apportent une réponse directe.
Le budget récupéré doit être consacré aux bons contenus. En GEO, les pages à faire explorer en priorité et fréquemment sont celles qui répondent directement à une question, présentent une structure claire et peuvent être facilement extraites : glossaires aux définitions précises, comparatifs étayés par des chiffres, tutoriels structurés en étapes et pages produit dotées d’une FAQ. Ce sont les sources que les moteurs d’IA sont les plus susceptibles de citer lorsqu’ils génèrent une réponse. Placez-les au début du sitemap, multipliez les liens internes qui y conduisent et actualisez régulièrement leur contenu : vous indiquez ainsi clairement aux robots que ces pages méritent des visites fréquentes. À l’inverse, les pages de remerciement, les écrans de connexion et les listes d’étiquettes à défilement infini doivent rester hors de leur parcours.
Optimiser le budget de crawl n’a jamais consisté à faire explorer davantage de pages. L’enjeu est que chaque passage d’un robot atteigne une page que vous souhaitez voir citée par l’IA.— Tenten GEO Consulting Team
Ce travail n’est jamais définitivement terminé. De nouveaux paramètres apparaissent à mesure que le site évolue, les équipes marketing lancent de nouvelles pages de campagne et les refontes créent de nouvelles redirections. Les fuites de budget de crawl se renouvellent donc en permanence. Intégrez l’analyse des logs à vos opérations trimestrielles et surveillez le taux de requêtes utiles des robots ainsi que l’intervalle entre deux explorations de vos pages importantes. Si vous ignorez encore où les robots d’IA passent leur temps sur votre site — et quelles pages destinées à être citées leur échappent totalement — vous pouvez réserver un diagnostic GEO de 30 minutes. À partir de vos logs serveur, nous vous indiquerons précisément où se trouvent les fuites.
