Beaucoup ajoutent une directive Disallow dans robots.txt pour bloquer GPTBot, persuadés qu’ils empêcheront ainsi ChatGPT de citer leur contenu. Or ce réglage n’a pas l’effet attendu. GPTBot collecte uniquement des données destinées à l’entraînement du modèle. Votre présence dans les réponses de ChatGPT dépend en réalité d’un autre robot : OAI-SearchBot. Une même entreprise utilise donc des User-Agents différents pour des missions distinctes. Avant toute règle d’autorisation ou de blocage dans robots.txt, il faut comprendre le rôle précis de chaque nom figurant dans la liste.
Commençons par une distinction essentielle : il existe trois catégories de robots d’IA
- Robot d’entraînement : il collecte votre contenu pour l’intégrer au corpus d’entraînement du modèle. Ce traitement s’effectue généralement hors ligne et n’a pas de lien direct avec la réponse affichée à l’utilisateur à cet instant. Parmi les principaux exemples figurent GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Meta-ExternalAgent et Bytespider (ByteDance).
- Robot de recherche ou d’indexation : il constitue un index immédiatement interrogeable par le moteur de réponses IA et détermine directement si votre page peut servir de source. Les principaux exemples sont OAI-SearchBot (recherche ChatGPT), PerplexityBot, Googlebot (AI Overviews s’appuie sur son index existant) et Applebot (Siri et Apple Intelligence).
- Robot déclenché par l’utilisateur : il intervient lorsqu’un utilisateur colle votre URL dans une conversation ou demande une vérification immédiate. Il ne consulte généralement qu’une page à la fois et n’alimente pas le corpus d’entraînement. ChatGPT-User, Perplexity-User et Claude-User en sont les principaux exemples.
Si votre objectif est d’être cité par les IA, ne bloquez pas les deux dernières catégories. Sans accès pour les robots de recherche, vous n’entrez pas dans la sélection des sources potentielles. Si vous bloquez ceux déclenchés par l’utilisateur, l’IA ne pourra pas lire votre contenu, même lorsqu’une personne lui soumet directement votre lien. Le choix est plus stratégique pour les robots d’entraînement : bloquez-les si vous ne souhaitez pas que votre contenu serve gratuitement à entraîner des modèles ; autorisez-les si vous voulez accroître vos chances d’intégrer leur corpus sous-jacent. La plupart des configurations robots.txt contre-productives viennent d’une confusion entre ces trois niveaux.
OpenAI : GPTBot, OAI-SearchBot et ChatGPT-User
- GPTBot : destiné à l’entraînement, son User-Agent contient "GPTBot/1.2" et son identifiant robots.txt est "GPTBot". OpenAI publie également les plages d’adresses IP du robot dans un fichier JSON, ce qui permet de vérifier l’authenticité des visites.
- OAI-SearchBot : il référence vos pages parmi les sources que la recherche ChatGPT peut consulter et citer. Son identifiant est "OAI-SearchBot". Le bloquer revient à renoncer volontairement à cette visibilité dans ChatGPT — alors même qu’il s’agit du robot le plus souvent bloqué par erreur.
- ChatGPT-User : il se déclenche lorsqu’un utilisateur demande à ChatGPT de consulter ou de vérifier votre URL au cours d’une conversation. Son identifiant est "ChatGPT-User". Il accède à une seule page en temps réel, sans intégrer son contenu à l’entraînement.
Google-Extended n’est pas un robot, mais un interrupteur
Google-Extended apparaît souvent dans les « listes de robots d’IA », alors qu’il ne s’agit pas d’un robot susceptible de figurer dans les journaux de votre serveur. C’est un identifiant de produit utilisé dans robots.txt. L’autoriser ou le bloquer détermine uniquement si Google peut exploiter votre contenu pour l’entraînement de Gemini et certaines fonctions de génération ; cela n’a aucune incidence sur l’indexation générale assurée par Googlebot. Bloquer Google-Extended ne vous exclut donc pas de la recherche Google et, en règle générale, ne vous fait pas disparaître d’AI Overviews, qui s’appuie principalement sur l’index existant de Googlebot. Applebot-Extended repose sur le même principe : il contrôle l’utilisation des contenus pour l’entraînement d’Apple Intelligence, indépendamment d’Applebot, chargé de l’indexation générale.
PerplexityBot et les robots qui s’affranchissent des règles
Pour pouvoir être cité par Perplexity, vous devez autoriser à la fois PerplexityBot, chargé de l’indexation, et Perplexity-User, utilisé pour les requêtes en temps réel. Gardez toutefois une limite en tête : robots.txt repose sur le respect volontaire des consignes et n’a aucun pouvoir contraignant. En 2025, Cloudflare a publiquement mis Perplexity en cause, affirmant qu’après un blocage par robots.txt, le service avait continué son exploration sous un User-Agent non déclaré imitant un navigateur ordinaire. Bytespider est également connu pour avoir pratiqué une exploration très intensive, sans guère tenir compte des limites de fréquence. Deux constats peuvent donc être vrais simultanément : le robot que vous souhaitez bloquer peut contourner vos règles, tandis que celui que vous autorisez doit encore être authentifié.
Amazonbot, ClaudeBot et les autres noms que vous rencontrerez dans vos journaux
- ClaudeBot : le robot d’entraînement d’Anthropic. Claude-User, déclenché par l’utilisateur, ainsi que les anciens identifiants anthropotic-ai et Claude-Web peuvent également apparaître simultanément dans les journaux.
- Amazonbot : utilisé par Alexa et les services d’IA d’Amazon ; son User-Agent contient "Amazonbot/0.1".
- CCBot : le robot de Common Crawl. Common Crawl n’est pas une entreprise d’IA, mais son corpus public alimente de nombreux modèles. Il constitue donc une filière indirecte d’entraînement, souvent oubliée lors de la définition des règles d’accès.
- Autres noms fréquents : Meta-ExternalAgent (entraînement de Meta), Meta-ExternalFetcher (déclenché par l’utilisateur), YouBot (You.com), DuckAssistBot (DuckDuckGo), cohere-ai (Cohere), MistralAI-User, Diffbot et Timpibot.
Comment configurer robots.txt en 2026
Il n’existe pas de configuration universelle. Pour la plupart des sites B2B qui cherchent à améliorer leur GEO, un bon réglage par défaut consiste à autoriser les robots de recherche et ceux déclenchés par l’utilisateur, afin que les moteurs d’IA puissent lire et citer les contenus. Les robots d’entraînement doivent, eux, être évalués individuellement selon la valeur du contenu et la stratégie de marque. Voici un exemple privilégiant la visibilité.
- User-agent: OAI-SearchBot → Allow: / (préserver votre visibilité dans ChatGPT)
- User-agent: PerplexityBot → Allow: / (intégrer le vivier de sources de Perplexity)
- User-agent: ChatGPT-User et Perplexity-User → Allow: / (ne pas empêcher les vérifications demandées par l’utilisateur)
- User-agent: Googlebot → Allow: / (AI Overviews et la recherche générale partagent le même index : veillez à l’autoriser)
- User-agent: GPTBot, CCBot, Google-Extended → À décider selon votre politique (utilisez Disallow: / si vous refusez l’utilisation de vos contenus pour l’entraînement ; cela n’affectera pas la visibilité décrite ci-dessus)
Ne misez pas tout sur robots.txt
robots.txt peut arrêter les robots qui respectent les règles, pas ceux qui sont déterminés à les contourner. Pour exercer un contrôle réel, il faut passer au niveau supérieur : effectuez une résolution DNS inverse, puis une vérification directe, et comparez les adresses aux plages IP publiées officiellement par chaque entreprise afin d’authentifier le robot. Face aux identités usurpées ou aux explorations à haute fréquence, utilisez un WAF, l’outil de gestion des robots d’IA de Cloudflare ou une limitation du débit, plutôt que de vous contenter d’ajouter une ligne à robots.txt. La surveillance compte tout autant : consultez régulièrement les journaux d’accès du serveur pour identifier les robots d’IA qui visitent réellement votre site et mesurer la fréquence de leurs passages. Ces données de première main offrent un indicateur de votre exposition GEO plus fiable que n’importe quelle prévision.
La liste des robots d’IA évolue chaque trimestre : de nouveaux noms apparaissent et les identifiants changent. Plutôt que de tous les mémoriser, retenez la logique de classification — entraînement, recherche et accès déclenché par l’utilisateur — car chaque catégorie entraîne des choix stratégiques différents. Si vous ignorez encore quels moteurs d’IA explorent votre site ou quelles pages devraient être citées mais ne le sont pas, l’audit GEO de Tenten rassemble les journaux d’accès des robots et l’état des citations dans une même vue. Pour commencer par repérer vos lacunes, prenez rendez-vous pour un diagnostic GEO de 30 minutes (/contact).
