Lorsque la plupart des sites bloquent les robots d’IA dans robots.txt, ils ne protègent pas réellement leurs contenus : ils les retirent des réponses de ChatGPT, Perplexity et Claude. OpenAI, Anthropic et Perplexity n’utilisent pas un robot unique, mais deux ou trois chacun. L’un collecte vos contenus pour entraîner les modèles ; un autre consulte vos pages en temps réel et ajoute un lien vers la source dans la réponse. En général, vous souhaitez bloquer le premier et impérativement laisser passer le second. Or une règle globale User-agent: * suivie de Disallow: / ferme la porte aux deux.
Robots d’entraînement et robots de recherche : deux fonctions bien distinctes
Prenons OpenAI. GPTBot collecte des contenus destinés au corpus d’entraînement de futurs modèles. OAI-SearchBot intègre vos pages à l’index de recherche de ChatGPT afin qu’elles puissent être citées, avec un lien, dans les réponses en temps réel. ChatGPT-User n’intervient que lorsqu’un utilisateur demande à consulter une URL précise au cours d’une conversation. Bloquer GPTBot agit donc uniquement sur l’utilisation éventuelle de vos contenus pour l’entraînement ; cela n’empêche pas ChatGPT de vous citer dans une réponse actuelle. Anthropic et Perplexity appliquent une répartition comparable sous d’autres noms. Si vous confondez ces fonctions, vous risquez de bloquer les robots utiles tout en laissant passer ceux que vous vouliez arrêter.
- « GPTBot » (OpenAI) : collecte des contenus pour entraîner les modèles de base. Le bloquer ne vous fera pas disparaître des recherches ChatGPT.
- « OAI-SearchBot » (OpenAI) : alimente l’index de recherche de ChatGPT et ses réponses instantanées, avec des citations de sources. Si vous souhaitez être cité, vous devez l’autoriser.
- « ChatGPT-User » (OpenAI) : se déclenche lorsqu’un utilisateur demande explicitement à consulter une URL pendant une conversation.
- « ClaudeBot » (Anthropic) : collecte des contenus pour l’entraînement et l’utilisation des modèles.
- « Claude-SearchBot » et « Claude-User » (Anthropic) : prennent respectivement en charge l’index de recherche et la consultation déclenchée par l’utilisateur.
- « PerplexityBot » (Perplexity) : alimente l’index du moteur de réponses Perplexity. Le bloquer revient à renoncer aux citations dans Perplexity.
- « Perplexity-User » (Perplexity) : consulte une page à la demande immédiate d’un utilisateur. Il a été accusé de ne pas respecter pleinement robots.txt.
- Autres identifiants courants : « Google-Extended » (il ne s’agit pas d’un robot à proprement parler, mais d’une directive déterminant si un contenu peut servir à l’entraînement et à l’ancrage factuel de Gemini), « CCBot » (Common Crawl, qui fournit des corpus d’entraînement à de nombreux modèles) et « Bytespider » (ByteDance, connu pour son exploration intensive).
Les règles de base de robots.txt : ne publiez pas encore votre configuration
Le fichier robots.txt doit se trouver à la racine du domaine, à l’adresse fixe constituée de votre domaine suivi de /robots.txt. Chaque hôte possède son propre fichier : blog.example.com et www.example.com sont deux hôtes distincts, et les règles du premier ne contrôlent pas le second. Les protocoles http et https, ainsi que les différents ports, sont également considérés comme des sources distinctes. La syntaxe repose sur trois mots-clés : User-agent désigne le robot concerné, Disallow bloque un chemin et Allow crée une exception. En cas de conflit entre Allow et Disallow, les principaux moteurs donnent la priorité au chemin le plus long. Allow permet ainsi d’ouvrir un accès ciblé au sein d’un blocage général.
- robots.txt est une « consigne », pas un « pare-feu » : les robots respectueux des règles, comme GPTBot, ClaudeBot et Googlebot, s’y conformeront, mais les robots malveillants ou indisciplinés peuvent l’ignorer. Pour imposer réellement un blocage, vous devez recourir à un WAF, à des règles de pare-feu ou à des mécanismes de vérification côté serveur.
- Bloquer l’exploration ne supprime pas les données existantes : robots.txt détermine seulement si un contenu pourra être collecté à l’avenir. Les contenus déjà intégrés aux données d’entraînement ne disparaîtront pas.
- Le nom du User-agent doit être exact : la comparaison n’est pas sensible à la casse, mais une faute de syntaxe — GPT-Bot ou Perplexity Bot, par exemple — revient à ne définir aucune règle. Chaque groupe de règles ne s’applique qu’au User-agent correspondant.
Scénario 1 : autoriser les citations, refuser l’entraînement — le choix par défaut pour la plupart des SaaS B2B
Si vous souhaitez apparaître dans les réponses générées par l’IA et y être mentionné comme source, sans pour autant laisser vos contenus servir gratuitement à l’entraînement des modèles de prochaine génération, autorisez les robots de recherche et bloquez ceux d’entraînement. C’est la configuration que nous retenons par défaut pour la plupart de nos clients B2B : priorité à la visibilité, autorisation d’entraînement au cas par cas. En pratique, définissez chaque robot dans un groupe User-agent indépendant, avec ses propres règles. L’ajout explicite de Allow: / pour les robots de recherche clarifie votre intention et peut prendre le pas sur d’anciens réglages bloquant l’ensemble du site.
- User-agent: GPTBot → Disallow: / (robot d’entraînement, à bloquer)
- User-agent: ClaudeBot → Disallow: / (robot d’entraînement, à bloquer)
- User-agent: CCBot → Disallow: / (corpus d’entraînement de Common Crawl, à bloquer)
- User-agent: OAI-SearchBot → Allow: / (citations dans la recherche ChatGPT, à autoriser)
- User-agent: PerplexityBot → Allow: / (citations dans Perplexity, à autoriser)
- User-agent: Claude-SearchBot → Allow: / (recherche et citations dans Claude, à autoriser)
- Si vous ne souhaitez pas que vos contenus servent à l’entraînement de Gemini, vous pouvez ajouter User-agent: Google-Extended → Disallow: / (sans incidence sur votre classement dans la recherche Google).
Scénario 2 : ne laisser aucune possibilité de citation et bloquer totalement l’accès des IA
Les contenus réservés aux abonnés, les informations sensibles sur le plan de la conformité ou les ressources faisant encore l’objet de négociations de licence peuvent nécessiter un blocage allant jusqu’à la consultation. Vous devez alors répertorier un par un tous les User-agents d’IA connus et définir Disallow: / pour chacun. Mesurez toutefois le coût de cette décision : une fois ces robots bloqués, vos citations dans les réponses générées par l’IA retomberont à zéro. Vous vous retirez volontairement d’une source de trafic en pleine croissance. Il s’agit généralement d’une mesure défensive et temporaire, qui ne devrait pas constituer le réglage par défaut d’un site marketing B2B.
- OpenAI : définissez séparément Disallow: / pour GPTBot, OAI-SearchBot et ChatGPT-User.
- Anthropic : définissez séparément Disallow: / pour ClaudeBot, Claude-SearchBot et Claude-User.
- Perplexity : définissez Disallow: / pour PerplexityBot et Perplexity-User.
- Blocages complémentaires facultatifs : définissez séparément Disallow: / pour Google-Extended, Applebot-Extended, Bytespider et CCBot.
Ne laissez pas un modèle « bloquez toutes les IA en un clic » nuire à votre GEO
De nombreux modèles circulent en ligne avec cette promesse : « collez ce bloc dans robots.txt pour bloquer les IA ». Leur défaut est de définir Disallow: / pour tous les User-agents d’IA, y compris les robots de recherche chargés de vous citer. Vous pensez protéger vos contenus, mais vous vous retirez en réalité de la recherche ChatGPT, de Perplexity et de la liste des sources de Claude. Pour une marque B2B qui cherche à être citée par l’IA, ce choix est presque toujours contre-productif. Avant de publier un modèle, vérifiez s’il bloque l’entraînement ou la consultation.
Comment vérifier que vos réglages fonctionnent réellement ?
- Contrôle direct : ouvrez votre domaine dans un navigateur, ajoutez /robots.txt à l’adresse et vérifiez que le fichier existe, qu’il se trouve bien à la racine et que les noms des groupes ne comportent aucune faute.
- Analyse des journaux serveur : recherchez GPTBot, ClaudeBot et PerplexityBot dans le champ User-agent. Vérifiez que les robots bloqués reçoivent une réponse 403 et que les robots autorisés consultent normalement les pages.
- Vérification de l’authenticité : le User-agent d’un robot d’IA peut être usurpé. OpenAI et Anthropic publient leurs plages d’adresses IP officielles ; croisez une résolution DNS inverse et une résolution DNS directe pour ne pas vous laisser tromper par de faux robots.
- Simulation d’une requête : utilisez curl pour récupérer la page avec le User-agent correspondant, puis vérifiez que les règles de robots.txt autorisent ou bloquent l’accès comme prévu.
- Révision régulière : les entreprises peuvent ajouter ou renommer des User-agents — OAI-SearchBot a par exemple été dissocié de GPTBot par la suite. Contrôlez votre configuration chaque trimestre afin qu’elle ne devienne pas obsolète.
robots.txt n’est pas un coffre-fort, mais un panneau placé à l’entrée. Il détermine quels types d’IA vous accueillez et lesquels vous tenez à distance. Dans l’univers du GEO, fermer la porte aux robots de recherche revient aussi à la fermer aux opportunités commerciales.— Tenten GEO Consulting Team
La configuration de robots.txt n’est que la première brique du socle technique du GEO. Votre capacité à être cité par les IA dépend aussi des données structurées, de llms.txt, de la facilité avec laquelle vos contenus peuvent être extraits proprement et de la visibilité réelle de votre marque dans les différents moteurs. Vous voulez savoir si les IA citent votre site ou si votre propre fichier robots.txt leur en interdit l’accès ? Prenez rendez-vous pour un diagnostic GEO de 30 minutes. À partir de votre domaine réel, nous analyserons l’accès des robots et l’état de vos citations, puis nous vous indiquerons immédiatement les points à corriger.
