Bloquer tous les robots d’IA en un clic peut sembler séduisant. En pratique, vous risquez surtout de vous exclure des réponses générées par l’IA. Le robot qui permet à ChatGPT ou Perplexity de citer votre contenu n’est généralement pas celui qui l’utilise pour entraîner un modèle. Or, l’option « Block AI Bots » de Cloudflare bloque les deux sans distinction.
De nombreuses équipes découvrent que des robots d’IA parcourent leur site en constatant une hausse inexpliquée du trafic serveur — ou lorsqu’un juriste demande soudain : « Nos contenus ont-ils servi à l’entraînement d’un modèle ? » Le premier réflexe consiste alors à ouvrir Cloudflare et à chercher l’option qui bloquera tout. Elle existe et s’active en trois secondes. Mais pour une entreprise SaaS B2B qui souhaite être recommandée par les moteurs d’IA, ce blocage peut aussi couper une source potentielle de demande de démonstration, de prise de rendez-vous et de génération de leads. L’enjeu est donc de bloquer avec précision : refuser les robots indésirables, tout en laissant passer ceux qui peuvent citer vos contenus.
Commençons par une distinction essentielle : il existe trois catégories de robots d’IA, qui ne doivent pas être traitées de la même manière.
Derrière l’appellation générique « robots d’IA » se cachent en réalité trois usages différents. Il faut les comprendre pour savoir quels robots bloquer — et lesquels laisser tranquilles.
- Robots d’entraînement : ils collectent vos contenus afin d’alimenter l’entraînement des modèles. Parmi eux figurent GPTBot d’OpenAI, ClaudeBot d’Anthropic, Bytespider de ByteDance et CCBot de Common Crawl. Les bloquer n’empêche pas vos contenus d’être cités.
- Robots de recherche à la demande : lorsqu’un utilisateur interroge ChatGPT ou Perplexity, ils consultent immédiatement votre page, en reprennent des informations dans la réponse et indiquent la source. Cette catégorie comprend OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User et Claude-User. Ces robots conditionnent votre présence dans les réponses générées par l’IA : bloquez-les, et vous en disparaîtrez.
- Robots d’indexation des moteurs de recherche : Googlebot et Bingbot. Leur rôle ne se limite plus au référencement naturel traditionnel. Google AI Overviews s’appuie sur Googlebot, tandis que ChatGPT et Copilot utilisent Bing pour une partie de leurs résultats. Si vous les bloquez par erreur, votre référencement naturel et votre visibilité dans les réponses d’IA reculeront ensemble.
C’est le point le moins intuitif : bloquer les robots d’entraînement ne vous fait pas disparaître des réponses générées par l’IA. Votre présence comme source dépend des contenus que les robots de recherche à la demande et d’indexation peuvent consulter aujourd’hui, pas de leur éventuelle utilisation pour entraîner un modèle quelques mois auparavant. Vous pouvez donc refuser l’entraînement tout en cherchant à être cité immédiatement — à condition d’identifier correctement chaque robot.
Étape 1 : identifiez les robots qui parcourent votre site dans Cloudflare
Avant de bloquer quoi que ce soit, commencez par examiner les données. Dans l’interface Cloudflare, « AI Crawl Control » — auparavant nommé AI Audit — indique le nombre de visites récentes de chaque robot d’IA, les chemins parcourus et son statut actuel : autorisé ou bloqué. Le premier constat est souvent surprenant : Bytespider ou GPTBot peuvent générer davantage de requêtes que Googlebot. Cette liste doit guider toutes vos décisions. Identifiez d’abord les robots qui consomment réellement vos ressources serveur, puis vérifiez si certains robots de recherche à la demande ne sont encore jamais passés. Le cas échéant, cela signifie que votre site reste invisible pour le moteur concerné.
Étape 2 : autorisez ou bloquez chaque catégorie séparément, sans recourir à l’option universelle
Cloudflare met à votre disposition trois outils aux niveaux de précision différents, qu’il est préférable de combiner. Le plus radical est l’interrupteur « Block AI Bots » des paramètres de sécurité. Pratique, certes, mais il agit comme une option nucléaire en bloquant également les robots de recherche à la demande. À moins que la visibilité dans les réponses d’IA ne vous importe pas, évitez de l’activer. Le fichier robots.txt géré par Cloudflare offre une solution intermédiaire, adaptée aux robots d’entraînement qui respectent les consignes. Pour un contrôle précis, privilégiez les règles personnalisées du WAF : elles permettent d’autoriser ou de bloquer un robot individuellement et constituent votre principal levier d’action.
- Dans les règles personnalisées du WAF, créez une règle de blocage qui cible les user-agents des robots d’entraînement, notamment Bytespider, CCBot, GPTBot et ClaudeBot. Configurez ensuite l’action pour bloquer la requête ou renvoyer un code 403.
- Créez ensuite une règle Skip qui autorise explicitement OAI-SearchBot, PerplexityBot, Perplexity-User, ChatGPT-User, Googlebot et Bingbot. Placez-la avant les règles de blocage afin que l’accès de ces robots reste toujours ouvert.
- Appuyez-vous sur le champ « verified bot » de Cloudflare plutôt que sur la seule chaîne du user-agent. Celle-ci peut être falsifiée : un acteur malveillant peut, par exemple, se faire passer pour Googlebot. Cloudflare vérifie les bots reconnus au moyen du DNS inversé et de signatures, ce qui permet d’écarter les imposteurs.
- Pour aller plus loin, Pay Per Crawl de Cloudflare permet de renvoyer un code HTTP 402 aux robots d’entraînement et d’exiger un paiement avant toute collecte. Vous pouvez ainsi transformer une exploitation gratuite de vos contenus en source de revenus ou en levier de négociation.
Quels robots faut-il autoriser, et lesquels faut-il bloquer ?
Si votre objectif est d’être recommandé par les moteurs d’IA — comme c’est le cas pour la plupart des entreprises SaaS B2B — la politique par défaut est simple : autorisez tous les robots de recherche à la demande et d’indexation, puis bloquez sélectivement ceux destinés à l’entraînement. Attention à deux pièges fréquents. Premièrement, Google-Extended et Googlebot ne remplissent pas la même fonction. Google-Extended détermine uniquement si vos contenus peuvent être utilisés pour l’entraînement et l’ancrage factuel de Gemini. Le bloquer ne vous fera pas disparaître d’AI Overviews. En revanche, si vous bloquez également Googlebot, c’est tout l’écosystème Google qui cessera de voir votre site. Deuxièmement, ne bloquez pas Bing : ChatGPT et Copilot s’appuient sur son index pour une partie de leurs résultats. Le blocage de Bingbot les affectera donc eux aussi.
Étape 3 : vérifiez que vos règles ne bloquent rien par erreur
Une fois vos règles activées, ne partez pas du principe qu’elles fonctionneront exactement comme prévu. Revenez dans AI Crawl Control et consultez les journaux d’événements du WAF. Vérifiez, robot par robot, que ceux destinés à l’entraînement reçoivent bien un code 403, tandis que les robots de recherche à la demande et Googlebot obtiennent toujours un code 200 de manière stable. L’erreur la plus courante consiste à définir une règle trop large qui englobe Googlebot. Vous pensez n’avoir bloqué que l’IA, puis votre référencement naturel commence à chuter deux semaines plus tard. Inspectez les URL dans Google Search Console ou contrôlez directement les codes de réponse du serveur. Comparez les résultats pendant une semaine et assurez-vous que tous les robots autorisés circulent correctement avant de considérer le travail comme terminé.
Bloquer les robots d’IA est simple. La difficulté consiste à ne bloquer que ceux qui doivent l’être, tout en déroulant le tapis rouge à ceux qui peuvent faire entrer vos contenus dans les réponses.— Tenten GEO
Bloquer les robots relève de la défense ; être cité reste le véritable objectif.
Une gestion rigoureuse du trafic des robots évite que vos ressources serveur soient exploitées sans contrepartie ou qu’une charge excessive perturbe votre site. Mais autoriser les robots de recherche à la demande ne garantit pas que l’IA vous citera. Encore faut-il qu’ils puissent accéder à vos contenus, les comprendre et les juger suffisamment pertinents pour les utiliser comme source. C’est là que se joue réellement le GEO : structure des contenus, balisage des entités et cohérence de la marque sur les différentes plateformes. Bien configurer Cloudflare revient à ouvrir la porte. Être invité dans la réponse constitue une autre bataille. Si vous voulez savoir pourquoi les six principaux moteurs d’IA ne vous citent pas — ou si les robots que vous autorisez travaillent en vain — prenez rendez-vous pour un diagnostic GEO de 30 minutes. À partir de vos véritables questions, nous vous montrerons précisément où se situent les lacunes.
