Bloquer l'entraînement, laisser passer la recherche

CH.01

Le prix du blocage total : ce que vous bloquez, ce n'est pas un bot, c'est votre trafic de retour

Un blocage global peut limiter les robots de recherche en même temps que ceux d’entraînement. Identifiez les usages de chaque fournisseur avant de choisir les accès à autoriser. Les contrôles et les exceptions diffèrent.

La plupart des gens bloquent les bots IA pour une raison : « je ne veux pas servir à l'entraînement ». La raison en soi n'est pas fausse ; c'est l'exécution qui l'est. Ils écrivent dans robots.txt User-agent: * / Disallow: /, ou activent d'un clic « Block AI Bots » sur Cloudflare, persuadés de ne bloquer que l'entraînement. En réalité, vous bloquez du même coup le « bot de recherche » qui alimente les réponses citées de ChatGPT, Perplexity et Claude — et c'est précisément celui-là qui renvoie du trafic vers votre site.

Mettez les proportions à plat et vous comprendrez pourquoi le coup unique est un gaspillage. Les observations de Cloudflare en mai 2026 montrent que 51,8 % des requêtes de bots IA relèvent du pur entraînement, 35,7 % d'un usage mixte, et seulement 9,3 % de la pure recherche. Le trafic d'entraînement que vous voulez vraiment écarter dépasse la moitié ; la pure recherche que vous ne devez surtout pas bloquer représente moins d'un dixième. Tout bloquer d'un coup, c'est, pour chasser plus de la moitié de vos visiteurs, verrouiller dehors le seul client — moins d'un dixième — qui rapporte de l'argent.

L’entraînement et la recherche disposent de contrôles distincts. OpenAI sépare GPTBot d’OAI-SearchBot, Anthropic ClaudeBot de Claude-SearchBot. Google-Extended contrôle l’entraînement de Gemini et certains usages de grounding, sans effet sur l’inclusion ou le classement dans Google Search. Ces distinctions ne constituent pas une garantie générale de classement ou de citation.

CH.02

Robots : usages et contrôles

Un fournisseur peut employer différents agents pour l’entraînement, l’indexation et les requêtes utilisateurs. Vérifiez l’usage et le contrôle documentés pour chaque nom : appartenir à la même entreprise ne rend pas les règles interchangeables.

GPTBot collecte des contenus susceptibles de servir à l’entraînement ; OAI-SearchBot prend en charge la recherche ChatGPT. ChatGPT-User effectue certains accès déclenchés par l’utilisateur et ne détermine pas l’inclusion dans Search. Anthropic distingue ClaudeBot, Claude-SearchBot et Claude-User pour l’entraînement, la recherche et les requêtes utilisateurs. L’accès de recherche facilite la découverte, sans garantir un lien source dans chaque réponse.

CH.03

Configuration précise du tri : la rédaction ligne par ligne de robots.txt

Identifiez le groupe robots.txt correspondant au product token du robot. Selon la RFC 9309, les groupes correspondants sont fusionnés ; le groupe * sert de repli en l’absence de correspondance. Dans le groupe applicable, le chemin correspondant le plus long est retenu ; à correspondance équivalente, Allow est prioritaire sur Disallow.

Un groupe nommé avec Allow: / peut autoriser un robot de recherche même si le groupe de repli User-agent: * indique Disallow: /. L’absence de groupe nommé ne signifie pas une autorisation : le robot peut recevoir la restriction wildcard. Vérifiez le groupe et le chemin applicables plutôt que l’ordre des lignes.

• →Politique d’entraînement : pour restreindre GPTBot, ClaudeBot et CCBot, créez des groupes User-agent séparés avec Disallow: /. Décidez séparément pour Google-Extended : son Disallow limite aussi les usages de grounding couverts, pas seulement l’entraînement.
• →Recherche : configurez User-agent: OAI-SearchBot avec Allow: / et examinez Claude-SearchBot et PerplexityBot séparément. ChatGPT-User est déclenché par l’utilisateur ; robots.txt peut ne pas s’appliquer. Perplexity-User l’ignore généralement. Anthropic indique que ses trois agents respectent robots.txt.
• →Moteurs de recherche — à laisser passer impérativement : gardez Googlebot et Bingbot totalement crawlables, ne les confondez pas avec les bots d'entraînement IA
• →Vérifiez le repli wildcard : User-agent: * avec Disallow: / peut bloquer les agents sans groupe nommé correspondant, mais ne remplace pas automatiquement les groupes correspondants explicites. robots.txt donne des instructions d’exploration, pas un contrôle d’accès imposé.

CH.04

Le contrôle au niveau du CDN : le vrai mur qui tient

Disons-le tout de suite : robots.txt est une requête, le CDN est l'application de la loi. Si ce qu'il vous faut c'est « bloquer à coup sûr » et non « demander poliment », le contrôle d'accès doit vivre au niveau du serveur ou du CDN, avec des règles user-agent qui renvoient un 403 — pas seulement une ligne dans robots.txt.

Pourquoi ? Parce que robots.txt n'a aucune force contraignante. Un bot qui usurpe son user-agent ou ignore tout simplement les règles peut aspirer sans problème le répertoire que vous avez mis en Disallow. Quand votre objectif est « ne pas servir à l'entraînement » — un enjeu à conséquences réelles — un panneau d'affichage ne suffit pas : il faut que le CDN/WAF intercepte selon le user-agent avant même que la requête n'atteigne le contenu.

CH.05

Vérifier que la configuration fonctionne : confirmer que le bot de recherche entre toujours

Disons-le tout de suite : configurer ne veut pas dire bien configurer. L'échec le plus dangereux du tri est le « blocage silencieux par erreur » — vous croyez n'avoir bloqué que l'entraînement, mais vous avez aussi bloqué la recherche, sans le moindre message d'erreur. Il faut vérifier activement, pas supposer.

La vérification n'a qu'un seul objectif : confirmer que « les bots d'entraînement à bloquer sont bien bloqués, et les bots de recherche à laisser passer circulent librement ». Il faut contrôler les deux côtés — ne vérifier que le blocage de l'entraînement sans vérifier le passage de la recherche revient à ne faire que la moitié du travail. Les cinq étapes ci-dessous se déroulent en moins d'une demi-heure pour un tour complet.

CH.06

Le modèle de configuration du tri : copier, coller, terminé

Disons-le tout de suite : pas besoin de partir de zéro. Le modèle de robots.txt ci-dessous bloque déjà l'entraînement et laisse passer la recherche — avec l'explication ligne par ligne en regard ; remplacez par votre domaine et c'est en ligne.

Mode d'emploi : reportez dans l'ordre les directives du tableau ci-dessous dans le /robots.txt à la racine de votre site. Chaque bot d'entraînement forme un bloc indépendant (une ligne User-agent, une ligne Disallow) ; les bots de recherche reçoivent un Allow explicite ; gardez le Sitemap à la fin. Pensez à combiner avec le chapitre 4 — ajoutez ces quelques bots « à bloquer » aux règles d'interception forcée de votre CDN/WAF.