Décryptage · Tendances et analyses

Coût du crawl IA et des visites : mesurer avant de choisir les contrôles

Comparez finalités vérifiées, coûts réels et visites attribuées sur la même période et avec les mêmes filtres. Les requêtes HTML ne sont pas des pages ou visiteurs uniques. Entraînement, recherche et action utilisateur diffèrent ; autoriser ou bloquer ne garantit rien.

v1.1 · Octobre 2026 · Tenten GEO Research

CH.01

Ce que mesure le ratio crawl/visites

Un ratio de plateforme donne du contexte, pas la valeur ou la politique de votre site.

Sur fond sombre et chaud, un large champ lumineux crème et lavande à gauche contient des bandes rectangulaires et de petites silhouettes humaines ; les bandes se resserrent vers une sphère violette lumineuse isolée à droite. — Comparaison conceptuelle des accès au contenu et du trafic humain, pas un résultat observé de dix mille contre un.

Collecte, lien affiché et visite humaine sont distincts. Comptez leurs unités réelles : les requêtes peuvent se répéter et une citation ne prouve ni visite ni vente.

L’article Cloudflare du 2025-08-28 rapporte les requêtes HTML des bots associés à une plateforme aux requêtes HTML humaines référées par elle, parmi ses clients. Pas des pages/visiteurs uniques, une expérience causale par bot ou le ROI de votre site.

À retenir de ce chapitre

Le ratio est un contexte. Décidez avec vos coûts et visites observées, en précisant le périmètre.

Illustrations de marque générées par IA.

CH.02

Comparer à périmètre constant

Même période, unités et filtres sont nécessaires. Les anciens chiffres T1/juin n’ont pas de snapshots concordants vérifiés ici : pas de comparaison 2026 établie.

Contrôle	À noter	Limite	Preuve
Période	Dates exactes et source	Publication distincte de la collecte	Snapshot ou export original
Plateforme et bot	Fournisseur, user-agent vérifié et finalité déclarée	Ne pas attribuer automatiquement les visites à un bot d’entraînement	Documentation et requêtes identifiées
Numérateur/dénominateur	Requêtes HTML bots / requêtes HTML humaines attribuées	Ni pages/personnes uniques, probabilité de citation ou revenu	Définitions et couverture d’attribution
Filtres et couverture	Même site/secteur, finalité et règles d’inclusion	Changements de filtres et visites manquantes modifient le ratio	Paramètres et périmètre sauvegardés

Quatre contrôles de preuve, pas un classement ni une amélioration non vérifiée.

Cloudflare distingue en 2025 Training, Search, User action et Undeclared. Finalités connues, pas preuve de chaque utilisation ultérieure. Les anciens pourcentages non vérifiés et l’amélioration entre périodes non appariées ne sont pas repris.

À retenir de ce chapitre

Sauvegardez source et paramètres ; laissez les valeurs non appariées non vérifiées.

CH.03

Entraînement, recherche et action utilisateur

Contrôlez la finalité identifiée. L’indexation ne se limite pas au moment d’une question ; l’action utilisateur a des règles distinctes.

GPTBot sert l’entraînement, OAI-SearchBot la recherche, ChatGPT-User les demandes utilisateur et non le crawl automatique de recherche. Descriptions et exceptions robots varient ; aucun rôle ne garantit citation, clic, inclusion ou exclusion complète.

Critère	Accès entraînement	Recherche / action utilisateur
Exemples	GPTBot ; ClaudeBot selon documentation actuelle	Recherche OAI-SearchBot ; action ChatGPT-User
Finalité	Collecter pour un éventuel entraînement	Recherche ou demande utilisateur, rôles séparés
Liens et visites	La collecte seule ne démontre pas de visites	Accès utile à la découverte, sans liens/visites garantis
Contrôles et limites	Identité, portée robots et application à vérifier	Éligibilité recherche et exceptions utilisateur séparées

Contrôles par finalité, pas une expérience causale entre deux bots.

robots.txt s’applique par groupe User-agent. Un Disallow GPTBot seul ne bloque pas OAI-SearchBot automatiquement. Vérifiez jokers, CDN et exceptions utilisateur ; robots n’est ni authentification ni preuve de conformité de tous les clients.

À retenir de ce chapitre

Autoriser ne promet pas du trafic ; limiter un bot ne prouve pas l’invisibilité sur toute une plateforme.

CH.04

Mesurer séparément coûts et preuves commerciales

Droits, confidentialité, politique et coût opérationnel comptent aussi. Aucun résultat coût/valeur universel B2B n’est vérifié ici.

Estimez requêtes, bande passante et calcul avec vos logs et factures. Indiquez allocation partagée et identité incertaine ; un ratio global ne prouve pas une perte pure pour vous.

Mesurez visites attribuées et résultats selon vos définitions. Une citation/mention ne se monétise pas par le seul contrat moyen ; influence inconnue et visites manquantes restent inconnues.

Étape 1

Noter le coût réel

Période fixe, requêtes identifiées et coût incrémental estimé, avec incertitude. Ne supposez pas toute facture B2B négligeable.

Étape 2

Séparer citations et résultats

Questions fixes, produit, mode, région, langue, date, répétitions et dénominateur. Séparez citation, mention, visite et résultat qualifié attribué.

Étape 3

Examiner la politique avec les preuves

Comparez coût réel et valeur attribuée si disponibles, avec droits/politique. Scénarios bornés pour les inconnues, pas de formule universelle.

À retenir de ce chapitre

Valeur inconnue ne signifie pas zéro ; citation observée ne signifie pas vente attribuée.

CH.05

Quatre contrôles à évaluer

Accès ouvert, restrictions ciblées, accès payant négocié et restrictions larges ont des conditions différentes ; aucun gagnant B2B universel.

Trajectoire	Comment faire	Pour qui	Le calcul
Accès ouvert	Garder accessibles les chemins publics choisis	Sites dont droits et politique le permettent	Suivre coûts/résultats, sans visites garanties
Restrictions ciblées	robots par finalité et contrôle appliqué adapté	Sites avec politique documentée par finalité	Vérifier identité, portée et conformité, sans économie garantie
Accès payant / paywall	Produit compatible ou accord si disponible	Ayants droit avec contrat réalisable	Disponibilité, parties et conditions, sans paiement supposé
Restrictions larges	Définir volontairement jokers ou restrictions appliquées	Sites dont droits/confidentialité/politique l’exigent	Examiner les effets d’accès, pas une invisibilité universelle

Quatre contrôles existants conditionnels, pas des rendements classés.

Les requêtes affectées dépendent d’identité et d’application. Vérifiez groupes et parcours ; une ligne différente ne prouve ni visites garanties ni disparition complète.

À retenir de ce chapitre

Politique documentée, réversible et suivie. L’accès payant exige un arrangement compatible réel ; aucun revenu garanti.

CH.06

Liste Tenten de revue de politique

Liste proposée, pas un robots à copier aveuglément. Confirmez politique et finalité avant de modifier.

Réglage 1

Vérifier les règles par finalité

Identifiez entraînement, recherche, action, groupes robots, contrôles et exceptions. Ce guide ne change aucune politique live.

Réglage 2

Garder des informations publiques utiles

Contenu exact et lisible, schema conforme à la page. llms.txt est facultatif et inutile pour Google Search ; aucun format ne garantit des citations.

Réglage 3

Examiner coût et observations

Tenten recommande une revue périodique à conditions fixes avec logs/coûts et mesures distinctes de visites et business. Notez inconnu/non applicable ; cinq feux verts ne prouvent pas le succès.

Point de contrôle	État attendu
Le robots.txt bloque-t-il tout d'un coup ?	Groupes, jokers et contrôles appliqués documentés
OAI-SearchBot / PerplexityBot	Accès recherche choisi selon politique, sans visites garanties
GPTBot entraînement / CCBot	Accès entraînement selon droits/politique/preuves, pas blocage automatique
Suivi du taux de citation	Produit/mode/région/date/répétitions/dénominateur fixes
Coût d'exploration vs valeur des citations	Coûts et résultats attribués avec manques et incertitude

Cinq points ; inconnu/non applicable n’est pas un échec automatique.

Le mot de la fin

Décidez avec finalité, droits, coûts et observations. Incertitudes explicites ; aucun ratio ou réglage générique ne garantit une valeur commerciale.

Sources et méthodologie

Révision substantielle à Taipei au 2026-10-05. Définition du ratio et catégories Cloudflare du 2025-08-28 ; chiffres T1/juin2026 et pourcentages de mai non vérifiés retirés, sans déclaration de fausseté. Rôles selon documents officiels ; listes Tenten, pas résultats clients ou ROI démontré. https://blog.cloudflare.com/ai-crawler-traffic-by-purpose-and-industry/ https://developers.openai.com/api/docs/bots https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler https://developers.google.com/search/docs/fundamentals/ai-optimization-guide https://www.rfc-editor.org/rfc/rfc9309

Discutons de vos priorités en recherche IA

Demander une interprétation du benchmark en 30 minutes

Envoyez votre demande. Nous confirmerons un créneau par e-mail sous 24 heures.