ディープダイブ · トレンドと洞察
AIクロールと紹介の費用：測定してから制御を選ぶ
同じ期間とフィルターでbotの目的、実費と帰属した紹介を比較。HTMLリクエストは固有ページや訪問者ではありません。学習、検索、ユーザー操作を分け、許可も遮断も結果を保証しません。
v1.1 · 2026年10月 · Tenten GEO Research
CH.01
クロール／紹介比の測定対象
プラットフォームの比は背景で、サイト価値やアクセス方針の判定ではありません。
取得、リンク表示、人の訪問は別です。実際の単位で数え、重複リクエストや引用だけから訪問・購入を推論しません。
Cloudflareの2025-08-28記事の比は、顧客範囲のプラットフォーム関連botのHTMLリクエストを、同プラットフォーム紹介の人のHTMLリクエストで割ります。固有ページ／固有人数や一botの因果実験、サイトROIではありません。
本章のポイント
比は背景。自サイトの費用と紹介観測に範囲を明示して判断します。
CH.02
同じ範囲で比較
傾向には同期間、単位、フィルターが必要。旧Q1／6月値の対応snapshotは未確認で、2026比較として断定しません。
| 比較確認 | 記録 | 限界 | 証拠 |
|---|---|---|---|
| 期間 | 正確な日付と出典 | 公開日は収集期間でない | 元snapshot／export |
| プラットフォームとbot | 提供者、確認user-agent、宣言目的 | 紹介を学習bot一つへ自動帰属しない | 公式資料と識別requestlog |
| 分子・分母 | bot HTML要求／帰属した人のHTML要求 | 固有ページ、人、引用率、収益ではない | 要求定義と帰属範囲 |
| フィルターと範囲 | 同サイト／業種、目的、採用規則 | 条件変更や紹介欠損で比が変わる | 設定と範囲を保存 |
4つの証拠確認で、提供者順位や未検証改善ではありません。
Cloudflare2025記事はTraining、Search、User action、Undeclaredを区別。既知目的の分類で各要求の下流利用を証明しません。旧未検証分布や異なる期間からの改善率は使いません。
本章のポイント
比較前に出典と条件を保存し、対応しない値は未確認のままにします。
CH.03
学習、検索、ユーザー操作アクセス
確認した目的で制御。検索索引の取得は質問時だけではなく、ユーザー操作は別規則です。
GPTBotは学習、OAI-SearchBotは検索、ChatGPT-Userはユーザー要求で自動検索botではありません。提供者の説明やrobots例外は異なり、引用、クリック、学習採用、完全排除を保証しません。
| 観点 | 学習アクセス | 検索／ユーザー操作 |
|---|---|---|
| 例 | GPTBot、現行公式資料のClaudeBot | 検索OAI-SearchBot、操作ChatGPT-User |
| 目的 | 学習に使う可能性のある内容収集 | 検索アクセスかユーザー要求、別役割 |
| リンクと紹介 | 学習収集だけで紹介を証明しない | 発見を支えてもリンク訪問を保証しない |
| 制御と限界 | 識別、robots範囲、実施を確認 | 検索資格とユーザー操作例外を別確認 |
目的別制御で、二botの紹介因果実験ではありません。
robots.txtはUser-agent群ごとに適用。GPTBotだけのDisallowはOAI-SearchBotを自動遮断しません。wildcard、CDN、操作例外は別確認し、robotsを認証や全client遵守の証明にしません。
本章のポイント
許可は流量保証、単一bot制限は全プラットフォーム不可視の証明ではありません。
CH.04
費用と事業証拠を別測定
権利、プライバシー、方針、運用費も重要。B2B全般の費用価値結果は確認していません。
自サイトlogと請求で要求、帯域、計算費を推計。共有費配分と識別不確実性を示し、全球比から純損失と断定しません。
自社定義で帰属訪問と事業成果を測定。引用や言及を平均契約額だけで金額化せず、未観測影響と欠損紹介は未知とします。
ステップ1
実際のアクセス費用
固定期間と識別要求で増分費用を推計し、不確実性を示します。全B2B費用を無視可能とはしません。
ステップ2
引用と事業成果を分離
固定質問に製品、モード、地域、言語、日付、反復、分母。引用、言及、訪問、帰属成果を分けます。
ステップ3
証拠で方針を検討
資料があれば実費と帰属価値を権利方針と検討。未知は限定シナリオで、普遍的公式にしません。
本章のポイント
未知価値はゼロではなく、引用は帰属した売上ではありません。
CH.05
4つの制御を検討
公開、選択制限、有償契約、広い制限は条件が異なり、普遍的B2B勝者はありません。
| パス | やり方 | 向いている対象 | この収支 |
|---|---|---|---|
| 公開 | 選んだ公開経路を維持 | 権利方針が許すサイト | 実費成果を監視、紹介保証なし |
| 選択的制限 | 目的別robotsと適切な強制制御 | 文書化した目的方針のサイト | 識別範囲遵守を確認、費用削減保証なし |
| 有償アクセス／paywall | 利用可能な対応製品か契約 | 実行可能な契約を持つ権利者 | 可用性、相手、条件確認、収入を仮定しない |
| 広い制限 | wildcardや強制範囲を明示 | 権利・プライバシー方針で必要なサイト | 発見影響を検討、全面不可視の証明でない |
既存4制御の条件で、収益順位ではありません。
対象要求は識別と実施によります。群と製品経路を確認し、一行差から紹介保証や完全消失を推論しません。
本章のポイント
記録し戻せる方針を監視。有償は実際の対応契約が必要で収入保証はありません。
CH.06
Tentenの方針検討リスト
盲目的にコピーするrobotsではなく、方針と目的を確認する作者リストです。
設定1
目的別規則を確認
学習、検索、操作とrobots群、強制制御、例外を確認。本稿はlive方針を変更しません。
設定2
有用な公開情報を維持
正確で読みやすい内容と実内容に合うschema。llms.txtは任意でGoogle Search不要、引用保証なし。
設定3
費用と観測を検討
Tentenは固定条件、要求費用、別の紹介事業測定の定期検討を推奨。未確認・不適用を残し、5緑灯を成功としません。
| チェック項目 | あるべき状態 |
|---|---|
| robots.txtが一律全面ブロックか | 正確な群、wildcard、強制制御を記録 |
| OAI-SearchBot / PerplexityBot | 方針で検索アクセス選択、紹介保証なし |
| GPTBot学習 / CCBot | 権利方針証拠で学習選択、自動遮断でない |
| 引用率のトラッキング | 固定製品モード地域日付反復分母 |
| クロールコスト vs 引用価値 | 実費と帰属成果、欠損と不確実性 |
5検討項目、未知・不適用は自動失敗でない。
最後の一言
目的、権利、実費、観測で判断。不確実性を残し、一般比や設定で事業価値を保証しません。
データの出典と研究方法
台北2026-10-05実質修訂。Cloudflare2025-08-28の要求比定義と目的分類を使用。未確認2026Q1／6月比・5月百分率は退役し偽とは断定しません。botは公式資料、費用測定制御はTenten提案で顧客成果や実証ROIではありません。 https://blog.cloudflare.com/ai-crawler-traffic-by-purpose-and-industry/ https://developers.openai.com/api/docs/bots https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler https://developers.google.com/search/docs/fundamentals/ai-optimization-guide https://www.rfc-editor.org/rfc/rfc9309
© 2026 Tenten GEO · 本ホワイトペーパーの内容の引用を歓迎します。出典の明記をお願いします。
AI 検索の優先課題を相談する
30分のベンチマーク解説を依頼する予約リクエストを送信すると、24 時間以内にメールで日時を確認します。