AIクローラーの処理能力は無限ではありません。しかも、想像以上に多くのリソースが重要ではないページに費やされています。中規模から大規模のサイトでは、GPTBot、ClaudeBot、PerplexityBotによる日々のクロールの半数以上が、ページネーション、絞り込み用パラメータ、過去のキャンペーンページなど、引用される見込みのないURLに集中していることも珍しくありません。その結果、AIに引用してほしい商品ページや比較記事ほど、更新の反映が遅く、再クロールの頻度も低くなります。クロールバジェットの最適化とは、誤った出口につながった水道管を、本来の出口へつなぎ直す作業です。
AIクローラーには、多くクロールされるほどよいのでしょうか。
クロールバジェット（crawl budget）は、もともと主にGoogleへの対応で使われてきた概念です。検索エンジンがそのサイトのクロールに割り当てる処理量を指し、サーバーがどこまで負荷に耐えられるか（crawl rate limit）と、エンジン側がどれだけクロールする価値があると判断するか（crawl demand）の2点で決まります。GEOの時代に入り、相手は1社から十数社へと増え、それぞれクロール量もアクセス時の配慮も異なります。一部サイトのサーバーログでは、ClaudeBotやGPTBotのクロール数が従来のGooglebotに迫り、上回るケースすらあります。その多くはJavaScriptを実行せず、応答速度に敏感です。また、低価値なURLが大量にあっても自動的に賢く選別してくれるわけではありません。提示されたURLを、そのままクロールします。
まず、誰が予算を使っているのかを把握する
最適化を始める前に、まずアクセスの主体を特定する必要があります。AIクローラーは目的がそれぞれ異なり、モデルの学習用、リアルタイム検索用（会話中にユーザーが質問したときだけクロールするもの）、その両方を担うものがあります。この違いによって、アクセスを許可するか、許可するならどのページを優先的にクロールさせるかという判断が変わります。以下は、現在、多くのB2Bサイトのログで確認される代表的なクローラーです。後ほどログ分析やrobots.txtの設定で使用するため、ユーザーエージェント名を押さえておきましょう。
- GPTBot（OpenAIの学習用）、OAI-SearchBot（ChatGPTのリアルタイム検索用）
- ClaudeBot／Claude-User（Anthropicの学習およびリアルタイム検索用）
- PerplexityBot／Perplexity-User（Perplexityのインデックス作成および即時クロール用）
- Google-Extended（Geminiによるコンテンツ利用の可否を制御。通常の検索順位には影響しない）
- Amazonbot、Bytespider、Meta-ExternalAgent（クロール量が多く、見落とされがちなアクセス元）
クロールバジェットの流出を示す3つの兆候
- ログに記録されたクローラーのリクエストの半数以上が、コアコンテンツではなく、「?」を含むパラメータ付きURLや並べ替え・絞り込み用URLに集中している。
- 公開したばかりの比較記事、料金ページ、導入事例などの重要ページが、AIクローラーに最後にクロールされてから2〜3週間以上経過している。
- クローラーが404、301リダイレクト、応答に3〜4秒かかるページへ頻繁にアクセスしている。そのたびに予算が浪費されている。
サイトの規模が大きいほど、問題は顕著になります。30ページ程度の画像サイトであれば、クロールバジェットをほとんど気にする必要はありません。しかし、ECの商品カテゴリ、ブログのページネーション、多言語版、あるいは大量のパラメータの組み合わせを生む絞り込みナビゲーションがあるだけで、クロール可能なURL数は実際のコンテンツページ数の数十倍にまで膨らみます。クローラーに割り当てられる予算は有限です。余分なURLを増やしてもクロール総数は増えず、重要ページがクロールされる機会を薄めるだけです。
サーバーログで予算の流出箇所を特定する
推測だけでは改善できません。確認すべきはログです。クロールバジェットの実態を最も正確に示すデータは、サーバーのアクセスログにあります。AIクローラーのユーザーエージェントを抽出すれば、クローラーごとのクロール回数、リクエスト先となったURLタイプの内訳、ステータスコード別（200、301、404、5xx）の割合という3点を算出できます。無駄の大半は、ファセット検索で生成されるパラメータの組み合わせ、サイト内検索結果、終わりのないページネーション、すでに終了しているはずの過去のキャンペーンページなど、少数のパターンに集中します。まず計測しなければ、どの水道管を閉じるのが最も効果的かは分かりません。AI可視性モニタリングのような可視性計測で分かるのは、自社が引用されたかどうかです。一方、ログからはクローラーがどこに時間を使ったかが分かります。この2つを突き合わせる必要があります。
重要ページへ予算を戻す6つの施策
- robots.txtのDisallowを使い、サイト内検索、絞り込みパラメータ、ショッピングカートなど、クロールが不要なパスを遮断します。リクエストの発生源から無駄を減らせます。
- 重複ページや内容がほぼ同じページにcanonicalを設定し、並べ替えなどで生じるすべてのバリエーションではなく、正規URLへクロールバジェットを集中させます。
- 301リダイレクトの連鎖を解消し、サイト内の404リンクを修正します。クローラーが不要なリダイレクトを1回たどるたびに、実際のページをクロールできる機会が1回失われます。
- インデックス可能なURLだけを含む、整理されたXMLサイトマップを維持します。lastmodには実際の更新日時を正確に反映し、クローラーが再クロールすべきページを判断できるようにします。
- 内部リンクを使い、評価とクロール経路をコアページへ集めます。多くのAIクローラーはJavaScriptを実行しないため、メニューや関連記事にはフロントエンドで動的に生成するリンクではなく、実体のあるHTMLリンクを使用します。
- 最初の1バイトが届くまでの時間（TTFB）とページ容量を削減します。応答が速いほど、同じ予算内でクローラーが巡回できるページ数は増えます。
AIクローラーには、まず「回答型」ページを届ける
節約した予算は、適切なページに使う必要があります。GEOで優先的かつ高頻度にクロールされるべきなのは、質問に直接答えられ、構造が明確で、情報をきれいに抽出しやすいページです。たとえば、定義が明確な用語解説、具体的な数値を含む比較記事、手順形式のチュートリアル、FAQを備えた商品ページなどが該当します。AIエンジンが回答を生成する際、こうしたページは参照元として採用される可能性が高いコンテンツです。サイトマップの前方に配置し、複数の内部リンクから誘導し、内容を最新に保つことで、「ここは頻繁に訪れる価値がある」とクローラーへ明確に伝えられます。一方、サンクスページ、ログインページ、無限スクロールのタグ一覧ページは対象外にしておくべきです。
クロールバジェット最適化の目的は、クロール回数を増やすことではありません。クローラーが訪れるたびに、AIに参照してほしいページへ確実に到達させることです。— Tenten GEO Consulting Team
一度対応すれば終わり、という施策ではありません。サイトには新たなパラメータが生まれ、マーケティング部門は新しいキャンペーンページを公開し、リニューアルでは新たなリダイレクトが発生します。クロールバジェットの流出箇所は継続的に増えるため、四半期ごとの定例作業にログ分析を組み込み、クローラーが重要ページへ到達する割合と再クロールまでの間隔を確認し続ける必要があります。AIクローラーが現在、自社サイトのどこに時間を使っているのか、参照されるべきなのにまったくクロールされていないページはどれか分からない場合は、30分のGEO診断をご予約ください。サーバーログを基に、予算の流出箇所を特定します。
