robots.txtにDisallowを1行追加してGPTBotをブロックすれば、ChatGPTに自社サイトを参照されなくなる。そう考える方は少なくありません。しかし、実際にはその設定で期待した結果は得られません。GPTBotの役割は、モデル学習用のデータを収集することです。ChatGPTの回答に自社ページが表示されるかどうかを左右するのは、OAI-SearchBotという別のクローラーです。同じ企業が運用していても、役割が異なればUser-Agentも異なります。まずは一覧に並ぶ各名称の役割を把握し、robots.txtで許可とブロックを逆に設定しないようにしましょう。
まず押さえたい、AIクローラーの3つの分類
- 学習用クローラー：コンテンツを収集し、モデルの学習コーパスに取り込みます。通常はオフラインで処理され、ユーザーがその時点で見ている回答には直接関係しません。代表例はGPTBot（OpenAI）、ClaudeBot（Anthropic）、CCBot（Common Crawl）、Meta-ExternalAgent、Bytespider（ByteDance）です。
- 検索・インデックス用クローラー：AI回答エンジンがすぐに検索できるインデックスを構築し、自社ページが参照元として利用されるかどうかに直接影響します。代表例はOAI-SearchBot（ChatGPT search）、PerplexityBot、Googlebot（AI Overviewsは既存のインデックスを利用）、Applebot（SiriおよびApple Intelligence）です。
- ユーザー起点のクローラー：ユーザーが会話にURLを貼り付けたり、その場での確認を求めたりした際にクロールします。通常は1ページずつ読み取り、学習データには取り込まれません。代表例はChatGPT-User、Perplexity-User、Claude-Userです。
AIに引用・参照されたいのであれば、後者2つ、つまり検索・インデックス用とユーザー起点のクローラーはブロックしないことが重要です。検索用クローラーがアクセスできなければ、参照元の候補に入りません。ユーザー起点のクローラーを拒否すると、ユーザーがAIにURLを渡しても、その内容を読み取れなくなります。一方、学習用クローラーはブランド戦略に応じて判断できます。コンテンツを無償で学習に利用されたくなければブロックし、モデルの基盤コーパスに含まれる可能性を高めたいなら許可する、という考え方です。この3層を混同することが、robots.txtを意図と反対に設定してしまう最大の原因です。
OpenAI：GPTBot、OAI-SearchBot、ChatGPT-User
- GPTBot：学習目的のクローラーです。User-Agentには「GPTBot/1.2」が含まれ、robots.txtのトークンは「GPTBot」です。OpenAIはクローラーのIPレンジもJSONファイルで公開しているため、正規のアクセスかどうかを検証できます。
- OAI-SearchBot：自社ページをChatGPTの検索対象や引用元に含める役割を担い、トークンは「OAI-SearchBot」です。ブロックするとChatGPT上の可視性を自ら手放すことになりますが、誤って拒否されやすいクローラーでもあります。
- ChatGPT-User：ユーザーが会話内でURLの閲覧や確認を求めたときに起動します。トークンは「ChatGPT-User」です。リアルタイムで単一ページをクロールし、学習には利用されません。
Google-Extendedはクローラーではなく、利用可否を切り替えるスイッチ
Google-Extendedは「AIクローラー一覧」に含められがちですが、サーバーログに現れるクローラーではありません。robots.txtで指定するプロダクトトークンです。許可またはブロックして影響するのは、GoogleがコンテンツをGeminiの学習や一部の生成機能に利用できるかどうかであり、Googlebotによる通常のインデックス登録には影響しません。したがって、Google-ExtendedをブロックしてもGoogle検索から除外されることはなく、通常はAI Overviewsからも消えません。AI Overviewsは主にGooglebotが構築した既存のインデックスを利用するためです。AppleのApplebot-Extendedも同じ設計で、Apple Intelligenceの学習利用を制御するスイッチです。通常のインデックス登録を担うApplebotとは異なります。
PerplexityBotと、ルールに従わないクローラー
Perplexityに参照されるには、PerplexityBot（インデックス用）とPerplexity-User（ユーザーによるリアルタイム照会用）の両方を許可する必要があります。ただし、現実的な注意点もあります。robots.txtはあくまで紳士協定であり、強制力はありません。Cloudflareは2025年、Perplexityがrobots.txtでブロックされた後、一般的なブラウザを装った未申告のUser-Agentに切り替えてクロールを続けたと公表しました。Bytespiderも過去に、速度をほとんど考慮しない高頻度のクロールで知られていました。つまり、「ブロックしたいクローラーを完全には止められない可能性がある」ことと、「許可したいアクセスも正規のクローラーか確認する必要がある」ことは、同時に成立します。
Amazonbot、ClaudeBotなど、ログで見かける主な名称
- ClaudeBot：Anthropicの学習用クローラーです。ほかにユーザー起点のClaude-Userがあり、旧トークンのanthropotic-aiやClaude-Webも同時にログへ現れる場合があります。
- Amazonbot：AlexaおよびAmazonのAIサービスで利用され、User-Agentには「Amazonbot/0.1」が含まれます。
- CCBot：Common Crawlのクローラーです。Common Crawl自体はAI企業ではありませんが、収集した公開コーパスは多くのモデルで利用されています。間接的な学習経路であるため、学習利用を管理する際に最も見落とされやすい存在です。
- そのほかの主な名称：Meta-ExternalAgent（Metaの学習用）、Meta-ExternalFetcher（ユーザー起点）、YouBot（You.com）、DuckAssistBot（DuckDuckGo）、cohere-ai（Cohere）、MistralAI-User、Diffbot、Timpibot。
2026年のrobots.txt設定方針
すべてのサイトに当てはまる唯一の正解はありません。ただし、GEOに取り組み、AI経由の検索流入や商談機会を広げたい多くのB2Bサイトでは、検索用とユーザー起点のクローラーを許可し、AIエンジンがコンテンツを読み取り、引用できる状態にするのが妥当な初期設定です。学習用クローラーについては、コンテンツの価値とブランド戦略を踏まえて個別に判断します。以下は、可視性を優先した設定例です。
- User-agent: OAI-SearchBot → Allow: /（ChatGPT上の可視性を維持）
- User-agent: PerplexityBot → Allow: /（Perplexityの参照元候補に入る）
- User-agent: ChatGPT-User and Perplexity-User → Allow: /（ユーザーによる能動的な確認を妨げない）
- User-agent: Googlebot → Allow: /（AI Overviewsと通常検索は同じインデックスを利用するため、必ず許可）
- User-agent: GPTBot, CCBot, Google-Extended → ポリシーに応じて判断（学習に利用されたくない場合はDisallow: /。上記の可視性には影響しない）
robots.txtだけに頼らない
robots.txtで止められるのは、ルールに従うクローラーだけです。意図的に回避するクローラーまでは防げません。本格的に制御するなら、さらに踏み込んだ対策が必要です。逆引きDNSと正引きによる確認を組み合わせ、各社が公式に公表するIPレンジと照合して、正規のクローラーか検証します。偽装や高頻度クロールには、robots.txtへ1行追加するだけでなく、WAF、CloudflareのAIクローラー管理、レート制限を利用します。同じく重要なのがモニタリングです。サーバーのアクセスログを定期的に確認し、実際にどのAIクローラーが、どの程度の頻度で訪問しているかを把握してください。これはGEOでの露出状況を判断する一次情報であり、どのような予測よりも確かなシグナルになります。
AIクローラーの一覧は四半期ごとに変化し、新しい名称が登場したり、トークンが変更されたりします。個別の名称をすべて暗記するより、学習用、検索・参照用、ユーザー起点という分類の考え方を覚えておくほうが実践的です。それぞれ、許可・ブロックした際の戦略的な影響が異なります。現在どのAIエンジンが自社サイトをクロールしているのか、本来参照されるべきなのに漏れているページはどれか分からない場合、TentenのGEO監査ではクローラーのアクセス記録と参照状況をまとめて可視化します。まず自社の課題を把握したい方は、30分のGEO診断をご予約ください（/contact）。
