GEO

ROBOTSポリシー · 公式資料マトリクス

AIクローラーへの方針をrobots.txtに落とし込む。

検索での発見、モデル学習、ユーザー起点の取得を切り分け、現行のベンダー資料がrobots.txtで制御可能としているグループだけを生成します。

運用方針から始める

プリセットで制御可能な全tokenを設定し、コピー前に個別変更できます。

制御マトリクス

tokenごとに判断を明確化

「制御可能」の行だけが草案に入ります。参考行はユーザー起点の挙動を説明しますが、誤解を招くルールは生成しません。

OpenAIOAI-SearchBot
検索発見制御可能

ChatGPT検索でサイトを表示・リンクするOpenAIの検索クローラー。

GPTBotとは独立しており、許可しても学習クロールは許可されません。

OAI-SearchBot: 指示
OpenAIGPTBot
モデル学習制御可能

基盤モデルの学習に使われる可能性があるコンテンツ向けOpenAIクローラー。

拒否は将来のコンテンツに対するシグナルで、ChatGPT検索掲載とは別です。

GPTBot: 指示
OpenAIChatGPT-User
ユーザー取得参考情報のみ

ユーザー操作で起動するOpenAI取得エージェント。自動クローラーではありません。

OpenAIはrobots.txtが適用されない場合があると説明。検索掲載も決めないため、ルールを生成しません。

参考情報のみ
AnthropicClaudeBot
モデル学習制御可能

モデル学習に寄与する可能性があるWebコンテンツ向けAnthropicクローラー。

Anthropicは現在、同社botsがrobots.txtを尊重すると説明しています。

ClaudeBot: 指示
AnthropicClaude-SearchBot
検索発見制御可能

検索結果の品質向上に使うAnthropic検索クローラー。

ClaudeBotの学習アクセスとは分けて判断します。

Claude-SearchBot: 指示
AnthropicClaude-User
ユーザー取得制御可能

ユーザーの依頼で起動するAnthropic取得エージェント。

現行資料ではrobots.txtで制御可能。拒否するとユーザー指定のWeb取得が減る場合があります。

Claude-User: 指示
GoogleGoogle-ExtendedHTTP User-Agentではない制御token
学習 + grounding制御可能

Geminiの学習とGoogle検索によるgroundingを制御するGoogle token。

独立したHTTP User-Agentはなく、Google検索の掲載やランキングには影響しません。

Google-Extended: 指示
PerplexityPerplexityBot
検索発見制御可能

Webサイトを検索結果に表示・リンクするPerplexity検索クローラー。

Perplexityは基盤モデル学習には使用しないと説明しています。

PerplexityBot: 指示
PerplexityPerplexity-User
ユーザー取得参考情報のみ

ユーザー起点のPerplexity取得エージェント。クロール・学習botではありません。

通常robots.txtを無視すると説明されているため、ルールを生成しません。

参考情報のみ

情報確認日 · 2026-08-12

公式の制御情報

公開前に最新のベンダー資料を開いて確認してください。製品やクローラーの挙動は確認日以降に変わり得ます。

OpenAI

OAI-SearchBot、GPTBot、ユーザー起点ChatGPT-Userの独立した扱い。

公式資料を開く
Anthropic

ClaudeBot、Claude-SearchBot、Claude-Userのrobots指針。

公式資料を開く
Google

Google-Extended制御tokenに関する一般クローラー資料。

公式資料を開く
Perplexity

PerplexityBotとPerplexity-Userの役割とrobots挙動。

公式資料を開く

公開時の境界

生成内容は意図的に限定しています。置換用ファイルではなく、レビュー用の部品として扱ってください。

  1. 01既存robots.txtへ統合してください。ファイルごと置き換えると他の検索ルールを消す恐れがあります。
  2. 02公開直前にベンダー資料を再確認してください。名称、用途、robots挙動は変わり得ます。
  3. 03robots.txtで許可しても、WAF、CDN、ホスティング設定、IP制限で拒否される場合があります。
  4. 04robots.txtはアクセスも、掲載・可視性・言及・引用も保証しません。ユーザー起点エージェントは挙動が異なります。

公開前の確認

AllowでAIエンジンのアクセスや引用を保証できますか？

できません。robots.txtはクロール方針のシグナルです。ネットワーク制御、ベンダー側の処理、関連性、製品挙動は別条件です。

ChatGPT-UserとPerplexity-Userを生成しないのはなぜですか？

公式資料では、ユーザー起点のためrobots.txtが適用されない、または通常無視するとされています。ルール化すると制御可能性を誇張します。

現在のrobots.txtをこの出力で置き換えられますか？

いいえ。確認済みグループだけを既存ファイルに統合し、検索・アセット用ルールを保持して本番応答をテストしてください。