学習はブロック、検索は通す

CH.01

全ブロックの代償:あなたが止めているのはボットではなく、流入だ

一括ブロックは、学習用と一緒に検索用クローラーも制限する場合があります。許可する対象を決める前に、各事業者の学習、検索、ユーザー操作による取得の用途を確認してください。制御方法と例外は同じではありません。

多くの人が AI ボットをブロックする理由は「学習に使われたくない」というものです。その動機自体は間違っていません。間違っているのは実行のしかたです。彼らは robots.txt に User-agent: * / Disallow: / と書いたり、Cloudflare で「Block AI Bots」をワンクリックで有効にしたりして、これで学習だけを止めたつもりになります。ところが実際には、ChatGPT、Perplexity、Claude が回答を引用する際に動く「検索ボット」まで一緒に止めてしまっているのです——そしてそれこそが、あなたのサイトへ流入を送り返してくれるタイプなのです。

比率を並べて見れば、一刀両断がいかに無駄かが分かります。Cloudflare が 2026 年 5 月に観測したデータによれば、AI ボットのリクエストのうち 51.8% は純粋な学習用、35.7% は混合用途、純粋な検索用はわずか 9.3% です。本当に止めたい学習トラフィックは半分以上を占め、絶対に止めてはいけない純検索は一割に満たない。一括で全ブロックするのは、半分超の訪問者を追い払うために、その一割に満たない——唯一お金を運んでくる客まで一緒に締め出すようなものです。

学習と検索へのアクセスは別々に制御します。OpenAI は GPTBot と OAI-SearchBot、Anthropic は ClaudeBot と Claude-SearchBot を区別しています。Google-Extended は Gemini の学習と一部の grounding を制御し、Google Search の掲載や順位には影響しません。この区別だけで順位や引用を保証することはできません。

CH.02

クローラーの用途と制御方法

同じ事業者でも、学習、検索インデックス、ユーザーの要求による取得に異なるエージェントを使います。名前ごとの公式の用途と制御方法を確認してください。会社が同じでも規則は共通とは限りません。

GPTBot は学習に使われる可能性のあるコンテンツを収集し、OAI-SearchBot は ChatGPT 検索を支えます。ChatGPT-User は一部のユーザー操作によるアクセスを処理し、Search への掲載を決定しません。Anthropic は ClaudeBot、Claude-SearchBot、Claude-User を学習、検索、ユーザー要求に分けています。検索アクセスは発見を支えますが、すべての回答での出典リンクを保証しません。

CH.03

正確な分離設定:robots.txt の一行ずつの書き方

クローラーの product token に対応する robots.txt グループを確認します。RFC 9309 では一致するグループを統合し、一致がない場合に * グループを使います。適用グループ内では最も長く一致するパス規則を使い、Allow と Disallow が同等なら Allow を優先します。

既定の User-agent: * グループに Disallow: / があっても、名前を指定したグループの Allow: / で対応する検索クローラーを許可できます。名前を省略すると wildcard の制限が適用される場合があり、許可とは限りません。記述順ではなく、適用グループとパスを確認します。

• →学習方針：GPTBot、ClaudeBot、CCBot を制限する場合は、個別の User-agent グループに Disallow: / を設定します。Google-Extended は別途判断してください。Disallow は学習だけでなく対象の grounding も制限します。
• →検索アクセス：User-agent: OAI-SearchBot に Allow: / を設定し、Claude-SearchBot と PerplexityBot も個別に確認します。ChatGPT-User はユーザー操作による取得で robots.txt が適用されない場合があります。Perplexity-User は通常これを無視します。Anthropic は三つのエージェントが robots.txt に従うと説明しています。
• →検索エンジン——必ず通す:Googlebot、Bingbot は完全にクロール可能なまま維持し、AI 学習ボットと混同しない
• →wildcard の既定規則を確認します。User-agent: * と Disallow: / は一致する名前付きグループがないエージェントを制限しますが、明示的に一致するグループを自動的に上書きしません。robots.txt はクロール指示であり、強制的なアクセス制御ではありません。

CH.04

CDN レイヤーの制御:本当に止め切れる壁

先に結論から。robots.txt はお願い、CDN は執行です。「確実に止める」ことが必要で「丁寧にお願いする」だけでは足りないなら、アクセス制御はホストまたは CDN レイヤーに置き、user-agent ルールで 403 を返すべきで、robots.txt に書くだけでは不十分です。

なぜか?robots.txt に強制力がないからです。user-agent を偽装する、あるいはルールを完全に無視するボットは、あなたが Disallow したディレクトリでも平気で取得していきます。目的が「学習されない」という実害のあることなら、立て看板だけでは足りません——リクエストがコンテンツに到達する前に、CDN/WAF が user-agent に基づいて直接遮断する必要があります。

CH.05

設定の反映を検証する:検索ボットがまだ入れるか確認する

先に結論から。設定し終えた=正しく設定できた、ではありません。分離で最も危険な失敗は「気づかぬうちに間違って止める」こと——学習だけ止めたつもりが、実は検索ボットも止めていて、しかも何のエラーも出ない。仮定するのではなく、能動的に検証しなければなりません。

検証の目標はただひとつ:「止めるべき学習ボットが止まり、通すべき検索ボットが通っている」ことを確認することです。両方を調べなければなりません——学習が止まったかだけを調べて、検索が通ったかを調べないのは、半分しか検証していないのと同じです。以下の 5 ステップは、30 分以内で一周回せます。

CH.06

分離設定テンプレート:コピー、貼り付け、完了

先に結論から。ゼロから書く必要はありません。下のこの robots.txt テンプレートは、すでに学習をブロックし、検索を通す形になっています——一行ずつの対照説明付きで、あなたのドメインに書き換えるだけで公開できます。

使い方:下表のディレクティブを順番にサイトのルートディレクトリの /robots.txt に書き込みます。学習ボットはそれぞれ独立したブロック(User-agent が一行、Disallow が一行)、検索ボットには明示的に Allow、最後に Sitemap を残します。第四章と組み合わせるのを忘れずに——「止めるべき」これらのボットを CDN/WAF の強制遮断ルールにも同期して追加してください。