robots.txt 分流策略
封訓練、放檢索
修改 robots.txt 前，先分清訓練、搜尋索引與使用者觸發的擷取。本指南整理各供應商的控制方式、Google-Extended、CDN 檢查與分流範本。允許存取不代表一定獲得引用或導流。
v1.0 · 2026 年 6 月 · Tenten GEO Research
CH.01
全封的代價：你封掉的不是爬蟲，是回流
一律封鎖可能把搜尋爬蟲與訓練爬蟲一起擋住。決定放行哪些請求前，先辨識各供應商的訓練、搜尋與使用者擷取用途；它們的控制方式與例外並不相同。
多數人封 AI 爬蟲的理由是「不想被拿去訓練」。這個理由本身沒錯，錯的是執行：他們在 robots.txt 寫下 User-agent: * / Disallow: /，或在 Cloudflare 一鍵打開「Block AI Bots」，以為這只擋掉訓練。實際上，你連同驅動 ChatGPT、Perplexity、Claude 引用答案的「檢索爬蟲」一起擋掉了：而那才是會把流量送回你網站的那一種。
把比例攤開看你就懂為什麼一刀切是浪費。Cloudflare 在 2026 年 5 月的觀測顯示：51.8% 的 AI 爬蟲請求是純訓練、35.7% 是混合用途、只有 9.3% 是純檢索。你真正想擋的訓練流量超過一半；你絕對不能擋的純檢索只有不到一成。一刀全封，等於為了趕走過半的訪客，把那不到一成、唯一會帶錢回來的客人也一起鎖在門外。
AI 爬蟲請求組成：訓練 vs 混合 vs 檢索
Cloudflare(2026.5)AI 爬蟲流量觀測
資料來源：Cloudflare(2026.5)。純檢索僅 9.3%：這正是會把使用者送回你網站的那一種，卻最常被一刀切連帶誤殺。本圖表完整公開，歡迎引用，請註明出處：Tenten GEO《封訓練、放檢索》。
代價有多高？87.4%
ChatGPT 驅動了 87.4% 的 AI 推薦流量(Conductor)。封掉它的檢索爬蟲，等於主動關掉現階段最大的 AI 流量水龍頭。你省下的訓練頻寬以 KB 計，損失的回流以營收計：這筆帳怎麼算都虧。
訓練與搜尋存取有各自的控制。OpenAI 區分 GPTBot 與 OAI-SearchBot，Anthropic 區分 ClaudeBot 與 Claude-SearchBot。Google-Extended 控制 Gemini 訓練與部分 grounding 用途，不影響 Google Search 收錄或排名。這些區別不能推得普遍的排名或引用保證。
CH.02
爬蟲用途與控制方式對照
同一供應商可以用不同代理處理訓練、搜尋索引與使用者要求的擷取。逐一核對官方說明中的用途與控制方式；公司名稱相同，不代表規則可以互換。
GPTBot 收集可能用於訓練的內容；OAI-SearchBot 支援 ChatGPT 搜尋。ChatGPT-User 處理部分使用者觸發的存取，不決定 Search 收錄。Anthropic 以 ClaudeBot、Claude-SearchBot、Claude-User 分別處理訓練、搜尋與使用者請求。搜尋存取有助於發現內容，並不保證每次回答都附上來源連結。
| Bot 名稱 | 用途 | 該放 / 該擋 | 所屬引擎 / 用途 |
|---|---|---|---|
| GPTBot | 訓練 | 該擋 | OpenAI 收集可能用於基礎模型訓練的內容 |
| OAI-SearchBot | 檢索 | 該放 | 支援 ChatGPT 搜尋，與使用者觸發的 ChatGPT-User 存取分開 |
| ChatGPT-User | 檢索(即時) | 該放 | 使用者觸發的存取；robots.txt 規則可能不適用 |
| ClaudeBot | 訓練 | 該擋 | Anthropic 模型訓練(NoHacks / Rankry) |
| Claude-SearchBot | 檢索 | 該放 | 為 Claude 搜尋建立內容索引；Claude-User 處理使用者請求 |
| CCBot | 訓練 | 該擋 | Common Crawl，餵給多家模型訓練 |
| PerplexityBot | 檢索 | 該放 | Perplexity 搜尋結果與來源連結；不用於基礎模型訓練 |
| Googlebot | 檢索 / 排名 | 該放 | Google Search 抓取；AI 連結需已索引且可顯示摘要，仍不保證呈現 |
| Google-Extended | 訓練／Grounding 控制 | 看需求 | 控制 Gemini 訓練與部分 Gemini／Vertex grounding 的 robots token，沒有獨立 HTTP user-agent；不影響 Google Search 收錄或排名 |
| Bingbot | 檢索 / 排名 | 該放 | Bing 搜尋與 Microsoft Copilot |
各供應商的訓練、搜尋與使用者請求用途不同。Google-Extended 也控制 grounding；搜尋可存取不代表一定被引用。
本章重點
依官方列出的代理與用途判斷，不用名稱猜用途。拒絕 OAI-SearchBot 會使內容無法出現在 ChatGPT 搜尋回答，導覽連結仍可能出現。使用者擷取另有規則，不能假設名稱含 Search 或 User 的代理行為都相同。
CH.03
精確分流設定：robots.txt 逐條寫法
先找出與爬蟲 product token 相符的 robots.txt 群組。RFC 9309 規定，符合的群組要合併；沒有相符群組時才使用 * 群組。適用群組內以最長匹配路徑為準；Allow 與 Disallow 同等匹配時，優先採用 Allow。
即使預設的 User-agent: * 群組寫 Disallow: /，具名群組的 Allow: / 仍可放行對應搜尋爬蟲。不寫具名群組不代表放行，因為它可能套用 wildcard 限制。要檢查適用群組與路徑，不能只看檔案行序。
- →訓練政策：若要限制 GPTBot、ClaudeBot、CCBot，分別建立 User-agent 群組並寫 Disallow: /。Google-Extended 要另外決定，因為它的 Disallow 也限制涵蓋的 grounding 用途，不只訓練。
- →搜尋存取：可為 User-agent: OAI-SearchBot 設 Allow: /，再分別檢查 Claude-SearchBot 與 PerplexityBot。ChatGPT-User 由使用者觸發，robots.txt 可能不適用；Perplexity-User 通常忽略它。Anthropic 說明其三種代理都遵守 robots.txt。
- →搜尋引擎：務必放行：Googlebot、Bingbot 維持完全可抓，別跟 AI 訓練爬蟲混為一談
- →檢查 wildcard 預設：User-agent: * 搭配 Disallow: / 可能擋住沒有相符具名群組的代理，不會自動覆蓋明確相符的群組。robots.txt 是抓取指示，不是強制存取控制。
robots.txt 的天花板
robots.txt 是抓取指示，不是伺服器門鎖。Anthropic 說明其代理遵守它；OpenAI 說 ChatGPT-User 規則可能不適用；Perplexity 說 Perplexity-User 通常忽略它。需要強制控制時，使用主機或 CDN 規則，並核對代理身分，不能只相信名稱。
CH.04
CDN 層的控制：真正擋得住的那道牆
先講結論：robots.txt 是請求，CDN 是執法。如果你需要的是「保證擋下」而不是「禮貌地拜託」，存取控制就該放在主機或 CDN 層，用 user-agent 規則回 403，而不只是寫在 robots.txt 裡。
為什麼？因為 robots.txt 沒有強制力。一個偽裝 user-agent 或乾脆無視規則的爬蟲，照樣能抓走你 Disallow 的目錄。當你的目的是「不被訓練」這種有實質利害的事，光靠告示牌不夠：你需要在請求進到內容之前，就由 CDN/WAF 依 user-agent 直接攔下。
| 控制層 | 機制 | 適合做的事 | 限制 |
|---|---|---|---|
| robots.txt | 告示宣告(自願遵守) | 對守規矩的主流爬蟲分流訓練 / 檢索 | 無強制力，可被無視或偽裝繞過 |
| CDN / WAF 規則 | 依 user-agent 回 403 / 攔截 | 強制擋下訓練爬蟲，真正「擋得住」 | 需正確維護名單，別誤傷檢索爬蟲 |
| Cloudflare 一鍵封鎖 | 託管規則一鍵 Block AI Bots | 省事 | 常把檢索爬蟲一起封，屬一刀切高風險 |
三層存取控制對照：robots.txt 負責宣告分流，CDN/WAF 負責強制執法，一鍵全封最省事也最危險
兩層搭配的正解
robots.txt 寫清楚分流意圖(放檢索、擋訓練),CDN/WAF 對「該擋」的訓練爬蟲補上強制攔截。千萬別在 CDN 用「封所有 AI 爬蟲」的託管規則：那是把第一章的 87.4% 回流(Conductor)親手關掉的捷徑。設規則時務必把 OAI-SearchBot、Claude-SearchBot、PerplexityBot 等檢索爬蟲明確列入放行白名單。
CH.05
驗證設定生效：確認檢索爬蟲還進得來
先講結論：設完不等於設對。分流最危險的失敗是「悄悄封錯」：你以為只擋了訓練，實際把檢索爬蟲也擋了，而且沒有任何報錯。必須主動驗證，而不是假設。
驗證的目標只有一個：確認「該擋的訓練爬蟲被擋、該放的檢索爬蟲暢通」。兩邊都要查：只查擋住了訓練、沒查放行了檢索，等於只驗一半。以下五步，半小時內可跑完一輪。
STEP 1
查伺服器存取 log
檢查已核對身分的爬蟲請求是否回傳 200、403 或 429，並對照預定政策。robots.txt 的 Disallow 本身不會產生 403；這需要主機或 CDN 的強制規則。訓練限制與搜尋存取要分別檢查。
STEP 2
用 curl 偽裝 user-agent 實測
用 curl -A 檢查主機或 CDN 如何回應指定的代理字串。只有設定強制規則時，才預期訓練請求回傳 403。這測的是規則，不是真實爬蟲的身分或行為；實際請求還要對照供應商 IP 範圍與 log。
STEP 3
核對 robots.txt 解析
用 robots.txt 測試工具逐一輸入 user-agent，確認 OAI-SearchBot/Claude-SearchBot/PerplexityBot 判定為 Allowed、GPTBot/ClaudeBot/CCBot 判定為 Disallowed。特別檢查沒有殘留的 User-agent: * / Disallow: / 在誤傷檢索爬蟲。
STEP 4
在 AI 引擎實測提問
向 ChatGPT、Perplexity 詢問品牌與主題，記錄引用 URL 作為回答觀測。引用可能來自既有索引；出現引用不代表剛剛重新抓取，沒出現也不能單獨證明存取被擋。
STEP 5
監控 AI 回流
把 chatgpt.com、perplexity.ai 的導流視為結果觀測。調整存取不保證導流持平或上升。流量改變時，先連同 log、抓取政策與其他可能原因檢查，再判斷是否與爬蟲被擋有關。
本章重點
驗證的順序是「機器先、答案後」：先用 log 與 curl 確認爬蟲層通暢(STEP 1–3)，再用實際提問與回流確認效果(STEP 4–5)。跳過機器層直接看答案，你會把「索引還沒更新」誤判成「設定失敗」，然後手忙腳亂改錯地方。
CH.06
分流設定範本：複製、貼上、收工
先講結論：不用從零寫。下面這份 robots.txt 範本已經幫你把訓練擋掉、把檢索放行：逐行對照說明，改成你的網域就能上線。
使用方式：把下表的指令依序寫進你網站根目錄的 /robots.txt。每一個訓練爬蟲都是獨立區塊(User-agent 一行、Disallow 一行)；檢索爬蟲明確 Allow；最後保留 Sitemap。記得搭配第四章：把「該擋」的這幾支同步加進 CDN/WAF 的強制攔截規則。
| User-agent | 指令 | 說明 |
|---|---|---|
| GPTBot | Disallow: / | 限制 GPTBot 訓練存取；OAI-SearchBot 另行控制 |
| ClaudeBot | Disallow: / | 擋 Anthropic 訓練 |
| CCBot | Disallow: / | 擋 Common Crawl(多家模型的訓練來源) |
| Google-Extended | Disallow: / | 控制 Gemini 訓練與部分 Gemini／Vertex grounding 的 robots token，沒有獨立 HTTP user-agent；不影響 Google Search 收錄或排名 |
| OAI-SearchBot | Allow: / | 支援 ChatGPT 搜尋，與使用者觸發的 ChatGPT-User 存取分開 |
| ChatGPT-User | Allow: / | 使用者觸發的存取；robots.txt 規則可能不適用 |
| Claude-SearchBot | Allow: / | 為 Claude 搜尋建立內容索引；Claude-User 處理使用者請求 |
| PerplexityBot | Allow: / | 放行：Perplexity 答案索引 |
| Googlebot | Allow: / | Google Search 抓取；AI 連結需已索引且可顯示摘要，仍不保證呈現 |
| Bingbot | Allow: / | 放行：Bing 與 Copilot |
| (檔尾) | Sitemap: https://你的網域/sitemap.xml | 讓所有放行的爬蟲找到完整內容清單 |
政策範本包含四組 Disallow 與六組 Allow。Google-Extended 也限制涵蓋的 grounding；ChatGPT-User 的 Allow 只表達意向。使用前先確認各供應商範圍與自己的存取政策。
最後一句話
在 2026 年，封錯一個 user-agent 的代價，是從全世界最大的 AI 流量入口(ChatGPT,87.4% 的 AI 推薦流量，Conductor)裡被靜默刪除：而且沒有任何報錯通知你。封訓練，放檢索。這不是要不要做的選擇題，是你還想不想被引用的生死題。
資料來源與研究方法
文中 51.8%／35.7%／9.3% 請求組成歸屬於 Cloudflare（2026 年 5 月），87.4% AI 導流占比歸屬於 Conductor，兩者是不同指標，不宜相加。爬蟲用途與例外於 2026 年 10 月 5 日依官方文件核對：https://developers.openai.com/api/docs/bots ；https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler ；https://docs.perplexity.ai/docs/resources/perplexity-crawlers ；https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers 。robots.txt 群組與路徑規則依 RFC 9309：https://www.rfc-editor.org/rfc/rfc9309 。範本是需依網站架構確認的政策範例，不代表本站已部署的政策，也不保證排名、引用或營收。
© 2026 Tenten GEO · 歡迎引用本白皮書內容，請註明出處。
討論你的 AI 搜尋優先事項
申請 30 分鐘基準解讀送出預約申請後，24 小時內回信確認時段。