一鍵封鎖所有 AI 爬蟲，聽起來很爽，實際上是把自己踢出 AI 答案。因為讓你被 ChatGPT、Perplexity 引用的那隻爬蟲，和拿你內容去訓練模型的那隻，往往是兩隻不同的機器人 — 而 Cloudflare 那顆「Block AI Bots」開關，會把兩隻一起關掉。
很多團隊第一次意識到 AI 在抓自己的站，是看到伺服器流量莫名暴增，或是法務跳出來問「我們的內容是不是被拿去訓練了」。反射動作就是打開 Cloudflare，找一個把 AI 爬蟲全部擋掉的選項。Cloudflare 確實提供了這個開關，操作也只要三秒。問題是，如果你正在經營 B2B SaaS、想被 AI 引擎推薦，這一擋，等於自斷金流入口。這篇講的是怎麼精準地擋 — 擋掉你不要的，放行你想被引用的。
先分清楚：AI 爬蟲有三種，不能一視同仁
所有叫做「AI 爬蟲」的機器人，其實在做三件不同的事。搞清楚這三類，你才知道哪一隻該擋、哪一隻碰不得。
- 訓練型爬蟲：把你的內容抓回去餵給模型訓練。代表有 OpenAI 的 GPTBot、Anthropic 的 ClaudeBot、位元組跳動的 Bytespider、Common Crawl 的 CCBot。擋掉它們，不會影響你被引用。
- 檢索型爬蟲：使用者在 ChatGPT 或 Perplexity 問問題的當下，即時去抓你的頁面，再把內容寫進答案並附上出處。代表有 OAI-SearchBot、ChatGPT-User、PerplexityBot、Perplexity-User、Claude-User。這一類就是把你送進 AI 答案的關鍵，擋了等於消失。
- 搜尋索引爬蟲：Googlebot 與 Bingbot。它們不只做傳統搜尋 — Google AI Overviews 靠 Googlebot、ChatGPT 與 Copilot 的部分結果靠 Bing。誤擋它們，SEO 和 AI 能見度會一起掉。
這裡最反直覺的一點：擋掉訓練型爬蟲，不會讓你從 AI 答案裡消失。模型是否引用你，靠的是檢索型和搜尋型爬蟲當下抓到的內容，跟它幾個月前有沒有拿你去訓練，是兩回事。所以你完全可以一邊拒絕被拿去訓練，一邊爭取被即時引用 — 前提是你分得出誰是誰。
第一步：在 Cloudflare 看清楚是誰在抓你
動手擋之前，先看資料。Cloudflare 後台的「AI Crawl Control」（前身是 AI Audit）會列出每一隻 AI 爬蟲最近的抓取次數、抓了哪些路徑、目前是放行還是封鎖。第一次打開通常會嚇一跳 — Bytespider 或 GPTBot 的請求量，可能比 Googlebot 還兇。這份清單就是你後面所有決策的依據：先看清楚哪些機器人真的在消耗你的伺服器資源，又有哪些檢索型爬蟲其實根本還沒來過，那代表你在那個引擎裡還沒被看見。
第二步：分類放行與封鎖，別用那顆萬用開關
Cloudflare 給你三種力道不同的工具，混著用效果最好。最粗的是安全設定裡的「Block AI Bots」一鍵開關，方便，但它是核彈，會連檢索型爬蟲一起炸掉，除非你完全不在乎 AI 能見度，否則別碰。中等力道的是託管 robots.txt，適合對付有禮貌、會遵守規則的訓練型爬蟲。最精準的是 WAF 自訂規則，能針對單一機器人放行或封鎖，這才是主力。
- 在 WAF 自訂規則裡，建一條封鎖規則，比對 Bytespider、CCBot、GPTBot、ClaudeBot 等訓練型爬蟲的 user agent，動作設為封鎖或回傳 403。
- 再建一條放行（Skip）規則，明確放行 OAI-SearchBot、PerplexityBot、Perplexity-User、ChatGPT-User、Googlebot、Bingbot，並把它排在封鎖規則前面，確保檢索型永遠暢通。
- 用 Cloudflare 的「verified bot（已驗證機器人）」欄位比對，而不是只比對 user agent 字串，因為 user agent 可以偽造，有人會假冒 Googlebot。已驗證機器人是 Cloudflare 用反向 DNS 與簽章驗證過的，擋得掉冒名頂替。
- 若想更進一步，Cloudflare 的 Pay Per Crawl 可以對訓練型爬蟲回傳 HTTP 402，要求付費才給抓，把被白嫖變成一筆收入或一道談判籌碼。
該放行哪些、該封鎖哪些？
如果你的目標是被 AI 引擎推薦，而多數 B2B SaaS 都是，預設策略很清楚：放行所有檢索型與搜尋型爬蟲，選擇性封鎖訓練型。特別提醒兩個容易踩的坑。第一，Google-Extended 和 Googlebot 是兩回事，前者只控制你的內容要不要被拿去做 Gemini 訓練與 grounding，擋它不會讓你從 AI Overviews 消失；但如果你連 Googlebot 都擋了，那就真的整個 Google 生態都看不到你。第二，Bing 別擋，因為 ChatGPT 與 Copilot 有一部分結果吃 Bing 的索引，擋了 Bingbot 會連帶受影響。
第三步：驗證，確認沒有誤傷
規則上線後，別假設它照你想的運作。回到 AI Crawl Control 和 WAF 事件日誌，逐一確認：訓練型爬蟲是不是拿到了 403、檢索型和 Googlebot 是不是還穩定拿到 200。最常見的意外，是一條寫太寬的封鎖規則把 Googlebot 一起掃進去，你以為只是擋 AI，結果自然排名兩週後開始崩。用 Google Search Console 的網址檢查、或直接看伺服器回應碼，比對一週，確定放行清單真的暢通再收工。
封鎖 AI 爬蟲很容易，難的是只封該封的那幾隻，同時把送你進答案的那幾隻鋪紅毯迎進來。— Tenten GEO
擋掉爬蟲只是防守，被引用才是目的
把爬蟲流量管好，解決的是別被白嫖、別被拖垮伺服器這個防守面。但放行了檢索型爬蟲，不代表 AI 就會引用你，它們得抓得到、讀得懂、也認為你值得引。這才是 GEO 真正的戰場：內容結構、實體標記、跨平台的品牌一致性。管好 Cloudflare 是把門打開，能不能被請進答案裡，是另一場仗。如果你想知道自己現在在六大 AI 引擎裡到底被不被引用、放行的爬蟲有沒有白放，可以預約一次 30 分鐘 GEO 診斷，我們用你的實際提問帶你看缺口在哪。
