很多人在 robots.txt 裡寫一行 Disallow 擋掉 GPTBot，以為這樣就能不被 ChatGPT 引用，結果兩件事都沒發生。GPTBot 只負責抓資料去訓練模型，真正決定你會不會出現在 ChatGPT 答案裡的，是另一支叫 OAI-SearchBot 的爬蟲。同一家公司，兩支任務不同的爬蟲，走的是不同的 User-Agent。先認得清單上每個名字在做什麼，你在 robots.txt 裡的放行與封鎖才不會弄反。
先分清楚：AI 爬蟲其實有三種
- 訓練型爬蟲：把你的內容抓回去、納入模型的訓練語料，通常離線處理，跟使用者當下看到的答案沒有直接關聯。代表有 GPTBot（OpenAI）、ClaudeBot（Anthropic）、CCBot（Common Crawl）、Meta-ExternalAgent、Bytespider（ByteDance）。
- 檢索／索引型爬蟲：為 AI 答案引擎建立即時可查的索引，直接決定你的頁面會不會被當成引用來源。代表有 OAI-SearchBot（ChatGPT 搜尋）、PerplexityBot、Googlebot（AI Overviews 沿用它的既有索引）、Applebot（Siri 與 Apple Intelligence）。
- 使用者觸發型爬蟲：使用者在對話裡貼上你的網址、或要求即時查證時才來抓，一次通常只讀一頁，不進訓練集。代表有 ChatGPT-User、Perplexity-User、Claude-User。
想被 AI 引用，最不該擋的是後兩類。檢索型進不來，你就不在候選來源名單上；使用者觸發型被擋，別人主動把你的連結丟給 AI，它也讀不到內容。訓練型才是可以按品牌策略斟酌的對象：擔心內容被無償拿去訓練就擋，想擴大在模型底層語料裡的出現機率就放行。把這三層混為一談，是多數 robots.txt 寫錯方向的根源。
OpenAI：GPTBot、OAI-SearchBot、ChatGPT-User
- GPTBot：訓練用途，User-Agent 含「GPTBot/1.2」，robots.txt 權杖為「GPTBot」。OpenAI 另外公布爬蟲的 IP 區段（JSON 檔），可用來驗證來訪是否為真。
- OAI-SearchBot：負責把你的頁面收進 ChatGPT 的搜尋與引用來源，權杖為「OAI-SearchBot」。這支被擋，等於自願退出 ChatGPT 內的能見度，卻是最多人誤擋的一支。
- ChatGPT-User：使用者在對話中要求瀏覽或查證你的網址時才觸發，權杖為「ChatGPT-User」，屬即時、單頁抓取，不納入訓練。
Google-Extended 不是爬蟲，是一個開關
Google-Extended 常被列進「AI 爬蟲清單」，但它根本不是一支會出現在你伺服器 log 裡的爬蟲，而是 robots.txt 裡的一個產品權杖。放行或封鎖它，只影響 Google 是否把你的內容用於 Gemini 的訓練與部分生成，完全不影響 Googlebot 的一般索引。所以封鎖 Google-Extended 不會讓你從 Google 搜尋掉出去，通常也不會讓你從 AI Overviews 消失，因為 AI Overviews 主要沿用 Googlebot 既有的索引資料。Apple 的 Applebot-Extended 是同一種設計，它是 Apple Intelligence 訓練的開關，跟負責一般索引的 Applebot 是兩回事。
PerplexityBot，以及那些不守規矩的爬蟲
想被 Perplexity 引用，PerplexityBot（索引）和 Perplexity-User（使用者即時查詢）兩支都得放行。但這裡要提醒一個現實：robots.txt 是君子協定，沒有強制力。2025 年 Cloudflare 曾公開點名 Perplexity，指它在被 robots.txt 封鎖後，改用未申報、偽裝成一般瀏覽器的 User-Agent 繼續抓取；Bytespider 過去也以高頻、幾乎不理會速率的抓法著稱。這代表兩件事同時成立：你想擋的爬蟲不一定擋得住，而你想放行的來源，也需要一套辦法確認它是不是本尊。
Amazonbot、ClaudeBot，和你會在 log 裡遇到的其他名字
- ClaudeBot：Anthropic 的訓練爬蟲。另有 Claude-User（使用者觸發）與較舊的 anthropic-ai、Claude-Web 權杖，可能同時出現在 log 裡。
- Amazonbot：供 Alexa 與 Amazon 的 AI 服務使用，User-Agent 含「Amazonbot/0.1」。
- CCBot：Common Crawl 的爬蟲。它自己不是 AI 公司，但抓下來的公開語料被大量模型採用，等於一條間接的訓練管道，擋訓練時最容易被漏掉。
- 其他常見名字：Meta-ExternalAgent（Meta 訓練）與 Meta-ExternalFetcher（使用者觸發）、YouBot（You.com）、DuckAssistBot（DuckDuckGo）、cohere-ai（Cohere）、MistralAI-User、Diffbot、Timpibot。
2026 年 robots.txt 該怎麼寫
沒有一體適用的答案，但對多數想做 GEO 的 B2B 網站，合理的預設是：放行檢索與使用者觸發型，讓 AI 引擎讀得到、引用得到；訓練型再依內容價值與品牌策略個別決定。下面是一份偏向能見度的範例。
- User-agent: OAI-SearchBot → Allow: /（保住 ChatGPT 能見度）
- User-agent: PerplexityBot → Allow: /（進 Perplexity 的引用池）
- User-agent: ChatGPT-User 與 Perplexity-User → Allow: /（別擋掉使用者主動的查證）
- User-agent: Googlebot → Allow: /（AI Overviews 與一般搜尋共用同一份索引，務必放行）
- User-agent: GPTBot、CCBot、Google-Extended → 依策略決定（不想被拿去訓練就 Disallow: /，這不影響上面的能見度）
別把賭注全押在 robots.txt 上
robots.txt 擋得住守規矩的爬蟲，擋不住決心繞過的。真的想控管，得往下一層走：用反向 DNS 加正向確認、比對各家官方公布的 IP 區段來驗證爬蟲真偽；面對偽裝或高頻抓取，改用 WAF、Cloudflare 的 AI 爬蟲管理或速率限制，而不是只在 robots.txt 裡多寫一行。同樣重要的是監控：定期翻伺服器的 access log，看哪些 AI 爬蟲真的來過、來得多勤。這是你判斷自己 GEO 曝光的第一手訊號，比任何預測都準。
AI 爬蟲清單每一季都在變，新名字會冒出來，權杖也會改。與其背下每一個，不如記住那條分類邏輯：訓練、檢索、使用者觸發，各自對應不同的策略後果。如果你不確定現在有哪些 AI 引擎正在抓你的站、又漏掉了哪些該被引用的頁面，Tenten 的 GEO 審計會把爬蟲存取紀錄與被引用狀況一次攤開。想先摸清自己的缺口，可以預約一場 30 分鐘的 GEO 診斷（/contact）。
