建立 AI 爬蟲 robots.txt 政策

先選營運立場

預設會填入所有可控 token；複製前仍可逐項調整。

控制矩陣

每個 token，都做明確決定

只有標示「可控制」的列會進入草稿；提示列說明使用者觸發行為，但不會產生誤導規則。

Token用途你的指令

OpenAIOAI-SearchBot

搜尋探索可控制

OpenAI 搜尋爬蟲，用於在 ChatGPT 搜尋中呈現並連結網站。

與 GPTBot 獨立；允許它不等於允許訓練爬取。

OpenAIGPTBot

模型訓練可控制

OpenAI 爬蟲，內容可能用於訓練基礎模型。

Disallow 是針對未來內容的訊號，與 ChatGPT 搜尋收錄分開。

OpenAIChatGPT-User

使用者擷取僅供提示

由使用者操作觸發的 OpenAI 擷取器，不是自動網路爬蟲。

OpenAI 表示 robots.txt 可能不適用，且它不決定搜尋收錄，因此不產生規則。

僅供提示

AnthropicClaudeBot

模型訓練可控制

Anthropic 爬蟲，網路內容可能投入模型訓練。

Anthropic 現行文件表示其 bots 遵守 robots.txt。

AnthropicClaude-SearchBot

搜尋探索可控制

Anthropic 搜尋爬蟲，用於改善搜尋結果品質。

這項決定應與 ClaudeBot 的訓練存取分開。

AnthropicClaude-User

使用者擷取可控制

為使用者請求而觸發的 Anthropic 擷取器。

Anthropic 目前記載可用 robots.txt 控制；封鎖可能降低使用者要求的網路擷取。

GoogleGoogle-Extended控制 token，非 HTTP User-Agent

訓練 + grounding可控制

Google 用於 Gemini 訓練及 Google Search grounding 的控制 token。

它沒有獨立 HTTP User-Agent，也不影響 Google 搜尋收錄或排名。

PerplexityPerplexityBot

搜尋探索可控制

Perplexity 搜尋爬蟲，用於呈現及連結網站。

Perplexity 表示它不用於基礎模型訓練。

PerplexityPerplexity-User

使用者擷取僅供提示

Perplexity 的使用者觸發擷取器，不是爬站或訓練 bot。

Perplexity 表示它通常忽略 robots.txt，因此不產生規則。

僅供提示

即時草稿

要曝光，不供訓練

精確 robots.txt 群組

選擇「不設定」會完整省略該群組。請把草稿審慎合併進現有 robots.txt。

4允許

3禁止

0省略

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Google-Extended
Disallow: /

User-agent: PerplexityBot
Allow: /

資料複核日 · 2026-08-12

官方控制說明

部署前請開啟最新供應商文件。產品與爬蟲行為可能在本次複核後改變。

OpenAI

OAI-SearchBot、GPTBot 與使用者觸發 ChatGPT-User 的分開控制。

開啟官方來源

Anthropic

ClaudeBot、Claude-SearchBot 與 Claude-User 的 robots 指引。

開啟官方來源

Google

Google-Extended 控制 token 的通用爬蟲文件。

開啟官方來源

Perplexity

PerplexityBot 與 Perplexity-User 的角色及 robots 行為。

開啟官方來源

部署邊界

產生內容刻意保持窄範圍。請把它當成審查素材，而非直接覆蓋檔案。

01將草稿合併到現有 robots.txt；整份替換可能刪掉其他搜尋爬蟲規則。
02發布前再次確認供應商文件；名稱、用途與 robots 行為都可能改變。
03即使 robots.txt 允許，WAF、CDN、主機規則或 IP 封鎖仍可能拒絕爬蟲。
04robots.txt 不保證存取，也不保證索引、模型能見度、提及或引用；使用者觸發擷取器可能有不同處理方式。

發布前須知

Allow 能保證 AI 引擎存取或引用網站嗎？

不能。robots.txt 是爬蟲偏好訊號；網路層控制、供應商系統、相關性與產品行為是另外的條件。

為什麼輸出沒有 ChatGPT-User 和 Perplexity-User？

官方文件描述的使用者觸發行為，可能不適用或通常忽略 robots.txt。產生規則會誇大可控程度。

可以用輸出直接覆蓋現有 robots.txt 嗎？

不可以。只把審核過的群組合併進現有檔案，保留搜尋與資產規則，再測試正式環境回應。