robots.txt 分流策略
封训练、放检索
修改 robots.txt 前，先区分训练、搜索索引和用户触发的抓取。本指南说明各供应商的控制方式、Google-Extended、CDN 检查与分流模板。允许访问不代表一定获得引用或引荐流量。
v1.0 · 2026 年 6 月 · Tenten GEO Research
CH.01
全封的代价:你封掉的不是爬虫,是回流
统一封锁可能同时挡住搜索爬虫与训练爬虫。决定允许哪些请求之前，先辨认各供应商的训练、搜索和用户抓取用途；它们的控制方式与例外并不相同。
多数人封 AI 爬虫的理由是「不想被拿去训练」。这个理由本身没错,错的是执行:他们在 robots.txt 里写下 User-agent: * / Disallow: /,或在 Cloudflare 一键打开「Block AI Bots」,以为这只挡掉训练。实际上,你把驱动 ChatGPT、Perplexity、Claude 引用答案的「检索爬虫」一起挡掉了——而那才是会把流量送回你网站的那一种。
把比例摊开看你就明白为什么一刀切是浪费。Cloudflare 在 2026 年 5 月的观测显示:51.8% 的 AI 爬虫请求是纯训练、35.7% 是混合用途、只有 9.3% 是纯检索。你真正想挡的训练流量超过一半;你绝对不能挡的纯检索只有不到一成。一刀全封,等于为了赶走过半的访客,把那不到一成、唯一会带钱回来的客人也一起锁在门外。
AI 爬虫请求构成:训练 vs 混合 vs 检索
Cloudflare(2026.5)AI 爬虫流量观测
资料来源:Cloudflare(2026.5)。纯检索仅 9.3%——这正是会把用户送回你网站的那一种,却最常被一刀切连带误杀。本图表完整公开,欢迎引用,请注明出处:Tenten GEO《封训练、放检索》。
代价有多高?87.4%
ChatGPT 驱动了 87.4% 的 AI 推荐流量(Conductor)。封掉它的检索爬虫,等于主动关掉现阶段最大的 AI 流量水龙头。你省下的训练带宽以 KB 计,损失的回流以营收计——这笔账怎么算都亏。
训练与搜索访问有各自的控制。OpenAI 区分 GPTBot 和 OAI-SearchBot，Anthropic 区分 ClaudeBot 和 Claude-SearchBot。Google-Extended 控制 Gemini 训练及部分 grounding 用途，不影响 Google Search 收录或排名。这些区别不能推出普遍的排名或引用保证。
CH.02
爬虫用途与控制方式对照
同一供应商可以用不同代理处理训练、搜索索引与用户请求的抓取。逐一核对官方说明中的用途和控制方式；公司名称相同，不代表规则可以互换。
GPTBot 收集可能用于训练的内容；OAI-SearchBot 支持 ChatGPT 搜索。ChatGPT-User 处理部分用户触发的访问，不决定 Search 收录。Anthropic 用 ClaudeBot、Claude-SearchBot、Claude-User 分别处理训练、搜索和用户请求。搜索访问有助于发现内容，并不保证每次回答都附上来源链接。
| Bot 名称 | 用途 | 该放 / 该挡 | 所属引擎 / 用途 |
|---|---|---|---|
| GPTBot | 训练 | 该挡 | OpenAI 收集可能用于基础模型训练的内容 |
| OAI-SearchBot | 检索 | 该放 | 支持 ChatGPT 搜索，与用户触发的 ChatGPT-User 访问分开 |
| ChatGPT-User | 检索(实时) | 该放 | 用户触发的访问；robots.txt 规则可能不适用 |
| ClaudeBot | 训练 | 该挡 | Anthropic 模型训练(NoHacks / Rankry) |
| Claude-SearchBot | 检索 | 该放 | 为 Claude 搜索建立内容索引；Claude-User 处理用户请求 |
| CCBot | 训练 | 该挡 | Common Crawl,喂给多家模型训练 |
| PerplexityBot | 检索 | 该放 | Perplexity 搜索结果与来源链接；不用于基础模型训练 |
| Googlebot | 检索 / 排名 | 该放 | Google Search 抓取；AI 链接要求页面已索引且可显示摘要，仍不保证展示 |
| Google-Extended | 训练／Grounding 控制 | 看需求 | 控制 Gemini 训练与部分 Gemini／Vertex grounding 的 robots token，没有独立 HTTP user-agent；不影响 Google Search 收录或排名 |
| Bingbot | 检索 / 排名 | 该放 | Bing 搜索与 Microsoft Copilot |
各供应商的训练、搜索和用户请求用途不同。Google-Extended 也控制 grounding；搜索可访问不代表一定被引用。
本章重点
根据官方列出的代理和用途判断，不要从名称猜测用途。拒绝 OAI-SearchBot 会使内容无法出现在 ChatGPT 搜索回答中，导航链接仍可能出现。用户抓取另有规则，不能假设名称含 Search 或 User 的代理行为都相同。
CH.03
精确分流设置:robots.txt 逐条写法
先找到与爬虫 product token 相符的 robots.txt 组。RFC 9309 要求合并匹配的组；没有匹配组时才使用 * 组。适用组内以最长匹配路径为准；Allow 与 Disallow 同等匹配时，优先采用 Allow。
即使默认的 User-agent: * 组写了 Disallow: /，具名组的 Allow: / 仍可放行对应搜索爬虫。不写具名组不代表允许，因为它可能应用 wildcard 限制。应检查适用组和路径，不能只看文件行序。
- →训练策略：如需限制 GPTBot、ClaudeBot、CCBot，分别创建 User-agent 组并写 Disallow: /。Google-Extended 应另行决定，因为它的 Disallow 也限制所涵盖的 grounding 用途，不只是训练。
- →搜索访问：可为 User-agent: OAI-SearchBot 设置 Allow: /，再分别检查 Claude-SearchBot 和 PerplexityBot。ChatGPT-User 由用户触发，robots.txt 可能不适用；Perplexity-User 通常忽略它。Anthropic 说明其三种代理都遵守 robots.txt。
- →搜索引擎——务必放行:Googlebot、Bingbot 保持完全可抓,别跟 AI 训练爬虫混为一谈
- →检查 wildcard 默认规则：User-agent: * 搭配 Disallow: / 可能挡住没有匹配具名组的代理，不会自动覆盖明确匹配的组。robots.txt 是抓取指令，不是强制访问控制。
robots.txt 的天花板
robots.txt 是抓取指令，不是服务器门锁。Anthropic 说明其代理遵守它；OpenAI 表示 ChatGPT-User 规则可能不适用；Perplexity 表示 Perplexity-User 通常忽略它。需要强制控制时，使用主机或 CDN 规则，并核对代理身份，不能只相信名称。
CH.04
CDN 层的控制:真正挡得住的那道墙
先说结论:robots.txt 是请求,CDN 是执法。如果你要的是「保证挡下」而不是「礼貌地拜托」,访问控制就该放在主机或 CDN 层,用 user-agent 规则回 403,而不只是写在 robots.txt 里。
为什么?因为 robots.txt 没有强制力。一个伪装 user-agent 或干脆无视规则的爬虫,照样能抓走你 Disallow 的目录。当你的目的是「不被训练」这种有实质利害的事,光靠告示牌不够——你需要在请求进到内容之前,就由 CDN/WAF 依 user-agent 直接拦下。
| 控制层 | 机制 | 适合做的事 | 限制 |
|---|---|---|---|
| robots.txt | 告示声明(自愿遵守) | 对守规矩的主流爬虫分流训练 / 检索 | 无强制力,可被无视或伪装绕过 |
| CDN / WAF 规则 | 依 user-agent 回 403 / 拦截 | 强制挡下训练爬虫,真正「挡得住」 | 需正确维护名单,别误伤检索爬虫 |
| Cloudflare 一键封锁 | 托管规则一键 Block AI Bots | 省事 | 常把检索爬虫一起封,属一刀切高风险 |
三层访问控制对照 — robots.txt 负责声明分流,CDN/WAF 负责强制执法,一键全封最省事也最危险
两层搭配的正解
robots.txt 写清楚分流意图(放检索、挡训练),CDN/WAF 对「该挡」的训练爬虫补上强制拦截。千万别在 CDN 用「封所有 AI 爬虫」的托管规则——那是把第一章的 87.4% 回流(Conductor)亲手关掉的捷径。设规则时务必把 OAI-SearchBot、Claude-SearchBot、PerplexityBot 等检索爬虫明确列入放行白名单。
CH.05
验证设置生效:确认检索爬虫还进得来
先说结论:设完不等于设对。分流最危险的失败是「悄悄封错」——你以为只挡了训练,实际把检索爬虫也挡了,而且没有任何报错。必须主动验证,而不是假设。
验证的目标只有一个:确认「该挡的训练爬虫被挡、该放的检索爬虫畅通」。两边都要查——只查挡住了训练、没查放行了检索,等于只验一半。以下五步,半小时内可跑完一轮。
STEP 1
查服务器访问 log
检查已核对身份的爬虫请求是否返回 200、403 或 429，并对照预定策略。robots.txt 的 Disallow 本身不会产生 403；这需要主机或 CDN 的强制规则。训练限制与搜索访问应分别检查。
STEP 2
用 curl 伪装 user-agent 实测
用 curl -A 检查主机或 CDN 如何响应指定的代理字符串。只有设置强制规则时，才预期训练请求返回 403。这测试的是规则，不是真实爬虫的身份或行为；实际请求还需对照供应商 IP 范围和日志。
STEP 3
核对 robots.txt 解析
用 robots.txt 测试工具逐一输入 user-agent,确认 OAI-SearchBot/Claude-SearchBot/PerplexityBot 判定为 Allowed、GPTBot/ClaudeBot/CCBot 判定为 Disallowed。特别检查没有残留的 User-agent: * / Disallow: / 在误伤检索爬虫。
STEP 4
在 AI 引擎实测提问
向 ChatGPT、Perplexity 询问品牌和主题，记录引用 URL 作为回答观察。引用可能来自既有索引；出现引用不代表刚刚重新抓取，没出现也不能单独证明访问被阻止。
STEP 5
监控 AI 回流
把 chatgpt.com、perplexity.ai 的引荐流量作为结果观察。调整访问不保证流量持平或增长。流量变化时，先结合日志、抓取策略和其他可能原因检查，再判断是否与爬虫被阻止有关。
本章重点
验证的顺序是「机器先、答案后」:先用 log 与 curl 确认爬虫层畅通(STEP 1–3),再用实际提问与回流确认效果(STEP 4–5)。跳过机器层直接看答案,你会把「索引还没更新」误判成「设置失败」,然后手忙脚乱改错地方。
CH.06
分流设置模板:复制、粘贴、收工
先说结论:不用从零写。下面这份 robots.txt 模板已经帮你把训练挡掉、把检索放行——逐行对照说明,改成你的域名就能上线。
使用方式:把下表的指令依序写进你网站根目录的 /robots.txt。每一个训练爬虫都是独立区块(User-agent 一行、Disallow 一行);检索爬虫明确 Allow;最后保留 Sitemap。记得搭配第四章——把「该挡」的这几支同步加进 CDN/WAF 的强制拦截规则。
| User-agent | 指令 | 说明 |
|---|---|---|
| GPTBot | Disallow: / | 限制 GPTBot 训练访问；OAI-SearchBot 单独控制 |
| ClaudeBot | Disallow: / | 挡 Anthropic 训练 |
| CCBot | Disallow: / | 挡 Common Crawl(多家模型的训练来源) |
| Google-Extended | Disallow: / | 控制 Gemini 训练与部分 Gemini／Vertex grounding 的 robots token，没有独立 HTTP user-agent；不影响 Google Search 收录或排名 |
| OAI-SearchBot | Allow: / | 支持 ChatGPT 搜索，与用户触发的 ChatGPT-User 访问分开 |
| ChatGPT-User | Allow: / | 用户触发的访问；robots.txt 规则可能不适用 |
| Claude-SearchBot | Allow: / | 为 Claude 搜索建立内容索引；Claude-User 处理用户请求 |
| PerplexityBot | Allow: / | 放行——Perplexity 答案索引 |
| Googlebot | Allow: / | Google Search 抓取；AI 链接要求页面已索引且可显示摘要，仍不保证展示 |
| Bingbot | Allow: / | 放行——Bing 与 Copilot |
| (文件尾) | Sitemap: https://你的域名/sitemap.xml | 让所有放行的爬虫找到完整内容清单 |
策略模板包含四组 Disallow 和六组 Allow。Google-Extended 也限制所涵盖的 grounding；ChatGPT-User 的 Allow 仅表达意向。使用前先确认各供应商范围和自身访问策略。
最后一句话
在 2026 年,封错一个 user-agent 的代价,是从全世界最大的 AI 流量入口(ChatGPT,87.4% 的 AI 推荐流量,Conductor)里被静默删除——而且没有任何报错通知你。封训练,放检索。这不是要不要做的选择题,是你还想不想被引用的生死题。
资料来源与研究方法
文中 51.8%／35.7%／9.3% 请求构成归属于 Cloudflare（2026 年 5 月），87.4% AI 引荐占比归属于 Conductor，二者是不同指标，不宜相加。爬虫用途与例外于 2026 年 10 月 5 日依据官方文档核对：https://developers.openai.com/api/docs/bots ；https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler ；https://docs.perplexity.ai/docs/resources/perplexity-crawlers ；https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers 。robots.txt 组和路径规则依据 RFC 9309：https://www.rfc-editor.org/rfc/rfc9309 。模板是需要依据网站架构确认的策略示例，不代表本站已部署的策略，也不保证排名、引用或收入。
© 2026 Tenten GEO · 欢迎引用本白皮书内容,请注明出处。
讨论你的 AI 搜索重点
申请 30 分钟基准解读提交预约申请后，我们会在 24 小时内通过邮件确认时间。