拆解 · 趋势与洞察
AI 爬取与引荐成本：先测量，再选择控制
在相同期间和筛选条件下比较爬虫用途、实际成本及可归因引荐。HTML请求不是独立页面或访客；训练、搜索、用户触发用途不同。开放或封锁都不保证结果。
v1.1 · 2026年10月 · Tenten GEO Research
CH.01
爬取／引荐比测到什么
平台请求比提供背景，不能直接决定本站价值或访问政策。
爬取、显示链接与真人访问是不同事件，应按实际单位计数。请求可能重复，引用出现不证明访问或成交。
Cloudflare 2025-08-28文章把比例定义为其客户范围内与平台相关的爬虫HTML请求，除以该平台引荐的真人HTML请求。不是独立页面对独立访客，也不是单一bot的引荐因果或本站ROI。
本章重点
比例用于背景，不是裁决。本站决策需要自身成本与引荐观测，并说明范围。
CH.02
在同一范围内比较
趋势需要相同期间、单位及筛选。此前Q1／六月值没有匹配原快照，不再当已证实2026比较。
| 比较检查 | 记录 | 限制 | 证据 |
|---|---|---|---|
| 期间 | 确切日期与来源 | 发布日期不是采集期间 | 原快照或导出 |
| 平台与bot | 供应商、核实user-agent和声明用途 | 平台引荐不能自动归于单一训练bot | 官方文件和识别后的请求日志 |
| 分子与分母 | 爬虫HTML请求／可归因真人HTML请求 | 不是独立页面、人数、引用概率或收入 | 请求定义与归因覆盖 |
| 筛选与覆盖 | 相同网站／行业、用途和纳入规则 | 筛选改变或引荐缺失会影响比例 | 保存设置与范围 |
四项证据检查，不是厂商排名或未经核实的改善趋势。
Cloudflare 2025文章区分Training、Search、User action和Undeclared，是已知用途分类，不证明每次请求的下游使用。本指南不沿用未经核对的比例，也不从不同期间推导改善幅度。
本章重点
比较前保存来源和设置。未匹配值保留未核实状态，不当当前政策证据。
CH.03
训练、搜索与用户触发访问
依识别用途选控制。搜索索引不只在用户提问时爬取，用户触发另有规则。
GPTBot支持训练，OAI-SearchBot支持搜索，ChatGPT-User代表用户请求，并非自动搜索爬虫。官方描述与robots例外不同；角色不保证引用、点击、模型纳入或完全排除。
| 维度 | 训练访问 | 搜索／用户触发访问 |
|---|---|---|
| 例子 | GPTBot、按现行官方文件的ClaudeBot | 搜索OAI-SearchBot；用户行动ChatGPT-User |
| 用途 | 采集可能用于模型训练的内容 | 建立搜索访问或执行用户请求，角色分开 |
| 链接与引荐 | 训练采集本身不代表引荐 | 搜索访问可支持发现，不保证链接访问 |
| 控制与限制 | 核实身份、robots范围与执行 | 分开检查搜索资格和用户行动例外 |
按用途控制，不是两个bot的引荐因果实验。
robots.txt指令在User-agent组内生效。仅对GPTBot设置Disallow不会自动封OAI-SearchBot。通配规则、CDN和用户触发例外需另查；robots不是认证或所有客户端遵守的证明。
本章重点
先分用途再决定访问。允许bot不承诺流量，限制单一bot不代表整个平台隐形。
CH.04
分别测量成本与商业证据
权利、隐私、访问政策和运维成本与引荐都重要，没有通用B2B成本价值结论。
用本站server／CDN日志与账单估请求、带宽和计算成本。说明共享成本分摊和身份不确定，全球比例不证明本站纯损失。
依自身定义测量归因访问和商业结果。引用与品牌提及可观测，但不能用平均订单额直接推其价值；未知影响和缺失引荐保留未知。
第一步
记录实际访问成本
固定期间、识别请求、估实际增量成本，说明不确定。不假设每个B2B账单都可忽略。
第二步
分开引用和商业结果
固定问题记录产品、模式、地区、语言、日期、重复与分母。引用、提及、访问和归因有效结果分开。
第三步
按证据检查政策
有资料才比较实际成本与归因价值，同时考虑权利政策。未知用有界情境，不套通用开放封锁公式。
本章重点
使用实际观测和成本。未知价值不等于零，引用不等于归因销售。
CH.05
四种控制选项
公开、选择性限制、协商付费访问和广泛限制各有条件，没有通用B2B赢家。
| 路径 | 怎么做 | 适合谁 | 这笔账 |
|---|---|---|---|
| 公开访问 | 使选定公开路径可访问 | 权利政策允许的站点 | 监测实际成本结果，访问不保证引荐 |
| 选择性限制 | 按用途robots及适当强制控制 | 有明确用途政策的站点 | 核实身份范围遵守，不保证省成本 |
| 付费访问／付费墙 | 可用时采用受支持产品或协议 | 有可行访问合同的权利人 | 核实可用性对方条款，不预设收入 |
| 广泛限制 | 明确界定通配或强制限制 | 权利隐私政策要求该范围的站点 | 检查发现访问影响，不等于所有AI隐形 |
既有四种有条件控制，不排列回报。
不同控制影响哪些请求取决于身份和执行。查实际组与产品路径；一行差异不证明保证引荐或完全消失。
本章重点
选择有记录可回退政策并监测。付费需实际受支持安排，无选项保证收入。
CH.06
Tenten政策检查工作表
作者工作表而非盲抄默认robots，调整前确认本站政策和供应商用途。
设置一
按用途检查规则
识别训练、搜索、用户行动，查robots组、执行控制和供应商例外。本指南不更改在线政策。
设置二
保持有用公开信息可访问
意图公开路径提供准确易读内容，schema与页面一致。llms.txt可选，Google Search不要求，格式不保证引用。
设置三
检查成本与观测结果
Tenten建议定期以固定条件、请求成本记录及分开的引荐商业量测检查。保留未核实不适用，不由五绿灯推成功。
| 检查项 | 该有的状态 |
|---|---|
| robots.txt 是否一刀全封 | 记录User-agent组、通配范围和执行控制 |
| OAI-SearchBot / PerplexityBot | 按本站政策选择搜索访问，不保证引荐 |
| GPTBot 训练 / CCBot | 按权利政策证据选择训练访问，不自动封锁 |
| 被引用率追踪 | 固定产品模式地区日期重复与分母 |
| 爬取成本 vs 引用价值 | 实际成本归因结果及缺失不确定 |
五项检查，未知不适用不是自动失败。
最后一句话
依用途权利成本观测决策，保留不确定。通用比例或设置不保证商业价值。
数据来源与研究方法
台北2026-10-05实质修订。使用Cloudflare 2025-08-28请求比定义与用途分类，未核实2026Q1／六月比例和五月百分比退役，不宣称证伪。bot角色依官方文件。成本量测控制为Tenten建议，非客户结果或已证实ROI。 https://blog.cloudflare.com/ai-crawler-traffic-by-purpose-and-industry/ https://developers.openai.com/api/docs/bots https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler https://developers.google.com/search/docs/fundamentals/ai-optimization-guide https://www.rfc-editor.org/rfc/rfc9309
© 2026 Tenten GEO · 欢迎引用本白皮书内容，请注明出处。
讨论你的 AI 搜索重点
申请 30 分钟基准解读提交预约申请后，我们会在 24 小时内通过邮件确认时间。