拆解 · 趨勢與洞察
AI 爬取與引薦成本：先量測，再選擇控制
用相同期間與篩選條件比較爬蟲用途、實際成本及可歸因引薦。HTML 請求不是獨立頁面或訪客；訓練、搜尋、使用者觸發用途不同。開放或封鎖都不保證結果。
v1.1 · 2026 年 10 月 · Tenten GEO Research
CH.01
爬取／引薦比量到什麼
平台請求比可以提供背景，不能直接決定自家網站價值或存取政策。
爬取、顯示連結與真人造訪是不同事件，應按實際單位計算。請求可能重複；出現引用不代表有造訪或成交。
Cloudflare 2025-08-28文章定義的比例，是其客戶範圍內與平台相關的爬蟲HTML請求，除以該平台引薦的真人HTML請求。不是獨立頁面對獨立訪客，也不是把引薦因果歸給單一bot或自家ROI。
本章重點
比例用來理解背景，不是判決。網站決策需要自家成本與引薦觀測，並說明範圍。
CH.02
用同一範圍比較
趨勢比較需要相同期間、單位及篩選。先前Q1／六月數值在此沒有匹配原快照，不再當已證實的2026比較。
| 比較檢查 | 記錄內容 | 限制 | 證據 |
|---|---|---|---|
| 期間 | 確切日期與來源 | 發布日不等於收集期間 | 原快照或匯出 |
| 平台與bot | 供應商、核實user-agent、聲明用途 | 平台引薦不能自動歸給單一訓練bot | 官方文件與識別後的請求紀錄 |
| 分子與分母 | 爬蟲HTML請求／可歸因真人HTML請求 | 不是獨立頁面、人數、引用機率或收入 | 請求定義與歸因涵蓋率 |
| 篩選與涵蓋 | 相同網站／產業、用途與納入規則 | 篩選改變或引薦缺漏會改變比例 | 保存設定與範圍 |
四項證據檢查，不是供應商排名或未核實改善趨勢。
Cloudflare 2025文章分Training、Search、User action、Undeclared，是已知用途分類，不代表證實每次請求最後用途。本指南不沿用未核對分布，也不由不同期間推改善幅度。
本章重點
比較前保存來源與設定。未匹配的數值保持未核實，不當目前政策依據。
CH.03
訓練、搜尋與使用者觸發存取
依已識別用途選控制。搜尋索引不只在使用者提問時爬取；使用者觸發另有規則。
GPTBot支援模型訓練，OAI-SearchBot支援搜尋，ChatGPT-User代表使用者請求，並非自動搜尋爬蟲。各家robots規則與例外不同；角色不保證引用、點擊、模型納入或完全排除。
| 面向 | 訓練存取 | 搜尋／使用者觸發存取 |
|---|---|---|
| 例子 | GPTBot、按現行官方文件的ClaudeBot | 搜尋OAI-SearchBot；使用者行動ChatGPT-User |
| 用途 | 收集可能用於模型訓練的內容 | 建立搜尋存取或執行使用者請求，角色分開 |
| 連結與引薦 | 訓練收集本身不代表引薦 | 搜尋存取可支援發現，不保證連結或造訪 |
| 控制與限制 | 確認身份、robots範圍與執行 | 分開確認搜尋資格與使用者行動例外 |
按用途控制，不是兩種bot的引薦因果實驗。
robots.txt指令依User-agent群組生效。只對GPTBot設Disallow不會自動封OAI-SearchBot。廣泛萬用規則、CDN與使用者觸發例外需另查；robots不是身份驗證或所有client遵守的證據。
本章重點
先分用途，再定存取。允許bot不承諾流量；限制單一bot不代表整個平台全面隱形。
CH.04
成本與商業證據分開量測
權利、隱私、存取政策與維運成本和引薦都重要。此處沒有多數B2B成本／價值的通用驗證結果。
用自家server／CDN紀錄與帳單估請求、頻寬和運算成本。說明共享成本分攤與bot識別不確定；全球比例不能證明自家純損失。
依自家定義量測可歸因造訪與商業成果。可觀測引用或品牌提及，但不能用平均客單直接推其金額；未知影響與缺漏引薦保留未知。
第一步
記錄實際存取成本
固定期間、識別請求並估實際增量成本。說明不確定，不假設所有B2B帳單都可忽略。
第二步
分開引用與商業成果
固定題目，記錄產品、模式、地區、語言、日期、重複次數與分母。引用、提及、造訪與可歸因有效成果分開。
第三步
用證據檢視政策
有資料才比較實際成本及可歸因價值，並考慮權利與政策。未知用有邊界的情境，不套通用開放／封鎖公式。
本章重點
用實際觀測與成本。未知引用價值不等於零，出現引用也不等於歸因成交。
CH.05
四種控制選項
公開、選擇性限制、協議付費存取與廣泛限制各有條件，沒有通用B2B贏家。
| 路徑 | 怎麼做 | 適合誰 | 這筆帳 |
|---|---|---|---|
| 公開存取 | 讓指定公開路徑可存取 | 權利與政策允許的網站 | 監看實際成本與成果，存取不保證引薦 |
| 選擇性限制 | 按用途robots及適當執行控制 | 有明確用途政策的網站 | 核實身份、範圍、遵守情況，不保證省成本 |
| 付費存取／付費牆 | 可用時採支援產品或協議 | 有可行存取契約的內容權利人 | 查可用性、對方與條款，不預設付款收入 |
| 廣泛限制 | 明確界定萬用或強制限制 | 權利、隱私或政策要求此範圍的網站 | 檢視發現影響，不等於所有AI隱形 |
既有四種有條件控制，不排行回報。
選擇性與廣泛控制影響哪些請求，取決於身份及執行。查實際群組與產品路徑；一行差異不證明保證引薦或完全消失。
本章重點
選擇有紀錄、可回復的政策並監看。付費存取需要實際支援安排，沒有任何選項保證收入。
CH.06
Tenten 政策檢視工作表
這是作者工作表，不是可盲抄的預設robots。調整前確認自家政策及供應商用途。
設定一
按用途確認規則
識別訓練、搜尋、使用者行動；檢視robots群組與執行控制，確認供應商例外。本指南不改任何線上政策。
設定二
維持有用公開資訊可存取
公開路徑放準確易讀內容，支援schema須與頁面一致。llms.txt可選，Google Search不要求；格式不保證引用。
設定三
檢視成本與觀測成果
Tenten建議定期以固定條件、請求成本紀錄及分開引薦／商業量測檢視。保留未核實或不適用，不由五項綠燈推成功。
| 檢查項 | 該有的狀態 |
|---|---|
| robots.txt 是否一刀全封 | 記錄精確User-agent群組、萬用範圍與執行控制 |
| OAI-SearchBot / PerplexityBot | 依自家政策定搜尋存取，不保證引薦 |
| GPTBot 訓練 / CCBot | 依權利／政策與證據定訓練存取，不自動全封 |
| 被引用率追蹤 | 固定產品／模式／地區／日期／重複次數與分母 |
| 爬取成本 vs 引用價值 | 實際成本與歸因成果，說明資料缺漏與不確定 |
五項檢視，未知或不適用不是自動失敗。
最後一句話
按用途、權利、成本及觀測決策。保留不確定，通用比例或爬蟲設定不保證商業價值。
資料來源與研究方法
台北2026-10-05實質修訂。使用Cloudflare 2025-08-28請求比定義與用途分類；未核對2026Q1／六月比及五月百分比退役，不宣稱證偽。bot角色依官方文件。成本／量測／控制工作表是Tenten建議，非客戶成果或已證實ROI。 https://blog.cloudflare.com/ai-crawler-traffic-by-purpose-and-industry/ https://developers.openai.com/api/docs/bots https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler https://developers.google.com/search/docs/fundamentals/ai-optimization-guide https://www.rfc-editor.org/rfc/rfc9309
© 2026 Tenten GEO · 歡迎引用本白皮書內容，請註明出處。
討論你的 AI 搜尋優先事項
申請 30 分鐘基準解讀送出預約申請後，24 小時內回信確認時段。