AI 爬蟲的抓取能力不是無限的，而且它們比你想像的更常在錯的頁面上把力氣用完。一個中大型網站每天被 GPTBot、ClaudeBot、PerplexityBot 抓取的次數，很可能有一半以上落在分頁、篩選參數、舊活動頁這類永遠不會被引用的網址上。結果就是：你真正想被 AI 引述的產品頁與比較文，反而更新得最慢、被重新抓取的頻率最低。抓取預算最佳化要做的，就是把這條水管接回正確的出水口。
AI 爬蟲不是抓越多越好
抓取預算 (crawl budget) 這個概念以前主要是 Google 的問題，指搜尋引擎願意花在你網站上的抓取量，由兩件事決定：伺服器承受得住多少（抓取速率上限），以及引擎覺得你有多少值得抓（抓取需求）。進入 GEO 時代，玩家從一個變成十幾個，而且每一家的胃口、禮貌程度都不一樣。ClaudeBot 與 GPTBot 的抓取量在部分網站的伺服器日誌裡，已經逼近甚至超過傳統 Googlebot。它們大多不執行 JavaScript、對回應速度敏感、遇到大量低價值網址時不會自動變聰明——你餵什麼，它就抓什麼。
先搞清楚誰在花你的預算
優化之前，你得先知道帳單是誰刷的。不同 AI 爬蟲的用途不同：有的拿去訓練模型，有的是即時檢索（使用者在對話中問問題時才去抓），有的兩者都做。這個差別決定了你要不要放行、以及放行後希望它優先抓哪裡。以下是目前在多數 B2B 網站日誌裡最常見的幾隻，記住它們的 user agent 名稱，之後做日誌分析與 robots.txt 設定都會用到。
- GPTBot（OpenAI 訓練用）、OAI-SearchBot（ChatGPT 即時搜尋）
- ClaudeBot／Claude-User（Anthropic 訓練與即時檢索）
- PerplexityBot／Perplexity-User（Perplexity 索引與即時抓取）
- Google-Extended（控制 Gemini 是否使用你的內容，不影響一般搜尋排名）
- Amazonbot、Bytespider、Meta-ExternalAgent（胃口大、常被低估的抓取來源）
三個跡象：你的抓取預算正在漏水
- 日誌裡超過一半的爬蟲請求，命中的是帶問號參數、排序或篩選的網址，而不是你的核心內容頁。
- 重要頁面（新發布的比較文、定價頁、案例）距離上次被 AI 爬蟲抓取，已經超過兩三週。
- 爬蟲頻繁撞上 404、301 轉址鏈、或要等三四秒才回應的頁面——每一次都是白花掉的預算。
規模越大越明顯。一個只有三十頁的形象網站幾乎不用擔心抓取預算；但只要你有電商分類、部落格分頁、多語系版本、或會產生大量參數組合的篩選導覽，可抓取的網址數量會輕易膨脹到實際內容頁的數十倍。爬蟲的預算是固定的，多出來的網址不會讓它多給你，只會稀釋掉重要頁面被抓到的機率。
用伺服器日誌把漏水點找出來
猜沒有用，要看日誌。抓取預算最誠實的資料來源是伺服器的存取日誌 (access log)，把 AI 爬蟲的 user agent 過濾出來，你就能算出三件事：每一隻爬蟲各抓了多少次、它們的請求分布在哪些網址類型、以及命中不同狀態碼（200、301、404、5xx）的比例。多數浪費會集中在少數幾種模式：分面篩選產生的參數組合、站內搜尋結果頁、無止盡的分頁、以及早該關掉的舊活動頁。先量出來，才知道關掉哪一段水管能省最多。Brand Radar 這類能見度追蹤告訴你有沒有被引用，日誌則告訴你爬蟲把時間花在哪，兩邊要對照著看。
把預算導回重要頁面的六個動作
- 在 robots.txt 用 Disallow 擋掉站內搜尋、篩選參數、購物車這類永遠不需要被抓的路徑，直接從源頭省下請求。
- 對重複或近似重複的頁面設定 canonical，讓爬蟲把預算集中在標準版本，而不是每個排序變體都抓一遍。
- 清掉 301 轉址鏈與內部連到 404 的死連結；爬蟲每跟一次多餘的轉址，就少抓一個真正的頁面。
- 維護一份乾淨、只放可索引網址的 XML sitemap，並讓 lastmod 誠實反映更新時間，幫爬蟲判斷該回頭重抓哪些頁。
- 用內部連結把權重與抓取路徑導向核心頁面——AI 爬蟲多半不跑 JavaScript，選單和相關文章要用真正的 HTML 連結，不要靠前端動態產生。
- 壓低首位元組時間 (TTFB) 與頁面體積，回應越快，同樣預算內爬蟲抓得到的頁面就越多。
優先餵給 AI 爬蟲的，是「答案型」頁面
省下來的預算要花在對的地方。對 GEO 來說，值得被優先且頻繁抓取的，是那些能直接回答問題、結構清楚、容易被乾淨抽取的頁面：定義明確的術語頁、帶具體數字的比較文、附步驟的教學、掛 FAQ 的產品頁。這些是 AI 引擎生成答案時最可能引用的素材。把它們放進 sitemap 前段、用內部連結多指幾次、保持內容新鮮，等於明白告訴爬蟲：這裡值得你常來。相對地，感謝頁、登入頁、無限捲動的標籤彙整頁，就該擋在門外。
抓取預算最佳化的重點從來不是讓爬蟲抓得更多，而是讓它每一次抓取，都命中一個你希望被 AI 引用的頁面。— Tenten GEO 顧問團隊
這件事沒有一勞永逸。網站會長出新的參數、行銷會上架新的活動頁、改版會製造新的轉址鏈，抓取預算的漏洞是持續生成的，所以日誌分析要排進每季的固定動作，盯著爬蟲的命中率與重要頁面的重抓間隔。如果你不確定 AI 爬蟲現在把時間花在你網站的哪裡、哪些該被引用的頁面其實根本沒被抓到，可以預約一次 30 分鐘的 GEO 診斷，我們用你的伺服器日誌把漏水點指給你看。
