你的網站可能有幾十篇優質內容,AI 引擎卻只讀得到其中一部分。沒有任何內部連結指向的孤兒頁面,加上點擊深度過深的頁面,正是 GPTBot、ClaudeBot、PerplexityBot 這類爬蟲最容易略過的對象。它們的抓取預算比 Googlebot 緊,回訪頻率低,走得也淺。內容再好,爬不到就不會被引用。
孤兒頁面與點擊深度,到底在講什麼
孤兒頁面指的是網站內沒有任何一條內部連結能連到的頁面。它可能存在於 sitemap、資料庫或伺服器裡,你直接輸入網址也打得開,但從首頁出發,無論怎麼點都到不了。爬蟲主要靠跟隨連結發現頁面,一條路都沒有,它就沒有理由造訪。
點擊深度是相關但不同的概念:從首頁走到某個頁面,最少要點幾下。首頁本身是第零層,首頁上直接連出的頁面是第一層,依此類推。點擊深度超過三到四層的頁面,被抓取的頻率會明顯下降,因為爬蟲把有限資源優先留給淺層、入站連結多的頁面。
為什麼 AI 爬蟲對這兩件事更不留情
傳統 SEO 也在乎孤兒頁面,但 Googlebot 有龐大的基礎建設,願意把網站爬得很深,還會透過外部連結、瀏覽器資料等多種訊號補足發現路徑。目前多數 AI 爬蟲不是這樣運作的。
- 抓取預算更保守:多數 LLM 爬蟲每次造訪只抓有限頁數,深層頁面經常排不進佇列。
- 回訪間隔長:Googlebot 可能天天回來,AI 爬蟲對同一站點的回訪往往以週甚至月計,錯過一次就要等很久。
- 較少依賴外部訊號:它們主要順著你網站內部的連結結構走,內部沒有路,就幾乎沒有備援的發現機制。
- 渲染能力有限:許多 AI 爬蟲不執行 JavaScript,靠 JS 動態生成的選單或連結它們看不到,那些頁面實質上也成了孤兒。
三步驟,跑一次內部連結稽核
第一步,做一次完整的網站爬取。用 Screaming Frog、Sitebulb 或任何能建立連結圖的爬蟲,從首頁出發模擬爬蟲行為,抓出每個頁面的入站內部連結數與點擊深度。重點看兩欄:入站內部連結為零的頁面,就是候選孤兒;點擊深度大於三的頁面,就是抓取風險區。
第二步,把爬取結果和 sitemap 對比。匯出 sitemap.xml 裡的所有網址,再匯出爬蟲實際順著連結走到的網址,兩份清單相減。只出現在 sitemap、卻不在爬取結果裡的頁面,幾乎可以確定是孤兒。這一步能揪出許多光看後台看不出來的漏網頁面。

第三步,看伺服器日誌。過濾出 GPTBot、ClaudeBot、PerplexityBot、Google-Extended 這些 user agent 的請求,比對它們實際抓過哪些網址。你常會發現,AI 爬蟲的足跡集中在淺層頁面,深層或孤兒頁面的抓取紀錄是空白的。日誌不會騙人,它直接告訴你哪些內容從沒進過 AI 的視野。
找到問題之後,怎麼修
修復方向不是把每頁塞滿連結,而是重建合理的發現路徑,讓重要頁面離首頁更近、被更多相關頁面引用。
- 建立主題中樞(pillar)頁面:用一頁涵蓋某主題的總覽,往下連到所有子題頁面,把散落的孤兒收攏進同一個叢集。
- 加入脈絡型內文連結:在既有文章正文中自然連到相關的深層頁面,這種帶語意脈絡的連結,對 AI 判斷主題關聯特別有價值。
- 壓平網站架構:把重要頁面的點擊深度控制在三層以內,必要時調整目錄結構或導覽選單。
- 檢查導覽是否靠 JavaScript 生成:改用一般 HTML 連結,確保不執行 JS 的爬蟲也讀得到。
- 刪除或合併真正無用的頁面:不是每個孤兒都值得救,沒有價值的就整併掉,把連結權重留給該留的頁面。
優先順序很重要。先處理那些你希望被 AI 引用、目前卻是孤兒或深層的頁面,例如產品比較、定價說明、深度指南。這些通常正是使用者在 AI 助理裡會問到、而你最想被引用的內容。
我們替客戶稽核時,最常見的情況是:品質最好的幾篇深度內容,反而因為只從一個很深的目錄連出去,從沒被任何 AI 爬蟲抓過。把它們拉進主題中樞後,通常一兩個月內就會開始出現在 AI 的回答裡。— Tenten GEO 稽核觀察
把內部連結當成檢索的基礎建設
孤兒頁面與點擊深度不是玄學,是可以量測、可以修的工程問題。跑一次爬取、比一次 sitemap、看一次日誌,你就能知道有多少內容其實從沒進過 AI 的視野。想快速看清自己網站有哪些頁面被 AI 漏掉、缺口有多大,可以預約一場 30 分鐘 GEO 診斷,我們會用實際爬取與日誌資料,帶你看哪些內容正被留在門外。



