Tenten AIGEO
回到部落格
技術實作手冊實作

AI 可爬性快速健檢:5 分鐘檢查 robots、渲染與 schema

AI 搜尋看不到你,往往不是內容問題,而是爬蟲讀不到。這份五分鐘健檢教你自己檢查 robots.txt 有沒有擋掉 GPTBot、頁面內容是否依賴 JavaScript 才顯示、以及 schema 結構化資料對不對,快速找出 AI 可爬性的缺口並排出修正順序。

Tenten GEO 團隊發布於 2026-07-124 分鐘閱讀
一道掃描光束穿過半開的閘門,象徵 AI 爬蟲能否讀到你的網頁。

你在 AI 搜尋裡找不到自己,多半不是內容不夠好,而是爬蟲根本讀不到那一頁。robots.txt 把 GPTBot 擋在門外、正文藏在要靠 JavaScript 才長出來的區塊、整頁沒有任何結構化資料——這三件事只要成立一件,你寫得再用心的文章,對 AI 引擎來說都等於不存在。這類問題不必等三十天的完整審計才會浮現,五分鐘、三個步驟,你自己就能先驗一遍。

先分清楚:AI 爬蟲不是 Googlebot

每一家 AI 引擎都派自己的爬蟲來收資料,各有各的 user-agent,行為也和 Googlebot 不一樣。最關鍵的差別是:Googlebot 為了排名,很願意花力氣執行頁面上的 JavaScript;多數 AI 爬蟲為了速度和成本,只抓原始 HTML,JavaScript 跑得零零落落,甚至完全不跑。所以「Google 收錄正常」從來不等於「ChatGPT、Perplexity、Claude 讀得到你」。健檢要單獨用 AI 爬蟲的視角看一遍,而不是沿用舊的 SEO 檢查表。

第一分鐘:打開 robots.txt,看 AI 爬蟲有沒有被擋

在你的網域後面加上 /robots.txt 直接打開,用 Ctrl+F 搜下面這幾個名字,看它們是被 Disallow 擋掉,還是根本沒被提到(沒提到通常等於放行)。很多網站的 AI 爬蟲是被「無意間」擋掉的——資安外包、CDN 或某套外掛的預設規則,把所有不是 Googlebot 的爬蟲一律封鎖,連帶把 AI 引擎也關在門外。

  • GPTBot:OpenAI 用來抓訓練與檢索資料的爬蟲,擋掉它,ChatGPT 這邊就拿不到你的內容。
  • OAI-SearchBot 與 ChatGPT-User:對應 ChatGPT 搜尋,以及使用者當下發問時的即時取用。
  • ClaudeBot:Anthropic 的 Claude 用來收錄與檢索網頁的爬蟲。
  • PerplexityBot 與 Perplexity-User:Perplexity 建索引與即時讀取頁面時使用。
  • Google-Extended:控制內容是否被 Gemini 使用,擋掉它不影響一般 Google 排名,卻會讓你從 Gemini 的答案裡消失。

第二到三分鐘:關掉 JavaScript,看內容還在不在

這一步在驗一件事:你的正文,是不是「真的寫在 HTML 裡」,還是要靠瀏覽器跑完 JavaScript 才長出來。最快的做法,是在 Chrome 開發者工具(DevTools)裡停用 JavaScript 再重新整理;更直接的話,在網址前面加 view-source: 看原始碼,用 Ctrl+F 搜你文章裡的一整句話。如果搜不到標題、正文或價格,代表這些內容是前端渲染出來的,只讀 HTML 的 AI 爬蟲拿到的是一副空殼。用純文字瀏覽的角度想就好:爬蟲看到什麼,AI 就只能引用什麼。

五分鐘 AI 可爬性健檢的三個關卡:robots.txt、頁面渲染與 schema。
一次健檢只看三件事:爬蟲進不進得來、內容抓不抓得到、結構化資料對不對得上。

第四到五分鐘:檢查 schema 有沒有、對不對

一樣用 view-source,這次搜 application/ld+json,看頁面有沒有埋結構化資料,以及埋的類型對不對。文章頁該有 Article、公司頁該有 Organization、有問答就配 FAQPage、產品頁配 Product。schema 不會直接幫你衝排名,它的作用是讓 AI 用最低成本確認三件事:這頁在講什麼、誰寫的、可不可信。這裡有個容易踩的坑——錯的 schema 比沒有更糟。宣稱頁面有 FAQPage、實際上卻找不到對應問答,或標記的作者、日期和頁面內容對不上,AI 會判定這頁資料不可靠,連帶降低引用意願。

一頁判讀表:五分鐘該看到的結果

  1. robots.txt:上面幾個 AI 爬蟲都沒被 Disallow,也沒有 User-agent: * 配 Disallow: / 的全站封鎖。
  2. 渲染:關掉 JavaScript 後,標題、正文、關鍵數字(例如價格、規格)都還在原始 HTML 裡讀得到。
  3. schema:頁面有對應類型的 JSON-LD,且標記內容和畫面上看到的一致,沒有造假或過期。
  4. 三項全過:AI 可爬性的地基沒問題,接下來才輪到內容與被引用結構的優化。
  5. 任一項沒過:先別急著多產內容,這一項就是你目前最該補的缺口。
AI 可爬性是有沒有資格被引用的門檻,不是加分題。門檻沒過,內容做得再好,AI 也讀不到、引用不了。Tenten GEO 顧問團隊

查到問題,先修哪一個

修正有明確的優先順序。robots.txt 的封鎖最該先解——改一行規則就能放行,影響範圍最大,通常當天生效。渲染問題排第二,因為多半要工程介入,把關鍵內容改成伺服器端渲染,或至少讓原始 HTML 帶得出正文;成本較高,卻直接決定 AI 讀不讀得到你的字。schema 排最後補,它是把地基補到滿分,而不是從零到一。照這個順序走,你會用最少力氣先把最致命的洞補起來。

這份五分鐘健檢能抓出多數明顯的破口,但抓不到比較深的問題——像是伺服器對 AI 爬蟲回傳的內容和給一般使用者的不一樣、被引用的段落結構太鬆散、或跨頁面的實體與可信訊號不一致。想知道自己這幾層到底漏在哪,可以預約一場 30 分鐘 GEO 診斷,我們會用 Tenten 的 GEO 審計視角,把你的可爬性缺口列成一張能直接動工的清單。

常見問題

AI 爬蟲和 Googlebot 是同一個嗎?封鎖其中一個會怎樣?
不是。GPTBot、ClaudeBot、PerplexityBot、Google-Extended 各自獨立,robots.txt 要分別放行。Google 收錄正常,不代表 ChatGPT 或 Perplexity 讀得到你的頁面,兩者要分開檢查。
為什麼內容靠 JavaScript 顯示會影響 AI 抓取?
多數 AI 爬蟲不執行或不完整執行 JavaScript,只讀原始 HTML。若正文、標題、價格要靠前端渲染才出現,爬蟲拿到的是空殼,等於沒有內容可引用。
沒有 schema,AI 就完全抓不到我嗎?
不會完全抓不到,但 schema 幫 AI 快速確認頁面主題、作者與可信度,提升被引用機率。要注意錯誤或造假的 schema 比沒有更傷,宣稱有 FAQ 卻沒對應內容會被判定不可信。

READY WHEN YOU ARE

想知道你的品牌在 AI 答案裡值多少?

30 分鐘 GEO 診斷,我們用你的實際提問,帶你看見在六大 AI 引擎裡的能見度缺口,以及補上它的優先順序。

預約 30 分鐘診斷