Tenten AIGEO
回到部落格
AI 平台能見度實作

讓 Perplexity 抓得到你:robots、llms.txt 與 Perplexity 爬蟲設定

想被 Perplexity 引用,先讓它抓得到你。這篇實作指南拆解 PerplexityBot 與 Perplexity-User 的差別、robots.txt 與 llms.txt 的正確寫法,以及讓內容被選為來源的結構化做法,附上上線前的 Perplexity 爬蟲設定檢查清單。

Tenten GEO 團隊發布於 2026-07-125 分鐘閱讀
抽象視覺:一道柔光穿過層層半透明防護,抵達發光節點,象徵 Perplexity 爬蟲順利抓取並引用網站內容。

Perplexity 要引用你,前提只有兩個:它的爬蟲抓得到你的頁面,而且它讀得懂你在講什麼。多數人卡在第一關卻沒發現,一行萬用字元的 robots.txt 規則、CDN 的預設防護,或一個沒放行的 user agent,就足以讓你從 Perplexity 的答案裡整個消失。放行 PerplexityBot 是最低門檻,不是被引用的保證;但沒放行,後面所有 GEO 工作都是空談。

先搞清楚:Perplexity 派出兩隻爬蟲,行為完全不同

很多人以為 Perplexity 只有一隻爬蟲,設定時只擋一個名字,就以為封好或開好了,結果全錯。Perplexity 官方文件列出兩個代理:PerplexityBot 負責建立搜尋索引,決定你的頁面有沒有資格出現在結果裡,它會遵守 robots.txt;Perplexity-User 則是使用者當下提問、系統即時去抓某個特定網址時派出的,因為它是回應使用者的直接動作,通常不受 robots.txt 約束。這個差別很關鍵:你在 robots.txt 擋掉爬蟲,擋得住索引,卻不一定擋得住即時抓取。

  • PerplexityBot:用於建立與更新 Perplexity 的搜尋索引,決定你能否被列為候選來源,遵守 robots.txt 規則。
  • Perplexity-User:使用者提問時即時造訪特定頁面,屬回應使用者的動作,一般不套用 robots.txt 封鎖。
  • 驗證真偽:兩者都可能被冒名,別只看 user agent 字串,應以 Perplexity 公布的 IP 區段或反向 DNS(解析回 perplexity.ai)確認。
  • 常見誤解:在 robots.txt 放行不等於一定被抓、被引用,那只是讓你有資格進入候選池。

robots.txt:最常被一行設定誤殺的地方

我們替客戶做 GEO 審計時,最常見的第一個致命傷就出在 robots.txt。有的站台用 User-agent: * 搭配 Disallow: / 全站封鎖,上線後忘了打開;有的把 /blog/ 或 /resources/ 這類主力內容目錄一起擋掉;更隱蔽的是 Cloudflare、Vercel 這類平台的 Bot 管理或防火牆規則,在你沒改 robots.txt 的情況下,直接在邊緣層就回了 403 給 PerplexityBot。這類問題不會跳錯誤訊息提醒你,只會讓你在 Perplexity 的答案裡默默缺席。最小可行的正確設定其實很短:在根目錄的 robots.txt 明確放行 PerplexityBot,並指向你的 sitemap。

  • 明確放行:寫一段 User-agent: PerplexityBot 接 Allow: /,避免被 User-agent: * 的封鎖規則波及。
  • 指定 sitemap:在檔案結尾加上 Sitemap: https://你的網域/sitemap.xml,讓爬蟲一次拿到完整網址清單。
  • 檢查 CDN 與 WAF:確認 Cloudflare、Vercel、AWS WAF 沒有在邊緣層把已知 AI 爬蟲一律擋下。
  • 別掛 noindex 又想被引用:頁面若有 robots meta 的 noindex,等於同時對搜尋引擎與 Perplexity 說「別收錄我」。
  • 用日誌驗證:到伺服器存取日誌搜尋 PerplexityBot,確認它真的來過,拿到的是 200 而不是 403 或 429。

llms.txt:值得花十分鐘做,但別把它當成引擎入口

llms.txt 是 Answer.AI 的 Jeremy Howard 在 2024 年提出的提案:在網站根目錄放一份 /llms.txt 的 Markdown 檔,用精簡結構列出你最重要的頁面與說明,方便大型語言模型快速理解站台重點。立意很好,但要說實話——截至目前,包含 Perplexity、Google 在內的主流引擎都沒有公開宣布會實際消費 llms.txt,Google 的 John Mueller 也公開表示沒有搜尋引擎拿它當抓取或排名依據。那還要不要做?我的建議是做,但要對它的角色誠實。它成本極低,一份檔案就能列出支柱內容、產品說明與聯絡方式;對會讀取它的 agent 或未來可能支援的引擎,是額外一層乾淨入口;更實際的價值是,寫 llms.txt 會逼你把「哪些頁面才是核心」想清楚,這件事本身就對 GEO 有幫助。別把預算和期待全壓在它身上,真正決定 Perplexity 抓不抓得到你的,還是 robots.txt 與乾淨的 HTML。

資訊圖:Perplexity 兩隻爬蟲各走索引與即時抓取路徑,robots.txt 與 llms.txt 是通往被引用的門檻。
PerplexityBot 走索引、Perplexity-User 走即時抓取,robots.txt 是共同的第一道門。

抓得到只是入場券,重點是讓 Perplexity「選你當來源」

Perplexity 回答一個問題時,通常只會引用少數幾個來源。它偏好能直接對應到問題、又容易乾淨抽取的段落。如果你的答案埋在第八段,前面鋪陳一堆「隨著 AI 的興起」,或者一個段落同時講三件事,引擎很難把你切出來當引用。結論先行、一段講一件事、標題就是問題的答案,這些寫法不是文青堅持,而是直接影響你被不被選中。

  • 答案前置:每個小節第一句就給結論,把為什麼與怎麼做放到後面。
  • 標題即問題:用 H2、H3 寫出使用者真正會問的句子,讓引擎對得上 query。
  • 段落自足:一段只講一個重點,不預設讀者看過上一段,方便被單獨引用。
  • 上結構化資料:文章掛 Article、問答區用 FAQPage schema,幫引擎確認內容型別與問答對應。
  • 給具體數字與情境:可被查證的事實比形容詞更容易被引用。

新鮮度:Perplexity 特別吃「最近更新」

Perplexity 把自己定位成回答當下問題的工具,對時效敏感的主題,它明顯偏好近期內容。這代表兩件事:一是頁面要如實提供 dateModified,別讓一篇去年更新過的文章對外顯示成三年前;二是核心頁面要有真的更新節奏,把新的數字、新的做法補進去,而不是改個日期騙引擎。我們替客戶維運內容引擎時,會固定回訪高價值頁面,補進最新的執行經驗,這對 Perplexity 的來源選擇有實際差別。

能不能被 Perplexity 引用,九成先由技術面決定:抓得到、讀得懂、夠新。內容再好,爬蟲進不來都是零。Tenten GEO 顧問團隊

上線前的 30 分鐘自我檢查

  1. 在瀏覽器打開「你的網域/robots.txt」,確認沒有整段 Disallow: / 誤封,且有明確放行 PerplexityBot。
  2. 到伺服器日誌搜尋 PerplexityBot,確認近期有造訪且回傳 200。
  3. 檢查 CDN 與 WAF 的 Bot 規則,確認沒有在邊緣層攔截 AI 爬蟲。
  4. 抽查三篇主力文章,看第一段是否結論先行、標題是否對得上真實問題。
  5. 確認 sitemap 可正常存取、dateModified 正確,並放上 llms.txt 當作內容地圖。

這份清單多數項目一個下午就能修完,難的是知道自己到底漏了哪一項,尤其那些藏在 CDN 規則、平台預設封鎖裡的問題,不主動查根本看不到。如果你想確認 Perplexity 現在到底抓不抓得到你、又漏掉哪些被引用的機會,可以到 /contact 預約一場 30 分鐘 GEO 診斷,我們會直接對著你的網站看 robots、日誌與內容結構,把缺口一條條列給你。

常見問題

Perplexity 的爬蟲叫什麼名字?要怎麼在 robots.txt 放行?
Perplexity 主要有兩隻爬蟲:PerplexityBot 負責搜尋索引並遵守 robots.txt,Perplexity-User 則在使用者提問時即時抓取。放行做法是在 robots.txt 寫 User-agent: PerplexityBot 搭配 Allow: /,並指定 sitemap 位置。
llms.txt 對 Perplexity 有用嗎?一定要做嗎?
目前 Perplexity 並未公開宣布會消費 llms.txt,它比較像給 AI 的內容地圖提案,而非正式標準。因為成本極低、又能理清核心頁面,建議做;但決定能否被抓取的關鍵,仍是 robots.txt 與乾淨的 HTML。
robots.txt 放行了,為什麼 Perplexity 還是抓不到我?
多半是 CDN 或 WAF 在邊緣層擋掉 AI 爬蟲、頁面掛了 noindex,或 sitemap 無法存取。到伺服器日誌搜尋 PerplexityBot,確認它拿到的是 200 而非 403 或 429,才能判斷問題出在哪一層。

READY WHEN YOU ARE

想知道你的品牌在 AI 答案裡值多少?

30 分鐘 GEO 診斷,我們用你的實際提問,帶你看見在六大 AI 引擎裡的能見度缺口,以及補上它的優先順序。

預約 30 分鐘診斷