llms.txt 部署指南
llms.txt 指南:何时采用、如何维护
llms.txt 是可选实作:提案语法、模板、精选链接、Markdown 输出、六项检查与维护。Google Search 忽略该文件,其他系统是否使用需单独验证。
v1.0 · 2026 年 6 月 · Tenten GEO Research
CH.01
llms.txt 是什么 — 以及它真实的现状
llms.txt 是供采用它的 Agent 阅读的 Markdown 精选概览。目前提案允许放在网站根目录,也允许 /docs/llms.txt 等子路径,描述该路径下的内容。它仍是社区提案,是否使用及如何使用由 Agent 决定。
Jeremy Howard 于 2024 年 9 月在 llmstxt.org 发布提案,2026 年 8 月 10 日更新为 v2。它提供精简背景和精选链接,让 Agent 按需获取详细内容。根目录文件可描述全站,子路径文件可描述该区段。
提案列出文档站采用案例,但发布文件不证明 Agent 使用。Google 现行指引确认 Search 忽略 llms.txt,维护不会正面或负面影响 Search 可见度与排名。这不是所有供应商的规则。
我们的判断
有明确工具或 Agent 工作流使用,且维护有必要时再选择 llms.txt。按网站估算编写、部署、链接检查与同步成本。它不是诊断必做第一项、风险近零投资或引用提升证据。
- →llms.txt 可为采用它的 Agent 提供精选背景和链接,不能据此宣称排名或引用提升
- →Agent 的工作流支持或明确收到文件时,可以使用 llms.txt;没有所有 Agent 都必须先读它的要求
- →geo.tenten.co/llms.txt 与 /pricing.md 是可查看的参考网址。内容与响应会变,不保证当前行数、方案数或所有 Agent 采用。

CH.02
提案语法与可复制示例
提案使用 Markdown:项目 H1、可选摘要与背景、章节和精选链接。惯例供采用的工作流解读,不保证每个模型理解。
| 元素 | 语法 | 必填 | 作用 |
|---|---|---|---|
| 站点名称 | # 项目或品牌名称 | 是(唯一必填) | 整份文件唯一的 H1,告诉 AI 这是谁的网站 |
| 摘要 | > 一段 blockquote | 强烈建议 | 一到三句话说清楚你是谁、做什么、给谁 — AI 对你网站的第一印象 |
| 补充说明 | 普通段落或清单(无标题) | 否 | 放解读其余内容所需的背景,例如服务模式、方法论 |
| 区块 | ## 区块名称 | 否 | 用 H2 把链接分组:服务、文档、资源、联系… |
| 链接清单 | - [标题](URL):一句话描述 | 否 | 每行一个链接,描述告诉 AI「为什么值得读这一页」 |
| Optional 区块 | ## Optional | 否 | 规格保留字:context 不够时 AI 可以跳过这一块 — 次要链接放这里 |
llmstxt.org 社区提案的元素;按现行规范核对,不是所有 Agent 的契约。
可直接照抄的最小模板
- →# 安可科技有限公司
- →> 安可是国内的 B2B 仓储自动化方案商,为 50–500 人的制造企业提供 WMS 落地与咨询服务,客户包括…(一到三句,写实、可验证)
- →## 服务 — 之后每行:- [WMS 落地服务](https://acme.cn/services/wms):30 天落地流程、定价区间与交付项
- →## 文档 — - [API 文档](https://acme.cn/docs/api):REST API 完整参考,含鉴权与错误码
- →## 联系 — - [预约咨询](https://acme.cn/contact):30 分钟免费评估
- →## Optional — 放博客索引、媒体报道等次要链接
描述应说明页面的事实信息。按读者或工作流选链接,没有通用 10–30 条限制。geo.tenten.co/llms.txt 是参考,不证明当前四个章节或不到 40 行;应检查实际响应。
CH.03
llms.txt、robots.txt、sitemap.xml:三个文件,三种活儿
robots.txt 向遵守协议的代理传达抓取指令;sitemap.xml 列出供发现的 URL;llms.txt 为采用它的 Agent 提议精选概览。它们都不是强制访问控制,llms.txt 也不替代一般 Search 资格。
| robots.txt | sitemap.xml | llms.txt | |
|---|---|---|---|
| 回答的问题 | 你能爬哪里? | 我有哪些页面? | 哪些页面重要、讲什么? |
| 格式 | 专用指令语法 | XML | Markdown |
| 主要读者 | 遵守协议的自动爬虫;用户触发的例外依供应商而异 | 搜索引擎索引器 | 明确采用提案的 Agent 与工具 |
| 内容性质 | 允许/封锁规则 | 全量 URL + 更新时间 | 精选链接 + 语义描述 |
| 标准状态 | 正式标准(RFC 9309) | 业界标准(sitemaps.org) | 社区提案(llmstxt.org) |
| 出错的代价 | 限制搜索爬虫可能影响该爬虫访问;拒绝训练是另一项策略决定 | sitemap 帮助发现;遗漏不证明无法发现,也不保证索引 | 采用文件的 Agent 得到较少有用背景;其他发现路径仍可能有效 |
访问指示、发现提示与可选精选背景各有用途,不替代可读页面,也不证明引擎内部流程。
30 天审计先检查预定开放的搜索爬虫和用户抓取访问,再确认一般页面发现,最后处理可选的 llms.txt。为训练封锁 GPTBot、ClaudeBot,本身不会封锁 OAI-SearchBot、Claude-SearchBot。逐一检查各代理适用的 robots 组与 CDN 规则。
本章重点
区分访问、发现和精选背景。检查预定服务代理的 robots.txt 与 CDN 控制;可选的 llms.txt 无法补救被阻止的请求,也不是 Google AI 功能的必要条件。
CH.04
进阶做法:llms-full.txt 与 .md 镜像页
工作流需要 Markdown 时可考虑整合输出或部分 .md 镜像。Google Search 不要求;HTML 本身不是不可读,格式按使用系统决定。
llms-full.txt:一个文件装下全部内容
llms-full.txt 可把选定内容整合给工具。大小、上下文限制、隐私和更新成本取决于范围。按工具文件与同步来源决定,不声称全量输出或镜像投报更高。
.md 镜像页:在原网址后面加上 .md
.md 镜像以 Markdown 提供选定内容。/pricing.md 是参考,使用前比对实际响应与 HTML 当前价格、条款和币种。镜像是可选格式,不证明所有 Agent 需要或读取。
- →按实际读者或工具需求选镜像,如规格或价格,不假设所有 AI 最常被问这些页面。
- →维护镜像时可在 llms.txt 用准确描述链接,存在不等于自动采用。
- →各格式日期、价格和条款需准确。过时副本可能误导,日期标签本身不证明新鲜度。
- →维护纪律:HTML 页改版时 .md 同步更新,把它放进同一份发版 checklist,别靠记忆
CH.05
六项部署检查
用六项检查确认描述、更新、链接取舍、正文输出、爬虫访问与响应格式。这是实作检查,不是客户网站错误出现率的已发布估计。
- →检查 1 · 描述:用具体事实说明页面信息,避免只有口号。
- →检查 2 · 更新:发布时核对改名、链接与事实。每季复查是 Tenten 规划提醒,不是通用工时验证。
- →检查 3 · 取舍:按范围与系统保留有用链接,没有通用数量门槛,也不证明长清单使全部背景失效。
- →检查 4 · 渲染:查看原始 HTML 与目标系统渲染。Google 执行 JavaScript,其他 Agent 各异;明确访问需求后才考虑服务器输出或镜像。
- →检查 5・代理访问:对照 OAI-SearchBot、Claude-SearchBot、PerplexityBot 等搜索爬虫,检查 robots.txt、WAF 与已核对的日志。有意拒绝 GPTBot、ClaudeBot 训练,不代表 llms.txt 部署失败;用户抓取的例外另行处理。
- →检查 6 · 响应:核对状态、合适文本 Content-Type 与实际 Markdown。200 错误页或仅测 header 可能遗漏坏输出,不要求所有系统使用一种 MIME 标签。
本章重点
先修可访问的响应和有用正文,再润色文件。搜索爬虫被阻止或页面空白,可能限制该代理访问,但不能推出所有 AI 都不知道这个网站。部署检查与排名、引用主张应分开。
CH.06
部署四步骤与验证清单
选择部署后用四步编写、发布、验证、维护。按网站和工作流估算工时,不承诺一下午或固定分钟数。
STEP 1
盘点与编写
按范围和系统选择页面,用 CH.02 的真实摘要、分组链接和有用描述。确认准确说明组织与页面内容,不要求固定页数。
STEP 2
发布到适用路径
全站概览可放 https://yourdomain/llms.txt;按 v2 提案,特定区段也可放 /docs/llms.txt。静态 Next.js 网站可用 public/llms.txt,CMS 可提供静态路由。检查 200 响应、合适的文本 Content-Type、UTF-8 和实际 Markdown 正文。
STEP 3
验证响应与内容
查传输和正文,再开链接比对事实。给模型做摘要能发现待查问题,但错误也可能来自模型、访问或背景,并非必然描述缺漏,也不证明自主发现或引用。
STEP 4
安排维护责任
指定负责人,页面变化时同步。按频率复查,每季或 3 周改写循环是 Tenten 规划选项,不是验证过的客户成果或十分钟承诺。有可信请求日志再查看。
- →传输参考:curl -sI https://你的域名/llms.txt 仅查 header;仍须取得正文和链接响应。
- →模型摘要错误先列调查项。提供给 ChatGPT 或 Claude 不证明它们会自行发现或优先读取。
- →分别确认 OAI-SearchBot、Claude-SearchBot、PerplexityBot 的预定访问,以及 GPTBot、ClaudeBot、Google-Extended 的训练/grounding 控制。检查用户抓取例外;llms.txt 不要求普遍同意训练。
最后一句话
llms.txt 是可选工程决定,不是最便宜的必备 GEO 地基。先维护准确内容与预期访问,再按明确使用系统评估,而非假定排名价值或催促。
数据来源与研究方法
规范依 Jeremy Howard 的 llmstxt.org 提案,2024 年 9 月发布,2026 年 8 月 10 日更新 v2:https://llmstxt.org/ 。Google 2026-07-10 指引确认 Search 忽略 llms.txt,不影响可见度/排名:https://developers.google.com/search/docs/fundamentals/ai-optimization-guide 。2026-06-15 说明见 https://developers.google.com/search/updates ,不外推所有供应商。既有训练/搜索/用户请求区分依官方文件,包括 https://developers.openai.com/api/docs/bots 。检查与复查是 Tenten 建议,不是客户频率数据、投报、固定工时或必读第一站规则。geo.tenten.co/llms.txt、/pricing.md 需核对当前响应与来源,不宣称固定现站数量。实质检视:2026-10-05。
© 2026 Tenten GEO · 欢迎引用本指南内容,请注明出处。
讨论你的 AI 搜索重点
申请 30 分钟基准解读提交预约申请后,我们会在 24 小时内通过邮件确认时间。