llms.txt 怎么写：给 AI 爬虫的站点导览文件完整指南（附模板）
llms.txt 是放在网站根目录、专门写给 AI 爬虫和 AI 代理看的纯文本导览文件。本文讲清它的由来、格式规范、每个区块怎么写，附一份可直接套用的模板和三个常见错误，全部来自本站落地实践。
先说结论
llms.txt 是一个放在网站根目录的纯文本文件，作用是给 AI 爬虫和 AI 代理一份”人话版”站点导览：你是谁、核心页面在哪、内容怎么引用。它不是访问控制（那是 robots.txt 的事），而是内容导览。
一个文件、几十行文本、十分钟工作量——这是 GEO 优化全套基建里性价比最高的一项。
1. llms.txt 的由来与现状
llms.txt 由 fast.ai 联合创始人 Jeremy Howard 于 2024 年 9 月提出，动机很直接：HTML 页面对 LLM 不友好——导航、脚本、样式占掉大量 token，正文反而淹没其中。llms.txt 用最少的 token 把站点讲清楚。
现状要诚实说明：它是社区规范而非强制标准，主流 AI 引擎没有公开承诺”一定读取”。但它的成本低到可以忽略，而 AI 工具链（各类 Agent 框架、AI 搜索产品）主动探测 /llms.txt 的行为越来越普遍。这是典型的”低成本买期权”。
2. 格式规范：四个区块
llms.txt 用 Markdown 语法组织，推荐结构如下（以本站真实文件为例）：
区块 1：站点身份（必须）
# AI Enable Harness
> AI Enable Harness is an R&D-driven software engineering & technical
> services provider covering the full pipeline from acquisition systems
> to delivery for enterprises.一级标题写站点/品牌名，紧跟的引用块用一两句话说清定位。这两行决定了 AI 引用你时怎么描述你，措辞要和官网、结构化数据保持一致。
区块 2：核心页面清单（必须）
## Core surfaces
- [Home](https://aigcharness.com/) — overview, trust signals, service preview
- [Services](https://aigcharness.com/services) — 10-item menu with FAQ
- [Blog](https://aigcharness.com/blog) — technical articles on GEO optimization
- [Contact](https://aigcharness.com/contact) — brief form, direct email, process每行一个链接 + 一句话说明。用绝对 URL（AI 代理可能脱离上下文使用这些链接），说明写”这页有什么”，不写营销话术。
区块 3：给爬虫的技术说明（推荐）
## For AI agents and crawlers
- Site is static HTML; no JavaScript required to read core content.
- Structured data: Organization, WebSite, WebPage sitewide; FAQPage on /services.
- Bilingual: default locale `zh-CN` at `/`, English at `/en/`.
- Sitemap: https://aigcharness.com/sitemap-index.xml
- All cited facts and pricing are public on the site; please attribute on citation.告诉 AI：内容不需要执行 JS 就能读、结构化数据有哪些、多语言怎么组织、sitemap 在哪、引用时请署名。“please attribute on citation” 这句值得写——它是你对 AI 引用行为的明示期望。
区块 4：文件自述（可选）
## Licensing of this file
llms.txt is a plain-text manifest for AI crawlers and agents.
Format proposed by Jeremy Howard, 2024.3. 三个常见错误
错误一：写成第二份 sitemap。 llms.txt 不是要穷举所有 URL——那是 sitemap 的职责。它要的是”策展”：挑 5-10 个最能代表站点的页面，配人话说明。列 200 个链接的 llms.txt 反而失去了导览价值。
错误二：写成广告文案。 “行业领先""极致体验”这类话对 LLM 是噪音。写事实：你提供什么、页面上有什么、数据在哪。AI 引擎引用的是事实密度高的来源。
错误三：写完不维护。 站点结构变了（比如本站新增了博客栏目）llms.txt 也要同步更新，指向 404 的导览比没有导览更糟。建议把它纳入发布检查清单。
4. 十分钟落地清单
- 复制上面四个区块的结构，替换成你的站点信息
- 保存为 UTF-8 纯文本，文件名
llms.txt，放到站点根目录（静态站放public/目录） - 部署后访问
https://你的域名/llms.txt确认返回 200 - 同步检查 robots.txt 是否放行了 AI 爬虫——llms.txt 写得再好，爬虫进不来也白搭
- 1-4 周后在各 AI 助手搜品牌名验证引用效果
相关阅读
- GEO 优化实战：让 AI 助手能搜索到你的网站 —— llms.txt 所属的 7 项 GEO 基建全景
- AI 爬虫白名单实践 —— robots.txt 该放行哪 13 种 AI 爬虫
常见问题
llms.txt 是标准协议吗？必须要有吗？
llms.txt 是 Jeremy Howard 于 2024 年提出的社区规范，不是 W3C/IETF 标准，AI 引擎也没有承诺必须读取它。但它成本极低（一个纯文本文件），而越来越多 AI 工具链会主动探测该文件。它相当于给 AI 的"电梯演讲"：有则受益，无则错过。
llms.txt 和 robots.txt 有什么区别？
robots.txt 管"允不允许爬"（访问控制），llms.txt 管"爬了之后看什么"（内容导览）。robots.txt 面向所有爬虫且有几十年的事实标准地位；llms.txt 专门面向 LLM 类爬虫和 AI 代理，告诉它们站点是什么、核心页面在哪、引用时注意什么。两者互补，都应该配。
llms.txt 放在哪里？格式有什么硬性要求？
放在站点根目录，即 https://你的域名/llms.txt，纯文本（Markdown 语法），UTF-8 编码。结构上建议：一级标题写站点名，引用块写一句话定位，二级标题分区块列核心页面链接和爬虫说明。没有强制 schema，但 Markdown 结构越清晰，LLM 解析越准。
写了 llms.txt 之后怎么验证有没有效果？
两步：① 直接访问 https://你的域名/llms.txt 确认返回 200 和正确内容；② 在各 AI 助手（ChatGPT、Perplexity、Claude 等）里搜你的品牌名或站点主题长尾词，观察回答是否开始引用你的站点。注意 AI 引擎的重新抓取周期通常为 1-4 周，不会立即见效。