llms.txt 现在到底有没有用:三组数据和一个务实结论
这半年里我们被问得最多的一个问题是「llms.txt 到底要不要做」。市面上两种极端说法都在传:一种说它是 AI 时代的 robots.txt,不做就出局;另一种说它纯属自嗨,没人读。两种说法都不准确。先看三组公开数据。
数据一:采用率约一成
据 SE Ranking 对 30 万个域名的统计,在这个概念被讨论约十八个月后,llms.txt 的采用率约为 10.13%。更早的统计显示 2025 年的采用率仅 2.13%,且其中约四成是插件自动生成的空壳文件。 增长是真的,但远谈不上普及。
数据二:AI 爬虫几乎不抓这个文件
这是最关键的一组。有监测统计显示,在 62,100 次 AI 爬虫访问中,只有 84 次请求指向 llms.txt——占比约 0.1%。GPTBot、ClaudeBot、PerplexityBot、OAI-SearchBot、Google-Extended 在实际抓取中,绝大多数情况下直接爬 HTML,跳过了这个文件。
数据三:没有任何厂商作出承诺
截至 2026 年第一季度,OpenAI、Google、Anthropic、Meta、Mistral 均未公开承诺在生产系统中读取或采纳 llms.txt。它也不是 W3C 或 IETF 的标准,只是一个社区约定。
那我们为什么还是写了
我们自己的站点部署了 llms.txt 与 llms-full.txt,理由有两个,都跟「被 AI 爬虫读取」无关。
第一,IDE 类 AI 代理确实会读。Cursor、Claude Code、GitHub Copilot、Cline、Aider 这类工具在被指向一个站点时,会常规性地去抓 /llms.txt 与 /llms-full.txt。这类工具的使用者里, 有相当一部分是技术型采购与工程师——对做技术产品的企业来说,这不是一个可以忽略的人群。
第二,也是更重要的:写这份文件的过程本身有价值。它逼着你把「我们是谁、卖什么、 参数区间多少、凭什么可信」压缩成一段无歧义、可独立成立的事实描述。这段描述写出来之后, 真正该做的事是把它同步到官网正文、About 页、外部平台简介里——那些 HTML 正文才是爬虫真正会读的地方。
务实结论:llms.txt 成本极低(半小时),写;但不要把它当主力, 更不要相信任何「写了 llms.txt 就能被 AI 推荐」的说法。具体写法见 《如何写一份 llms.txt》。
- The State of llms.txt in 2026 — aeo.press
- Should Websites Implement llms.txt in 2026 — LinkBuildingHQ
以上数据引自第三方公开研究,我们未参与其统计过程。列出链接供你自行核对—— 这也是我们对客户内容的一贯要求:每个数字都要能追溯到来源。