llms.txt 是 2026 年前后兴起的一个约定，格式类似 robots.txt，放在网站根目录（/llms.txt），用 Markdown 写清楚网站的定位、核心内容板块和重要页面链接，方便 AI 爬虫快速抓住站点重点，而不用自己从首页一层层摸索。
为什么会出现这个文件
AI 爬虫抓取网站时，经常会请求一些不存在的惯例路径（比如猜测性地访问 /docs、/about-us 等），如果这些路径不存在会产生大量 404。同时爬虫也很难判断一个网站里哪些页面是核心内容、哪些是无关紧要的辅助页。llms.txt 通过一份结构化清单，同时缓解了这两个问题。
实际效果怎么验证
不是所有 AI 爬虫都会读取 llms.txt，也没有官方数据证明它一定能提升被引用率，目前更多被当作一种“不添加没有坏处、添加了可能有帮助”的低成本动作。判断有没有效果，最实际的方式是持续观察网站日志里 AI 爬虫的抓取路径有没有变得更聚焦，以及 AI 回答里的引用是否更准确。