AI 爬虫来我网站狂吃 404，我用一个文件把它们喂饱了

前几天看 Cloudflare 后台，一个数字把我吓了一跳：AI 爬虫的失败请求暴涨 1500%，过去 24 小时 94 个请求里，48 个失败了。

一半以上的请求在失败。我的第一反应是：出事了，是不是哪次部署把页面搞坏了？

排查完发现，真相完全相反。这不是事故，是机会。分享一下过程，你的网站大概率也有同样的问题。

一、先排除自己的问题

失败请求的常见原因是页面挂了。所以第一步，我把 sitemap 里全部 82 个页面逐个测了一遍状态码：全部 200，没有一个坏页面。标签页、RSS、www 跳转也全部正常。

网站本身是健康的。那这 48 个失败是怎么来的？

二、切到 4xx 视图，真相出来了

Cloudflare 的 AI Crawl Control 面板里有个「指标」页，可以按状态码筛选请求。切到 4xx 视图，失败大户排行一目了然：

• GPTBot：9 次
• 百度：9 次
• OAI-SearchBot：7 次
• ChatGPT-User：6 次
• BingBot：5 次
• 其他爬虫：12 次

看出问题了吗？失败排行前几名里，OpenAI 系的爬虫占了 22 次。而且所有爬虫的 404 集中在同一个时间点，像是约好了一起来撞门。

它们在找什么？

三、AI 爬虫有自己的「惯例路径」

对照请求路径，答案很清楚。AI 爬虫访问一个网站时，除了抓内容页，还会按惯例请求几个标准文件：

• /llms.txt：给 AI 爬虫的站点说明书，GPTBot、OAI-SearchBot 都会主动找它；
• /favicon.ico：老牌惯例路径，几乎所有爬虫都会请求；
• /apple-touch-icon.png：同上。

我的网站一个都没有。于是每个来访的 AI 爬虫，都在这些路径上吃了一嘴 404。

更有意思的是 ChatGPT-User 的 6 次失败。这个爬虫不是定时任务，它只在真实用户在 ChatGPT 里访问你的网站时才出动。也就是说，真的有人在让 ChatGPT 读我的网站，但 AI 给出的 URL 是过时的或者编造的（AI 幻觉 URL 很常见），落了空。

用户来了，门牌号错了。 这才是 404 里最扎心也最有价值的信号。

四、用一个文件把它们喂饱：llms.txt

修复方案的核心，是补上那个 AI 爬虫最想要的文件：llms.txt。

它是什么？一份放在网站根目录的 Markdown 文件（llmstxt.org 提出的标准），用途一句话就能说清：告诉 AI 你的网站是干什么的、最重要的内容在哪。相当于你主动递给 AI 一份引用指南，而不是让它自己瞎猜。

格式非常简单：

# 网站名称

> 一段话说清网站定位

## 核心内容
- [页面标题](URL): 一句话说明
- [页面标题](URL): 一句话说明

## 服务
- [页面标题](URL): 一句话说明

写的时候有三个要点：

1. 只放最重要的：这不是 sitemap，不用求全。放你最希望 AI 引用的页面：核心工具、代表作文章、服务入口；
2. 每个链接配一句话说明：AI 靠这句话理解页面内容，写得越具体，被正确引用的概率越高；
3. 定位描述放最前面：文件开头那段引用块，很可能成为 AI 介绍你网站时的直接素材，认真写。

顺手把 /favicon.ico 和 /apple-touch-icon.png 也处理了：不想做图标文件的话，加两条 301 重定向指到现有的 SVG logo 就行，让爬虫别再撞 404。

五、AI 爬虫的 404，是免费的需求调研

这次排查给我的最大启发是：别把爬虫的 404 当噪音，它是 AI 亲口告诉你"我想要什么"。

• 它们集体抓 llms.txt，说明 AI 引擎正在建立一套新的站点理解机制，早参与早受益；
• ChatGPT-User 撞 404，说明有真实用户在 AI 里找你，这是需求信号；
• 失败暴涨往往不是坏事，我这次的暴涨恰恰是因为之前提交了 Bing、开了 IndexNow，爬虫总量涨了 70%，AI 终于开始大量光顾了，只是接待没跟上。

做 GEO 的完整逻辑链，到这里又多了一环：让 AI 能抓到你，让内容值得引用，让全网反复提及你，以及，别让远道而来的 AI 吃闭门羹。

花十分钟写一份 llms.txt，可能是你今天能做的性价比最高的 GEO 动作。