AI 爬虫

AI 爬虫是各家 AI 公司派出来访问网页内容的自动化程序的统称，实际上并不是同一类东西，用途差别很大，配置权限之前最好先分清楚具体是哪一种。

三类爬虫，用途不同

第一类是训练爬虫，比如 OpenAI 的 GPTBot，专门批量抓取网页内容用于训练模型，抓取的内容会成为未来模型的一部分知识；第二类是搜索索引爬虫，比如 OpenAI 的 OAI-SearchBot，为 ChatGPT 的实时搜索、问答功能建索引，抓取的内容用于回答用户当下的提问，不用于训练；第三类是用户触发访问代理，当用户让 ChatGPT、Claude 这类工具直接打开某个具体链接时，会实时发出一次请求抓取那个页面，只为这一次对话服务。三者名字里都带着同一家公司，但用途完全不同，网站如果想"允许被实时引用，但不想被拿去训练"，需要针对训练爬虫和搜索索引爬虫分别在 robots.txt 里配置权限，不能笼统一刀切。

容易被误伤

不少网站托管平台（包括 Cloudflare 等 CDN 服务）出于安全或反爬考虑，默认会拦截一部分自动化程序的访问，这些拦截规则有时会误伤正常的 AI 爬虫，导致网站在爬虫层面就已经被排除在 AI 搜索之外，而站长自己完全不知情。定期检查安全设置里有没有误拦截 AI 爬虫，是容易被忽略但影响很大的一步。

中英文站点的差异

不同 AI 公司的爬虫活跃度在中英文站点上表现差别很大，某些爬虫可能在英文内容上抓取频繁，在中文内容上访问量很低，这和模型训练语料的构成、检索合作方（比如中文搜索走的是哪家的索引）都有关系，判断爬虫行为不能直接套用海外案例的经验。