有读者留言问我,怎么知道 AI 能不能打开自己的网站。

现在很多人买东西前先问 AI。AI 回答的时候,经常会先上网搜一圈,点开几个网页看看,再整理成答案。它要是点不开你的网站,你的网站写得再好,答案里也不会有你。

办法就一个,把网址丢给 AI,问它一个细节。打不开,再看卡在哪。卡在哪也不用自己琢磨,截图发给 AI,它会告诉你下一步怎么办。

一、把网址丢给 AI,问它一个细节

打开你平时用的 AI,把自己网站上一个网页的地址贴进去,让它读。

怎么问很重要。最好问一个只有真读过这一页才答得出的细节,比如"第三段讲的是什么""这个套餐标价多少"。最后再加一句,"打不开就直接说打不开"。

我用 ChatGPT 试了自己的一篇文章,不登录也能用。我问它,文章第五节的标题是什么,里面提到的一个下拉框有哪几个选项。它全答对了,跟原文一个字都不差。这就说明它真打开了。

ChatGPT 回答网页细节的实测截图 网址已打码

问一个只有读过原文才知道的细节,答对了才算真打开

二、打不开,一般卡在这三个地方

最常见的是下面三种。知道有这三个地方就够了,具体怎么查,交给 AI。

第一种,网站写了"不让 AI 进"。AI 派来看网页的程序,行话叫"爬虫"。网站根目录下有个叫 robots.txt 的小文件,相当于贴在门口的一张告示,写明哪些爬虫能进、哪些不能进。在浏览器地址栏输入你的网址,后面加上 /robots.txt 就能看到,比如abc.com /robots.txt 。

第二种,AI 进来了,看不到字。有些网站的文字,要等网页打开以后才一点点加载出来。人用浏览器看一切正常,AI 拿到的可能是一个只有框架、没有文字的空页面。价格、产品介绍放在这种地方,AI 就读不到。

第三种,被防火墙挡在门外。很多网站装了防机器人的保护,本来是防恶意刷流量的,结果连 AI 一起拦了。你自己用浏览器打开一切正常,robots.txt 里也看不出来。有个站长一直纳闷 AI 为什么从来不提他,查到最后才发现是这个原因,改完以后才开始被 AI 引用。网站用了 Cloudflare 的尤其要留意,它后台有几个跟 AI 有关的开关,我之前专门写过一篇。

三、查不明白,就截图问 AI

这些事以前得找技术。可是有些技术,服务器管得很好,SEO 基本没碰过,GEO 就更没听说过,跟他们说半天也未必说得清。

现在用不着了。robots.txt 里一堆英文看不懂,截图发给 AI,问它这个网站拦没拦 ChatGPT、Claude 这些 AI。防火墙后台的设置看不明白,也截图发过去,问它哪些会拦住 AI 的爬虫,要改哪一项,改了会不会影响网站安全。截图前把账号、密钥这类信息遮掉。

AI 自己做不了的,它也会告诉你怎么做。我让 ChatGPT 换成各家爬虫的身份去访问我的网站,它直接说做不到,表格里一栏栏都写着"未实测",没有编结果。接着它给了一段命令,让我在电脑上运行,再把结果贴回去给它看。

ChatGPT 说明无法执行爬虫身份测试的截图 网址已打码

它做不了的,会告诉你下一步怎么做

用 Codex、Claude Code 这类能在电脑上直接动手的 AI,更省事。把网址给它,让它查一查 AI 的爬虫能不能正常访问、网页里有没有文字,它会自己跑完,交回一张表。我拿自己官网试了,冒充 7 种爬虫的身份去访问,全部正常打开。

只有第一节那一步,还得在 ChatGPT、豆包这些聊天 AI 里测。你要知道的就是它们能不能打开,换别的工具测不出来。

让 AI 帮你看访问记录时,留个心眼。10 月中旬我看自己网站的记录,Claude、Perplexity 名下有一大堆失败的访问,点开全是在找存密码、密钥的文件,是黑客的扫描程序冒用了 AI 的名字。让 AI 把这类访问排除掉,不然你会以为网站在拦 AI。

真要改服务器的设置,再找技术也不迟。这时你手里已经有 AI 给的结论,直接告诉他改哪一项就行。