XML Sitemap 是一份使用 XML 格式列出 URL 的文件,通常命名为 sitemap.xml,但也可以使用其他合法文件名。网站可以有多份 Sitemap,并通过 Sitemap Index 集中管理。文件中应优先列出希望搜索引擎发现和展示的绝对规范 URL,而不是机械地收录网站产生的所有地址。对于页面较多、层级较深或内链不足的网站,Sitemap 可以补充搜索引擎发现页面的渠道。

不保证被抓取、索引或排名

提交 Sitemap 不代表其中的 URL 一定会被抓取或索引,也不会直接提升排名。Google 会把 Sitemap 中的 URL 当作发现和规范化线索,最终是否抓取和索引还取决于页面是否可访问、是否重复、是否符合索引要求等因素。Google 忽略 priority 和 changefreq 字段,但如果 lastmod 能持续准确地反映页面正文、结构化数据或重要链接的实质更新,Google 可能会使用该信息。

和 robots.txt 是互补关系

XML Sitemap 提供的是网站希望搜索引擎发现的首选 URL,robots.txt 管理的是合规爬虫能否抓取某些路径。常见做法是在 robots.txt 中使用 Sitemap 指令声明 Sitemap 的完整地址,也可以直接在 Search Console 等站长工具中提交。把 URL 放进 Sitemap 不会绕过 robots.txt 的禁止抓取规则,两者功能不同,不能互相替代。