AdSense robots.txt 配置与索引指南

AdSense robots.txt 配置会直接影响审核抓取路径。若规则误封信任页、工具页或多语言页面，通过风险会上升。本文给出可执行的索引配置顺序。

优先设置的 robots 规则

1. 允许首页、核心工具页与信任页抓取。
2. 封锁账号页、回调页等私有路径。
3. 在 robots.txt 中声明绝对路径 sitemap URL。
4. 避免过宽 disallow 误伤公开内容。

sitemap 与 hreflang 的配合

sitemap 告诉爬虫哪些 URL 重要，hreflang 告诉爬虫哪个语言版本对应哪类用户。三者必须一致，公开页面才会被稳定发现。

常见索引错误

• 误封 /blog 或 /tools。
• sitemap 里保留重定向或 404 URL。
• 多语言页面缺少 sitemap 或 alternates 对应项。
• 路由改版后忘记清理旧 disallow 规则。

上线前建议依次用 core pages checker 与 站点审计 复核。

robots.txt 配置错误会导致 AdSense 拒绝吗？

会。若误拦信任页或关键内容路径，审核方看不到应有信号。

sitemap 需要放所有 URL 吗？

不需要。只保留 canonical、公开且可索引的页面。

提交前要重点核对什么？

核对 robots 规则、sitemap 新鲜度、多语言 canonical 一致性，再跑最终审计。