Mediapartners-Google · AdsBot 通配符差异 · /ads.txt 抓取放行核验

Robots.txt 广告爬虫(Mediapartners-Google / AdsBot)审计工具

粘贴站点 robots.txt 规则,逐项核查 Mediapartners-Google、AdsBot-Google 与 /ads.txt 是否畅通,防止测试环境遗留规则导致广告空白或收益受损。

一键加载测试样本:

打通爬虫权限后,进一步追踪竞品站群与商业模式

确认 Mediapartners-Google 与 /ads.txt 放行无误后,可搭配 AdSense 发布商反查检测器 或 发布商域名库(/id) 排查关联站点。 如需针对任意网站生成含外部信源引用的 30 节拆解报告,可选购 $19 入门积分包(120 永久积分 · 24 份报告) 或 Pro 月付($49/月 · 400 积分)。

Mediapartners-Google 与 AdsBot-Google 的规则继承差异

不少站长在上线后发现 AdSense 填充率骤降或后台提示 ads.txt 抓取失败,根源往往在于不同 Google 爬虫对 User-agent: * 的处理方式不同:

  • Mediapartners-Google(AdSense 内容语义爬虫):若未单独声明分组,会回退继承 User-agent: * 规则;显式添加 Allow: / 可确保广告匹配不受后台目录屏蔽规则波及。
  • AdsBot-Google(落地页质量检查爬虫):按照 Google 官方规范忽略通配符 *,仅受显式点名的 AdsBot-Google 规则约束。
  • 根目录 /ads.txt 必须公开可读:任何拦截 /ads.txt 的规则都会阻断买方平台验证您的 16 位 pub- 席位。

本工具基于公开爬虫规范提供技术排查参考,不构成 Google 官方过审承诺(guidance, not a Google approval guarantee)。

常见问题解答

屏蔽 Mediapartners-Google 会导致什么后果?

AdSense 爬虫无法抓取正文语义进行上下文广告匹配,容易造成广告位空白、低单价公益替补展示或新站审核受阻。

AdsBot-Google 会遵守 User-agent: * 通配符吗?

不会。Google 文档明确指出 AdsBot-Google 与 AdsBot-Google-Mobile 会忽略 * 通配符分组,只有单独指名的规则才会生效。

为什么必须显式放行 /ads.txt?

Google 与各家程序化 SSP 需要免登录抓取根目录 /ads.txt 以核验 DIRECT 与 RESELLER 授权,被拦截会触发后台收入风险警告。

通过 robots.txt 检查是否等于保证 AdSense 过审?

不是。爬虫畅通只是技术前提,最终是否获批仍取决于网站原创内容与 Google 政策团队审核。