Mediapartners-Google · AdsBot 通配符差异 · /ads.txt 抓取放行核验
粘贴站点 robots.txt 规则,逐项核查 Mediapartners-Google、AdsBot-Google 与 /ads.txt 是否畅通,防止测试环境遗留规则导致广告空白或收益受损。
Mediapartners-Google 与 AdsBot-Google 的规则继承差异不少站长在上线后发现 AdSense 填充率骤降或后台提示 ads.txt 抓取失败,根源往往在于不同 Google 爬虫对 User-agent: * 的处理方式不同:
Mediapartners-Google(AdSense 内容语义爬虫):若未单独声明分组,会回退继承 User-agent: * 规则;显式添加 Allow: / 可确保广告匹配不受后台目录屏蔽规则波及。AdsBot-Google(落地页质量检查爬虫):按照 Google 官方规范忽略通配符 *,仅受显式点名的 AdsBot-Google 规则约束。/ads.txt 必须公开可读:任何拦截 /ads.txt 的规则都会阻断买方平台验证您的 16 位 pub- 席位。本工具基于公开爬虫规范提供技术排查参考,不构成 Google 官方过审承诺(guidance, not a Google approval guarantee)。
AdSense 爬虫无法抓取正文语义进行上下文广告匹配,容易造成广告位空白、低单价公益替补展示或新站审核受阻。
不会。Google 文档明确指出 AdsBot-Google 与 AdsBot-Google-Mobile 会忽略 * 通配符分组,只有单独指名的规则才会生效。
Google 与各家程序化 SSP 需要免登录抓取根目录 /ads.txt 以核验 DIRECT 与 RESELLER 授权,被拦截会触发后台收入风险警告。
不是。爬虫畅通只是技术前提,最终是否获批仍取决于网站原创内容与 Google 政策团队审核。