Google-Extended 是什么？

这是一个控制 token，而不是爬虫：实际抓取由 Googlebot 执行，Google-Extended 则决定这些内容是否可用于 Gemini 训练和 grounding。

robots.txt token

Google-Extended

运营方

Google

用途

训练

是否遵守 robots.txt

●是 运营方表示该爬虫遵守 robots.txt。

运营方是否提供文档

是，运营方在其自有页面上有相关说明。

文档

developers.google.com

它没有自己的 user agent，因此不会出现在访问日志中。

在整个网站上屏蔽 Google-Extended

User-agent: Google-Extended
Disallow: /

允许访问，但屏蔽私有路径

User-agent: Google-Extended
Allow: /
Disallow: /admin/

Google 的其他爬虫

在生成器中将其添加到 robots.txt →