Google · Agent

Google-Agent 是什么？

当用户要求 Google 基础设施上的智能体执行操作时，该爬虫会抓取网页。Google 表示，由用户触发的抓取器通常会忽略 robots.txt。

robots.txt token: Google-Agent
运营方: Google
用途: Agent
是否遵守 robots.txt: 否运营方表示 robots.txt 可能不适用，或社区报告称该爬虫会忽略它。
运营方是否提供文档: 是，运营方在其自有页面上有相关说明。
公开的 IP 列表: developers.google.com/static/crawling/ipranges/user-triggered-agents.json
文档: developers.google.com

Google 正在试验用于这些请求的 Web Bot Auth 身份标识：https://agent.bot.goog。

在整个网站上屏蔽 Google-Agent

robots.txt

User-agent: Google-Agent
Disallow: /

robots.txt

User-agent: Google-Agent
Allow: /
Disallow: /admin/

此爬虫会为用户或代表用户行事的 agent 获取页面。多家运营方表示，这类请求可能不受 robots.txt 约束；如有需要，请查看上方说明，并在防火墙处实施限制。

developers.google.com/crawling/docs/crawlers-fetchers/google-agent
developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers