Google · 搜索
Google-CloudVertexBot 是什么？
当网站所有者要求 Google 抓取网站以构建 Vertex AI Agents 时，该爬虫会执行抓取。它遵循 robots.txt，并使用 Google 通用爬虫 IP 段。
- robots.txt token
Google-CloudVertexBot- 运营方
- 用途
- 搜索
- 是否遵守 robots.txt
- 是 运营方表示该爬虫遵守 robots.txt。
- 运营方是否提供文档
- 是，运营方在其自有页面上有相关说明。
- 公开的 IP 列表
- developers.google.com/static/crawling/ipranges/common-crawlers.json
- 文档
- developers.google.com
在整个网站上屏蔽 Google-CloudVertexBot
User-agent: Google-CloudVertexBot
Disallow: /
允许访问，但屏蔽私有路径
User-agent: Google-CloudVertexBot
Allow: /
Disallow: /admin/
Google 的其他爬虫
GooglebotGoogle-ExtendedGoogleOtherGoogle-AgentGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner