Google · 训练
GoogleOther 是什么？
Google 的通用爬虫，用于抓取 Search 之外的研究与开发内容。它遵循 robots.txt，并使用通用爬虫 IP 列表。
- robots.txt token
GoogleOther- 运营方
- 用途
- 训练
- 是否遵守 robots.txt
- 是 运营方表示该爬虫遵守 robots.txt。
- 运营方是否提供文档
- 是，运营方在其自有页面上有相关说明。
- 公开的 IP 列表
- developers.google.com/static/crawling/ipranges/common-crawlers.json
- 文档
- developers.google.com
在整个网站上屏蔽 GoogleOther
User-agent: GoogleOther
Disallow: /
允许访问，但屏蔽私有路径
User-agent: GoogleOther
Allow: /
Disallow: /admin/
Google 的其他爬虫
GooglebotGoogle-ExtendedGoogle-CloudVertexBotGoogle-AgentGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner