Google · 搜索
Googlebot 是什么？
Google Search 的主要爬虫。它遵守 robots.txt，且 Google 会公布其 IP 地址段。
- robots.txt token
Googlebot- 运营方
- 用途
- 搜索
- 是否遵守 robots.txt
- 是 运营方表示该爬虫遵守 robots.txt。
- 运营方是否提供文档
- 是，运营方在其自有页面上有相关说明。
- 公开的 IP 列表
- developers.google.com/static/search/apis/ipranges/googlebot.json
- 文档
- developers.google.com
如需拒绝 Gemini 训练用途，同时继续出现在 Search 中，请禁止 Google-Extended，而不是 Googlebot。
在整个网站上屏蔽 Googlebot
User-agent: Googlebot
Disallow: /
允许访问，但屏蔽私有路径
User-agent: Googlebot
Allow: /
Disallow: /admin/
Google 的其他爬虫
Google-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-AgentGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner