Anthropic · 用户请求
Claude-User 是什么？
当 Claude 用户请求某个页面时抓取该页面。与大多数由用户触发的抓取工具不同，它遵守 robots.txt；Anthropic 表示其所有爬虫都遵守该文件。
- robots.txt token
Claude-User- 运营方
- Anthropic
- 用途
- 用户请求
- 是否遵守 robots.txt
- 是 运营方表示该爬虫遵守 robots.txt。
- 运营方是否提供文档
- 是，运营方在其自有页面上有相关说明。
- 公开的 IP 列表
- claude.com/crawling/bots.json
- 文档
- support.claude.com
在整个网站上屏蔽 Claude-User
User-agent: Claude-User
Disallow: /
允许访问，但屏蔽私有路径
User-agent: Claude-User
Allow: /
Disallow: /admin/
此爬虫会为用户或代表用户行事的 agent 获取页面。多家运营方表示，这类请求可能不受 robots.txt 约束；如有需要，请查看上方说明，并在防火墙处实施限制。