Anthropic · ユーザーによる取得
Claude-Userとは？
Claude ユーザーがリクエストしたページを取得します。多くのユーザー起点のページ取得とは異なり、robots.txt に従います。Anthropic によると、同社の bot はすべて robots.txt に従います。
- robots.txtトークン
Claude-User- 運営者
- Anthropic
- 用途
- ユーザーによる取得
- robots.txtへの準拠
- はい 運営者は、robots.txt に従うと明言しています。
- 運営者によるドキュメント
- はい。運営者自身のページに記載されています。
- 公開IPリスト
- claude.com/crawling/bots.json
- ドキュメント
- support.claude.com
サイト全体で Claude-User をブロックする
User-agent: Claude-User
Disallow: /
許可しつつ、非公開パスへのアクセスを防ぐ
User-agent: Claude-User
Allow: /
Disallow: /admin/
この bot は、ユーザー本人または代理で動作するエージェントのためにページを取得します。こうしたリクエストには robots.txt が適用されない場合があると複数の運営者が説明しています。必要に応じて上記の説明を確認し、ファイアウォールで制御してください。