ClaudeBotとは？

Claude モデルのトレーニングに使用される可能性のある公開ページを収集する、Anthropic のクローラーです。Crawl-delay を含め、robots.txt に従います。

robots.txtトークン

ClaudeBot

運営者

Anthropic

用途

学習

robots.txtへの準拠

●はい 運営者は、robots.txt に従うと明言しています。

運営者によるドキュメント

はい。運営者自身のページに記載されています。

公開IPリスト

claude.com/crawling/bots.json

ドキュメント

support.claude.com

サイト全体で ClaudeBot をブロックする

User-agent: ClaudeBot
Disallow: /

許可しつつ、非公開パスへのアクセスを防ぐ

User-agent: ClaudeBot
Allow: /
Disallow: /admin/

Anthropic のその他の bot

ジェネレーターで robots.txt に追加 →