Anthropic · Pagsasanay

Ano ang ClaudeBot?

Crawler ng Anthropic para mangolekta ng mga pampublikong page na maaaring gamitin sa pagsasanay ng mga Claude model. Sumusunod ito sa robots.txt, pati sa Crawl-delay.

robots.txt token: ClaudeBot
Operator: Anthropic
Layunin: Pagsasanay
Sumusunod sa robots.txt: Oo Ayon sa operator, sumusunod ito sa robots.txt.
May dokumentasyon mula sa operator: Oo, sa mga page mismo ng operator.
Inilathalang IP list: claude.com/crawling/bots.json
Dokumentasyon: support.claude.com

I-block ang ClaudeBot sa buong site mo

robots.txt

User-agent: ClaudeBot
Disallow: /

Payagan ito, pero ilayo sa mga pribadong path

robots.txt

User-agent: ClaudeBot
Allow: /
Disallow: /admin/

Iba pang bot mula sa Anthropic

Claude-SearchBot Claude-User

Idagdag ito sa robots.txt sa generator →

Mga source

support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-ca