Anthropic · Eğitim

ClaudeBot nedir?

Anthropic'in, Claude modellerini eğitmek için kullanılabilecek herkese açık sayfaları toplama amaçlı crawler'ı. Crawl-delay dahil robots.txt kurallarına uyar.

robots.txt token'ı: ClaudeBot
Operatör: Anthropic
Amaç: Eğitim
robots.txt kurallarına uyar: Evet Operatör, robots.txt kurallarına uyduğunu belirtiyor.
Operatör tarafından belgelenmiş: Evet, operatörün kendi sayfalarında.
Yayımlanmış IP listesi: claude.com/crawling/bots.json
Dokümantasyon: support.claude.com

ClaudeBot botunu tüm sitenizde engelleyin

robots.txt

User-agent: ClaudeBot
Disallow: /

İzin verin, ancak özel yolları engelleyin

robots.txt

User-agent: ClaudeBot
Allow: /
Disallow: /admin/

Anthropic tarafından sunulan diğer botlar

Claude-SearchBot Claude-User

Oluşturucudaki robots.txt dosyasına ekleyin →

Kaynaklar

support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-ca