Anthropic · Pelatihan

Apa itu ClaudeBot?

Crawler Anthropic untuk mengumpulkan halaman publik yang mungkin digunakan untuk melatih model Claude. Bot ini mematuhi robots.txt, termasuk Crawl-delay.

Token robots.txt: ClaudeBot
Operator: Anthropic
Tujuan: Pelatihan
Mematuhi robots.txt: Ya Operator menyatakan bahwa bot ini mematuhi robots.txt.
Didokumentasikan oleh operator: Ya, di halaman milik operator sendiri.
Daftar IP yang dipublikasikan: claude.com/crawling/bots.json
Dokumentasi: support.claude.com

Blokir ClaudeBot dari seluruh situs Anda

robots.txt

User-agent: ClaudeBot
Disallow: /

Izinkan bot, tetapi kecualikan path privat

robots.txt

User-agent: ClaudeBot
Allow: /
Disallow: /admin/

Bot lain dari Anthropic

Claude-SearchBot Claude-User

Tambahkan ke robots.txt di generator →

Sumber

support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-ca