ClaudeBot là gì?

Crawler của Anthropic dùng để thu thập các trang công khai có thể được sử dụng để huấn luyện các model Claude. Bot này tuân thủ robots.txt, bao gồm cả Crawl-delay.

Token robots.txt

ClaudeBot

Nhà vận hành

Anthropic

Mục đích

Huấn luyện

Tuân theo robots.txt

●Có Nhà vận hành cho biết bot này tuân thủ robots.txt.

Có tài liệu từ nhà vận hành

Có, trên các trang của chính nhà vận hành.

Danh sách IP được công bố

claude.com/crawling/bots.json

Tài liệu

support.claude.com

Chặn ClaudeBot trên toàn bộ trang web

User-agent: ClaudeBot
Disallow: /

Cho phép bot này, nhưng không cho truy cập các đường dẫn riêng tư

User-agent: ClaudeBot
Allow: /
Disallow: /admin/

Các bot khác của Anthropic

Thêm bot này vào robots.txt trong trình tạo →