Anthropic · Обучение

Что такое ClaudeBot?

Краулер Anthropic, который собирает общедоступные страницы, потенциально используемые для обучения моделей Claude. Он соблюдает robots.txt, включая Crawl-delay.

Токен robots.txt: ClaudeBot
Оператор: Anthropic
Назначение: Обучение
Соблюдает robots.txt: Да Оператор сообщает, что бот соблюдает robots.txt.
Описан оператором: Да, на страницах самого оператора.
Опубликованный список IP-адресов: claude.com/crawling/bots.json
Документация: support.claude.com

Заблокировать ClaudeBot на всём сайте

robots.txt

User-agent: ClaudeBot
Disallow: /

Разрешить доступ, но закрыть приватные пути

robots.txt

User-agent: ClaudeBot
Allow: /
Disallow: /admin/

Другие боты от Anthropic

Claude-SearchBot Claude-User

Добавить в генератор robots.txt →

Источники

support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-ca