Anthropic · Запросы пользователей
Что такое Claude-User?
Получает страницу по запросу пользователя Claude. В отличие от большинства загрузчиков, работающих по запросу пользователя, он соблюдает robots.txt: Anthropic сообщает, что это делают все её боты.
- Токен robots.txt
Claude-User- Оператор
- Anthropic
- Назначение
- Запросы пользователей
- Соблюдает robots.txt
- Да Оператор сообщает, что бот соблюдает robots.txt.
- Описан оператором
- Да, на страницах самого оператора.
- Опубликованный список IP-адресов
- claude.com/crawling/bots.json
- Документация
- support.claude.com
Заблокировать Claude-User на всём сайте
User-agent: Claude-User
Disallow: /
Разрешить доступ, но закрыть приватные пути
User-agent: Claude-User
Allow: /
Disallow: /admin/
Этот бот получает страницы по запросу пользователя или действующего от его имени агента. Несколько операторов сообщают, что правила robots.txt могут не распространяться на такие запросы. Проверьте примечание выше и, если это важно, настройте блокировку на межсетевом экране.
Другие боты от Anthropic
Добавить в генератор robots.txt →