Что такое Claude-SearchBot?

Краулер Anthropic для поиска в Claude. Он соблюдает robots.txt и использует отдельный токен, отличный от ClaudeBot.

Токен robots.txt

Claude-SearchBot

Оператор

Anthropic

Назначение

Поиск

Соблюдает robots.txt

●Да Оператор сообщает, что бот соблюдает robots.txt.

Описан оператором

Да, на страницах самого оператора.

Опубликованный список IP-адресов

claude.com/crawling/bots.json

Документация

support.claude.com

Заблокировать Claude-SearchBot на всём сайте

User-agent: Claude-SearchBot
Disallow: /

Разрешить доступ, но закрыть приватные пути

User-agent: Claude-SearchBot
Allow: /
Disallow: /admin/

Другие боты от Anthropic

Добавить в генератор robots.txt →