Каталог AI-краулеров и агентов
Все AI-боты, существование которых нам удалось подтвердить: токен для robots.txt, цель сбора данных, сведения о том, заявляет ли оператор о соблюдении правил, и способ проверить, что запрос действительно поступил от этого бота. Токены, известные только по реестру ai.robots.txt, составленному сообществом, отмечены на соответствующих страницах.
| Бот | Токен | Назначение | Соблюдает robots.txt | Проверка |
|---|---|---|---|---|
| GPTBot | GPTBot | Обучение | Да | Список IP-адресов |
| OAI-SearchBot | OAI-SearchBot | Поиск | Да | Список IP-адресов |
| ChatGPT-User | ChatGPT-User | Запросы пользователей | Нет | Список IP-адресов |
| OAI-AdsBot | OAI-AdsBot | Реклама | Не указано | Список IP-адресов |
| ChatGPT agent | Нет токена | Агенты | Не указано | Подписанные запросы |
| ClaudeBot | ClaudeBot | Обучение | Да | Список IP-адресов |
| Claude-SearchBot | Claude-SearchBot | Поиск | Да | Список IP-адресов |
| Claude-User | Claude-User | Запросы пользователей | Да | Список IP-адресов |
| Googlebot | Googlebot | Поиск | Да | Список IP-адресов |
| Google-Extended | Google-Extended | Обучение | Да | — |
| Google-CloudVertexBot | Google-CloudVertexBot | Поиск | Да | Список IP-адресов |
| GoogleOther | GoogleOther | Обучение | Да | Список IP-адресов |
| Google-Agent | Google-Agent | Агенты | Нет | Список IP-адресов |
| Google-GeminiNotebook | Google-GeminiNotebook | Запросы пользователей | Нет | Список IP-адресов |
| Gemini Spark | Нет токена | Агенты | Не указано | — |
| Gemini-Deep-Research | Gemini-Deep-Research | Запросы пользователей | Не указано | — |
| GoogleAgent-Mariner | GoogleAgent-Mariner | Агенты | Не указано | — |
| Applebot | Applebot | Поиск | Да | Список IP-адресов |
| Applebot-Extended | Applebot-Extended | Обучение | Да | — |
| PerplexityBot | PerplexityBot | Поиск | Да | Список IP-адресов |
| Perplexity-User | Perplexity-User | Запросы пользователей | Нет | Список IP-адресов |
| meta-externalagent | meta-externalagent | Обучение | Да | — |
| meta-webindexer | meta-webindexer | Поиск | Да | — |
| meta-externalfetcher | meta-externalfetcher | Запросы пользователей | Нет | — |
| meta-externalads | meta-externalads | Реклама | Да | — |
| facebookexternalhit | facebookexternalhit | Запросы пользователей | Нет | — |
| Muse | Нет токена | Агенты | Не указано | — |
| Amazonbot | Amazonbot | Обучение | Да | Список IP-адресов |
| Amzn-SearchBot | Amzn-SearchBot | Поиск | Да | Список IP-адресов |
| Amzn-User | Amzn-User | Запросы пользователей | Нет | Список IP-адресов |
| DuckAssistBot | DuckAssistBot | Поиск | Да | Список IP-адресов |
| MistralAI-User | MistralAI-User | Запросы пользователей | Да | Список IP-адресов |
| MistralAI-Index | MistralAI-Index | Поиск | Да | Список IP-адресов |
| MistralAI-Training | MistralAI-Training | Обучение | Да | — |
| CCBot | CCBot | Обучение | Да | Список IP-адресов |
| cohere-ai | cohere-ai | Запросы пользователей | Не указано | — |
| Bytespider | Bytespider | Обучение | Нет | — |
| YouBot | YouBot | Поиск | Не указано | — |
| Diffbot | Diffbot | Поиск | Не указано | — |
| Timpibot | Timpibot | Обучение | Не указано | — |
Что означают назначения
- Обучение
- Собирает страницы для обучения моделей или общего исследовательского краулинга. Google-Extended и Applebot-Extended — управляющие токены: сами они ничего не загружают.
- Поиск
- Индексирует страницы для поискового продукта — от Google Search до AI-сервисов ответов, таких как поиск ChatGPT, Perplexity и DuckAssist. Если заблокировать такого бота, ваш сайт не попадёт в соответствующий продукт.
- Запросы пользователей
- Загружает страницу по запросу пользователя в чате или инструменте. Некоторые операторы заявляют, что robots.txt может не распространяться на такие запросы.
- Агенты
- Просматривает сайты и выполняет действия от имени пользователя, часто в полноценном браузере. У многих таких агентов нет токена, и определить их можно только по подписи, если это вообще возможно.
- Реклама
- Проверяет целевые страницы рекламы, отправленные рекламодателями. Такие боты не включены в генератор robots.txt.
Убедитесь, что бот — тот, за кого себя выдаёт
Строку User-Agent подделать ничего не стоит. Большинство крупных операторов публикуют диапазоны IP-адресов своих ботов в файлах JSON; в таблице они помечены как список IP-адресов. Сравните адрес запроса со списком для этого токена и считайте совпадение только по имени неподтверждённым.
Некоторые операторы также описывают обратный DNS. Например, Common Crawl указывает, что хосты CCBot разрешаются в *.crawl.commoncrawl.org; прежде чем доверять хосту, убедитесь, что его имя разрешается обратно в тот же адрес.
Агенты всё чаще подписывают запросы с помощью HTTP Message Signatures (RFC 9421) в соответствии с проектом Web Bot Auth. В запросе оператор указывается в Signature-Agent, а проверить подпись можно с помощью открытых ключей по адресу /.well-known/http-message-signatures-directory на домене оператора. Действительная подпись подтверждает оператора, но не пользователя, который стоит за запросом, и не его права.
Создать robots.txt по этому списку →
Вопросы об ИИ-краулерах
Какие ИИ-краулеры игнорируют robots.txt?
Согласно документации самих операторов, ChatGPT-User, Perplexity-User, Google-Agent, Google-GeminiNotebook, Amzn-User, meta-externalfetcher и facebookexternalhit могут не соблюдать его, в основном потому, что загрузку инициировал пользователь. По сообщениям сообщества, Bytespider тоже его не соблюдает.
Чем отличаются GPTBot, OAI-SearchBot и ChatGPT-User?
GPTBot собирает страницы для обучения моделей OpenAI, OAI-SearchBot индексирует страницы для поиска в ChatGPT, а ChatGPT-User загружает страницу по запросу пользователя. Первые два соблюдают robots.txt; OpenAI указывает, что его правила могут не распространяться на третьего.
У каких ИИ-агентов нет токена для robots.txt?
У ChatGPT agent, Gemini Spark и Muse от Meta. ChatGPT agent можно проверить по подписи Web Bot Auth с домена https://chatgpt.com. В локальном режиме Chrome Gemini Spark выглядит как браузер пользователя, а для Muse не опубликована строка User-Agent.
Как проверить, что запрос действительно пришёл от Googlebot?
Google публикует диапазоны IP-адресов Googlebot в файле JSON, ссылка на который есть в соответствующей записи этого справочника. Сверьте адрес запроса с этими диапазонами, а не доверяйте строке User-Agent.
Откуда взят этот список ИИ-ботов?
В каждой записи есть ссылка на документацию оператора, если она доступна; токены без документации взяты из реестра сообщества ai.robots.txt. Мы не включили DeepSeekBot, Kimi-User, Manus-User, NovaAct, Devin и PetalBot, поскольку не нашли документацию их операторов. Список проверен 1 октября 2026 года.