--- title: "Каталог AI-ботов: 40 краулеров, токены и списки IP · DotsAgent" description: "40 AI-краулеров и агентов от OpenAI, Anthropic, Google, Apple, Meta, Amazon и других компаний: токен для robots.txt, назначение, соблюдение правил и список IP-адресов." url: https://dotsagent.io/ru/agent-ready/bots --- 40 краулеров и агентов # Каталог AI-краулеров и агентов Все AI-боты, существование которых нам удалось подтвердить: токен для robots.txt, цель сбора данных, сведения о том, заявляет ли оператор о соблюдении правил, и способ проверить, что запрос действительно поступил от этого бота. Токены, известные только по реестру ai.robots.txt, составленному сообществом, отмечены на соответствующих страницах. | Бот | Токен | Назначение | Соблюдает robots.txt | Проверка | | --- | --- | --- | --- | --- | | [GPTBot](https://dotsagent.io/ru/agent-ready/bots/gptbot)OpenAI | `GPTBot` | Обучение | — | Список IP-адресов | | [OAI-SearchBot](https://dotsagent.io/ru/agent-ready/bots/oai-searchbot)OpenAI | `OAI-SearchBot` | Поиск | — | Список IP-адресов | | [ChatGPT-User](https://dotsagent.io/ru/agent-ready/bots/chatgpt-user)OpenAI | `ChatGPT-User` | Запросы пользователей | — | Список IP-адресов | | [OAI-AdsBot](https://dotsagent.io/ru/agent-ready/bots/oai-adsbot)OpenAI | `OAI-AdsBot` | Реклама | — | Список IP-адресов | | [ChatGPT agent](https://dotsagent.io/ru/agent-ready/bots/chatgpt-agent)OpenAI | Нет токена | Агенты | — | Подписанные запросы | | [ClaudeBot](https://dotsagent.io/ru/agent-ready/bots/claudebot)Anthropic | `ClaudeBot` | Обучение | — | Список IP-адресов | | [Claude-SearchBot](https://dotsagent.io/ru/agent-ready/bots/claude-searchbot)Anthropic | `Claude-SearchBot` | Поиск | — | Список IP-адресов | | [Claude-User](https://dotsagent.io/ru/agent-ready/bots/claude-user)Anthropic | `Claude-User` | Запросы пользователей | — | Список IP-адресов | | [Googlebot](https://dotsagent.io/ru/agent-ready/bots/googlebot)Google | `Googlebot` | Поиск | — | Список IP-адресов | | [Google-Extended](https://dotsagent.io/ru/agent-ready/bots/google-extended)Google | `Google-Extended` | Обучение | — | — | | [Google-CloudVertexBot](https://dotsagent.io/ru/agent-ready/bots/google-cloudvertexbot)Google | `Google-CloudVertexBot` | Поиск | — | Список IP-адресов | | [GoogleOther](https://dotsagent.io/ru/agent-ready/bots/googleother)Google | `GoogleOther` | Обучение | — | Список IP-адресов | | [Google-Agent](https://dotsagent.io/ru/agent-ready/bots/google-agent)Google | `Google-Agent` | Агенты | — | Список IP-адресов | | [Google-GeminiNotebook](https://dotsagent.io/ru/agent-ready/bots/google-gemininotebook)Google | `Google-GeminiNotebook` | Запросы пользователей | — | Список IP-адресов | | [Gemini Spark](https://dotsagent.io/ru/agent-ready/bots/gemini-spark)Google | Нет токена | Агенты | — | — | | [Gemini-Deep-Research](https://dotsagent.io/ru/agent-ready/bots/gemini-deep-research)Google | `Gemini-Deep-Research` | Запросы пользователей | — | — | | [GoogleAgent-Mariner](https://dotsagent.io/ru/agent-ready/bots/googleagent-mariner)Google | `GoogleAgent-Mariner` | Агенты | — | — | | [Applebot](https://dotsagent.io/ru/agent-ready/bots/applebot)Apple | `Applebot` | Поиск | — | Список IP-адресов | | [Applebot-Extended](https://dotsagent.io/ru/agent-ready/bots/applebot-extended)Apple | `Applebot-Extended` | Обучение | — | — | | [PerplexityBot](https://dotsagent.io/ru/agent-ready/bots/perplexitybot)Perplexity | `PerplexityBot` | Поиск | — | Список IP-адресов | | [Perplexity-User](https://dotsagent.io/ru/agent-ready/bots/perplexity-user)Perplexity | `Perplexity-User` | Запросы пользователей | — | Список IP-адресов | | [meta-externalagent](https://dotsagent.io/ru/agent-ready/bots/meta-externalagent)Meta | `meta-externalagent` | Обучение | — | — | | [meta-webindexer](https://dotsagent.io/ru/agent-ready/bots/meta-webindexer)Meta | `meta-webindexer` | Поиск | — | — | | [meta-externalfetcher](https://dotsagent.io/ru/agent-ready/bots/meta-externalfetcher)Meta | `meta-externalfetcher` | Запросы пользователей | — | — | | [meta-externalads](https://dotsagent.io/ru/agent-ready/bots/meta-externalads)Meta | `meta-externalads` | Реклама | — | — | | [facebookexternalhit](https://dotsagent.io/ru/agent-ready/bots/facebookexternalhit)Meta | `facebookexternalhit` | Запросы пользователей | — | — | | [Muse](https://dotsagent.io/ru/agent-ready/bots/muse)Meta | Нет токена | Агенты | — | — | | [Amazonbot](https://dotsagent.io/ru/agent-ready/bots/amazonbot)Amazon | `Amazonbot` | Обучение | — | Список IP-адресов | | [Amzn-SearchBot](https://dotsagent.io/ru/agent-ready/bots/amzn-searchbot)Amazon | `Amzn-SearchBot` | Поиск | — | Список IP-адресов | | [Amzn-User](https://dotsagent.io/ru/agent-ready/bots/amzn-user)Amazon | `Amzn-User` | Запросы пользователей | — | Список IP-адресов | | [DuckAssistBot](https://dotsagent.io/ru/agent-ready/bots/duckassistbot)DuckDuckGo | `DuckAssistBot` | Поиск | — | Список IP-адресов | | [MistralAI-User](https://dotsagent.io/ru/agent-ready/bots/mistralai-user)Mistral | `MistralAI-User` | Запросы пользователей | — | Список IP-адресов | | [MistralAI-Index](https://dotsagent.io/ru/agent-ready/bots/mistralai-index)Mistral | `MistralAI-Index` | Поиск | — | Список IP-адресов | | [MistralAI-Training](https://dotsagent.io/ru/agent-ready/bots/mistralai-training)Mistral | `MistralAI-Training` | Обучение | — | — | | [CCBot](https://dotsagent.io/ru/agent-ready/bots/ccbot)Common Crawl | `CCBot` | Обучение | — | Список IP-адресов | | [cohere-ai](https://dotsagent.io/ru/agent-ready/bots/cohere-ai)Cohere | `cohere-ai` | Запросы пользователей | — | — | | [Bytespider](https://dotsagent.io/ru/agent-ready/bots/bytespider)ByteDance | `Bytespider` | Обучение | — | — | | [YouBot](https://dotsagent.io/ru/agent-ready/bots/youbot)You.com | `YouBot` | Поиск | — | — | | [Diffbot](https://dotsagent.io/ru/agent-ready/bots/diffbot)Diffbot | `Diffbot` | Поиск | — | — | | [Timpibot](https://dotsagent.io/ru/agent-ready/bots/timpibot)Timpi | `Timpibot` | Обучение | — | — | ## Что означают назначения - **Обучение**: Собирает страницы для обучения моделей или общего исследовательского краулинга. Google-Extended и Applebot-Extended — управляющие токены: сами они ничего не загружают. - **Поиск**: Индексирует страницы для поискового продукта — от Google Search до AI-сервисов ответов, таких как поиск ChatGPT, Perplexity и DuckAssist. Если заблокировать такого бота, ваш сайт не попадёт в соответствующий продукт. - **Запросы пользователей**: Загружает страницу по запросу пользователя в чате или инструменте. Некоторые операторы заявляют, что robots.txt может не распространяться на такие запросы. - **Агенты**: Просматривает сайты и выполняет действия от имени пользователя, часто в полноценном браузере. У многих таких агентов нет токена, и определить их можно только по подписи, если это вообще возможно. - **Реклама**: Проверяет целевые страницы рекламы, отправленные рекламодателями. Такие боты не включены в генератор robots.txt. ## Убедитесь, что бот — тот, за кого себя выдаёт Строку User-Agent подделать ничего не стоит. Большинство крупных операторов публикуют диапазоны IP-адресов своих ботов в файлах JSON; в таблице они помечены как список IP-адресов. Сравните адрес запроса со списком для этого токена и считайте совпадение только по имени неподтверждённым. Некоторые операторы также описывают обратный DNS. Например, Common Crawl указывает, что хосты CCBot разрешаются в *.crawl.commoncrawl.org; прежде чем доверять хосту, убедитесь, что его имя разрешается обратно в тот же адрес. Агенты всё чаще подписывают запросы с помощью HTTP Message Signatures (RFC 9421) в соответствии с проектом Web Bot Auth. В запросе оператор указывается в Signature-Agent, а проверить подпись можно с помощью открытых ключей по адресу /.well-known/http-message-signatures-directory на домене оператора. Действительная подпись подтверждает оператора, но не пользователя, который стоит за запросом, и не его права. [Создать robots.txt по этому списку →](https://dotsagent.io/ru/agent-ready/robots-txt) ## Вопросы об ИИ-краулерах ### Какие ИИ-краулеры игнорируют robots.txt? Согласно документации самих операторов, ChatGPT-User, Perplexity-User, Google-Agent, Google-GeminiNotebook, Amzn-User, meta-externalfetcher и facebookexternalhit могут не соблюдать его, в основном потому, что загрузку инициировал пользователь. По сообщениям сообщества, Bytespider тоже его не соблюдает. ### Чем отличаются GPTBot, OAI-SearchBot и ChatGPT-User? GPTBot собирает страницы для обучения моделей OpenAI, OAI-SearchBot индексирует страницы для поиска в ChatGPT, а ChatGPT-User загружает страницу по запросу пользователя. Первые два соблюдают robots.txt; OpenAI указывает, что его правила могут не распространяться на третьего. ### У каких ИИ-агентов нет токена для robots.txt? У ChatGPT agent, Gemini Spark и Muse от Meta. ChatGPT agent можно проверить по подписи Web Bot Auth с домена https://chatgpt.com. В локальном режиме Chrome Gemini Spark выглядит как браузер пользователя, а для Muse не опубликована строка User-Agent. ### Как проверить, что запрос действительно пришёл от Googlebot? Google публикует диапазоны IP-адресов Googlebot в файле JSON, ссылка на который есть в соответствующей записи этого справочника. Сверьте адрес запроса с этими диапазонами, а не доверяйте строке User-Agent. ### Откуда взят этот список ИИ-ботов? В каждой записи есть ссылка на документацию оператора, если она доступна; токены без документации взяты из реестра сообщества ai.robots.txt. Мы не включили DeepSeekBot, Kimi-User, Manus-User, NovaAct, Devin и PetalBot, поскольку не нашли документацию их операторов. Список проверен 1 октября 2026 года. Независимый справочник для тех, кто создаёт AI-агентов. Не связан ни с одним из упомянутых здесь поставщиков. © 2026 DotsAgent · Факты проверены 1 октября 2026 г.