[{"data":1,"prerenderedAt":193},["ShallowReactive",2],{"copy:ru:site:":3,"copy:ru:agentweb:bots,ui":125,"copy:ru:site:common":191},{"common":4,"nav":16,"footer":44,"home":51,"error":118},{"skip":5,"menu":6,"language":7,"sections":8,"footer":9,"tool":10,"home":11,"breadcrumbs":12,"copy":13,"copied":14,"download":15},"Перейти к содержимому","Меню","Язык","Разделы","Нижний колонтитул","инструмент","Главная","Навигационная цепочка","Копировать","Скопировано","Скачать",{"groups":17,"items":25},{"build":18,"connect":19,"instruct":20,"run":21,"web":22,"secure":23,"track":24},"Создание","Подключение","Инструкции","Запуск","Откройте свой сайт","Безопасность","Отслеживание",{"models":26,"cost":27,"frameworks":28,"mcp":29,"mcpConfig":30,"mcpClients":31,"agentsMd":32,"files":33,"openclaw":34,"agentReady":35,"llmsTxt":36,"robotsTxt":37,"apiCatalog":38,"bots":39,"security":40,"incidents":41,"checklist":42,"changelog":43},"Модели и цены на API","Калькулятор стоимости агента","Фреймворки и SDK","Серверы MCP","Генератор конфигурации MCP","Клиенты MCP","Генератор AGENTS.md","Файлы инструкций","Самостоятельный хостинг OpenClaw","Сайты, готовые для AI-агентов","Генератор llms.txt","robots.txt для AI-ботов","Генератор каталога API","Каталог AI-ботов","Безопасность агентов","Журнал инцидентов","Чек-лист безопасности","Журнал изменений",{"about":45,"privacy":46,"terms":47,"sitemap":48,"disclaimer":49,"checked":50},"О проекте","Конфиденциальность","Условия использования","Карта сайта","Независимый справочник для тех, кто создаёт AI-агентов. Не связан ни с одним из упомянутых здесь поставщиков.","Факты проверены {date}",{"seo":52,"eyebrow":55,"title":56,"lead":57,"ctaMcp":58,"ctaCost":59,"ctaAgents":60,"sheetLabel":61,"sheetTitle":62,"sheet":63,"sheetNote":70,"sectionsTitle":71,"sections":72,"latestTitle":101,"allChanges":102,"rulesTitle":103,"rules":104,"aboutLink":117},{"title":53,"description":54},"DotsAgent: справочник и инструменты для создания AI-агентов","Цены на LLM API, калькулятор стоимости агентов, конфигурации MCP для 13 клиентов, генераторы AGENTS.md и llms.txt, заметки о безопасности агентов. Бесплатно, на 18 языках.","Для разработчиков AI-агентов","Настольный справочник разработчика AI-агентов","Цены, протоколы, файлы конфигурации и заметки о безопасности для работы с агентами — всё проверено по официальной документации поставщиков. Найдите нужные сведения, создайте нужный файл и возвращайтесь к коду.","Создать конфигурацию MCP","Оценить стоимость задачи агента","Создать AGENTS.md","Актуальные данные","Состояние стека",{"mcp":64,"openclaw":65,"cheapest":66,"models":67,"servers":68,"bots":69},"Спецификация MCP","OpenClaw","Самая дешёвая модель, $\u002FM на входе\u002Fвыходе","Моделей с указанными ценами","MCP-серверы","Отслеживаемые ИИ-боты","Каждое значение вручную сверяется с документацией поставщика.","Что есть на сайте",{"models":73,"mcp":77,"instructions":80,"frameworks":83,"openclaw":86,"agentReady":90,"security":94,"changelog":97},{"title":74,"body":75,"unit":76},"Модели и цены","Цены на входные, выходные и кэшированные токены за миллион — для сравнения рядом. Есть калькулятор стоимости полного запуска агента.","моделей",{"title":68,"body":78,"unit":79},"Каталог серверов Model Context Protocol и генератор конфигураций, который создаёт нужный файл для каждого клиента.","серверов",{"title":33,"body":81,"unit":82},"Создайте AGENTS.md и узнайте, как каждый инструмент читает CLAUDE.md, .cursor\u002Frules и подобные файлы.","форматов файлов",{"title":28,"body":84,"unit":85},"Сравните фреймворки для агентов и SDK поставщиков по языку программирования, лицензии, поддержке MCP и возможностям работы с несколькими агентами.","фреймворков",{"title":87,"body":88,"unit":89},"Развёртывание OpenClaw на своём сервере","Установите, настройте и обновите OpenClaw на своём компьютере или сервере — пошагово.","текущий релиз",{"title":91,"body":92,"unit":93},"Сайты для ИИ-агентов","Создайте llms.txt, правила robots.txt для ИИ-краулеров и api-catalog. Найдите любого бота по user agent.","ботов в списке",{"title":40,"body":95,"unit":96},"Риски для агентов по классификации OWASP, журнал реальных инцидентов и чек-лист для проверки перед запуском.","инцидентов в журнале",{"title":98,"body":99,"unit":100},"Журнал изменений API","Изменения API моделей, SDK и протоколов с датами и ссылками на объявления поставщиков.","записей","Последние изменения","Все изменения","Как мы поддерживаем точность",[105,108,111,114],{"title":106,"body":107},"Факты с источниками.","У каждой цены, версии и флага есть ссылка на страницу поставщика, откуда взята информация, — вы можете проверить её самостоятельно.",{"title":109,"body":110},"Проверки с датой.","На каждой странице указано, когда факты проверяли в последний раз. Устаревшие данные перепроверяют или удаляют.",{"title":112,"body":113},"Без платного размещения.","Никто не платит за размещение в каталоге, более высокую позицию или более лестное описание.",{"title":115,"body":116},"Инструменты работают в браузере.","Генераторы и калькуляторы работают локально, а введённые вами данные не отправляются на сервер.","О DotsAgent",{"title":119,"body":120,"home":121,"popular":122,"failed":123,"failedBody":124},"Страница не найдена","По этому адресу нет страницы. Возможно, она переехала или в ссылке опечатка.","Перейти на главную","Популярные инструменты","Что-то пошло не так","Не удалось загрузить страницу с нашей стороны. Попробуйте ещё раз через минуту или перейдите на главную.",{"bots":126,"ui":182},{"seo":127,"crumb":39,"eyebrow":130,"title":131,"lead":132,"purposeFilter":133,"all":134,"search":135,"operator":136,"anyOperator":137,"cols":138,"noToken":144,"marks":145,"signed":149,"ips":150,"empty":151,"purposesTitle":152,"purposeHelp":153,"verifyTitle":159,"verify":160,"toGenerator":164,"faqTitle":165,"faq":166},{"title":128,"description":129},"Каталог AI-ботов: 40 краулеров, токены и списки IP","40 AI-краулеров и агентов от OpenAI, Anthropic, Google, Apple, Meta, Amazon и других компаний: токен для robots.txt, назначение, соблюдение правил и список IP-адресов.","{n} краулеров и агентов","Каталог AI-краулеров и агентов","Все AI-боты, существование которых нам удалось подтвердить: токен для robots.txt, цель сбора данных, сведения о том, заявляет ли оператор о соблюдении правил, и способ проверить, что запрос действительно поступил от этого бота. Токены, известные только по реестру ai.robots.txt, составленному сообществом, отмечены на соответствующих страницах.","Фильтр по назначению","Все","Поиск по названию, токену или оператору","Оператор","Любой оператор",{"bot":139,"token":140,"purpose":141,"robots":142,"verify":143},"Бот","Токен","Назначение","Соблюдает robots.txt","Проверка","Нет токена",{"yes":146,"no":147,"unknown":148},"Да","Нет","Не указано","Подписанные запросы","Список IP-адресов","По этим фильтрам ботов не найдено.","Что означают назначения",{"training":154,"search":155,"user":156,"agent":157,"ads":158},"Собирает страницы для обучения моделей или общего исследовательского краулинга. Google-Extended и Applebot-Extended — управляющие токены: сами они ничего не загружают.","Индексирует страницы для поискового продукта — от Google Search до AI-сервисов ответов, таких как поиск ChatGPT, Perplexity и DuckAssist. Если заблокировать такого бота, ваш сайт не попадёт в соответствующий продукт.","Загружает страницу по запросу пользователя в чате или инструменте. Некоторые операторы заявляют, что robots.txt может не распространяться на такие запросы.","Просматривает сайты и выполняет действия от имени пользователя, часто в полноценном браузере. У многих таких агентов нет токена, и определить их можно только по подписи, если это вообще возможно.","Проверяет целевые страницы рекламы, отправленные рекламодателями. Такие боты не включены в генератор robots.txt.","Убедитесь, что бот — тот, за кого себя выдаёт",[161,162,163],"Строку User-Agent подделать ничего не стоит. Большинство крупных операторов публикуют диапазоны IP-адресов своих ботов в файлах JSON; в таблице они помечены как список IP-адресов. Сравните адрес запроса со списком для этого токена и считайте совпадение только по имени неподтверждённым.","Некоторые операторы также описывают обратный DNS. Например, Common Crawl указывает, что хосты CCBot разрешаются в *.crawl.commoncrawl.org; прежде чем доверять хосту, убедитесь, что его имя разрешается обратно в тот же адрес.","Агенты всё чаще подписывают запросы с помощью HTTP Message Signatures (RFC 9421) в соответствии с проектом Web Bot Auth. В запросе оператор указывается в Signature-Agent, а проверить подпись можно с помощью открытых ключей по адресу \u002F.well-known\u002Fhttp-message-signatures-directory на домене оператора. Действительная подпись подтверждает оператора, но не пользователя, который стоит за запросом, и не его права.","Создать robots.txt по этому списку","Вопросы об ИИ-краулерах",[167,170,173,176,179],{"q":168,"a":169},"Какие ИИ-краулеры игнорируют robots.txt?","Согласно документации самих операторов, ChatGPT-User, Perplexity-User, Google-Agent, Google-GeminiNotebook, Amzn-User, meta-externalfetcher и facebookexternalhit могут не соблюдать его, в основном потому, что загрузку инициировал пользователь. По сообщениям сообщества, Bytespider тоже его не соблюдает.",{"q":171,"a":172},"Чем отличаются GPTBot, OAI-SearchBot и ChatGPT-User?","GPTBot собирает страницы для обучения моделей OpenAI, OAI-SearchBot индексирует страницы для поиска в ChatGPT, а ChatGPT-User загружает страницу по запросу пользователя. Первые два соблюдают robots.txt; OpenAI указывает, что его правила могут не распространяться на третьего.",{"q":174,"a":175},"У каких ИИ-агентов нет токена для robots.txt?","У ChatGPT agent, Gemini Spark и Muse от Meta. ChatGPT agent можно проверить по подписи Web Bot Auth с домена https:\u002F\u002Fchatgpt.com. В локальном режиме Chrome Gemini Spark выглядит как браузер пользователя, а для Muse не опубликована строка User-Agent.",{"q":177,"a":178},"Как проверить, что запрос действительно пришёл от Googlebot?","Google публикует диапазоны IP-адресов Googlebot в файле JSON, ссылка на который есть в соответствующей записи этого справочника. Сверьте адрес запроса с этими диапазонами, а не доверяйте строке User-Agent.",{"q":180,"a":181},"Откуда взят этот список ИИ-ботов?","В каждой записи есть ссылка на документацию оператора, если она доступна; токены без документации взяты из реестра сообщества ai.robots.txt. Мы не включили DeepSeekBot, Kimi-User, Manus-User, NovaAct, Devin и PetalBot, поскольку не нашли документацию их операторов. Список проверен 1 октября 2026 года.",{"crumb":183,"purposes":184,"sources":190},"Сайты, готовые к работе с агентами",{"training":185,"search":186,"user":187,"agent":188,"ads":189},"Обучение","Поиск","Запросы пользователей","Агенты","Реклама","Источники",{"common":192},{"skip":5,"menu":6,"language":7,"sections":8,"footer":9,"tool":10,"home":11,"breadcrumbs":12,"copy":13,"copied":14,"download":15},1790863374908]