[{"data":1,"prerenderedAt":243},["ShallowReactive",2],{"copy:ru:site:":3,"copy:ru:agentweb:hub,ui":125,"copy:ru:site:common":241},{"common":4,"nav":16,"footer":44,"home":51,"error":118},{"skip":5,"menu":6,"language":7,"sections":8,"footer":9,"tool":10,"home":11,"breadcrumbs":12,"copy":13,"copied":14,"download":15},"Перейти к содержимому","Меню","Язык","Разделы","Нижний колонтитул","инструмент","Главная","Навигационная цепочка","Копировать","Скопировано","Скачать",{"groups":17,"items":25},{"build":18,"connect":19,"instruct":20,"run":21,"web":22,"secure":23,"track":24},"Создание","Подключение","Инструкции","Запуск","Откройте свой сайт","Безопасность","Отслеживание",{"models":26,"cost":27,"frameworks":28,"mcp":29,"mcpConfig":30,"mcpClients":31,"agentsMd":32,"files":33,"openclaw":34,"agentReady":35,"llmsTxt":36,"robotsTxt":37,"apiCatalog":38,"bots":39,"security":40,"incidents":41,"checklist":42,"changelog":43},"Модели и цены на API","Калькулятор стоимости агента","Фреймворки и SDK","Серверы MCP","Генератор конфигурации MCP","Клиенты MCP","Генератор AGENTS.md","Файлы инструкций","Самостоятельный хостинг OpenClaw","Сайты, готовые для AI-агентов","Генератор llms.txt","robots.txt для AI-ботов","Генератор каталога API","Каталог AI-ботов","Безопасность агентов","Журнал инцидентов","Чек-лист безопасности","Журнал изменений",{"about":45,"privacy":46,"terms":47,"sitemap":48,"disclaimer":49,"checked":50},"О проекте","Конфиденциальность","Условия использования","Карта сайта","Независимый справочник для тех, кто создаёт AI-агентов. Не связан ни с одним из упомянутых здесь поставщиков.","Факты проверены {date}",{"seo":52,"eyebrow":55,"title":56,"lead":57,"ctaMcp":58,"ctaCost":59,"ctaAgents":60,"sheetLabel":61,"sheetTitle":62,"sheet":63,"sheetNote":70,"sectionsTitle":71,"sections":72,"latestTitle":101,"allChanges":102,"rulesTitle":103,"rules":104,"aboutLink":117},{"title":53,"description":54},"DotsAgent: справочник и инструменты для создания AI-агентов","Цены на LLM API, калькулятор стоимости агентов, конфигурации MCP для 13 клиентов, генераторы AGENTS.md и llms.txt, заметки о безопасности агентов. Бесплатно, на 18 языках.","Для разработчиков AI-агентов","Настольный справочник разработчика AI-агентов","Цены, протоколы, файлы конфигурации и заметки о безопасности для работы с агентами — всё проверено по официальной документации поставщиков. Найдите нужные сведения, создайте нужный файл и возвращайтесь к коду.","Создать конфигурацию MCP","Оценить стоимость задачи агента","Создать AGENTS.md","Актуальные данные","Состояние стека",{"mcp":64,"openclaw":65,"cheapest":66,"models":67,"servers":68,"bots":69},"Спецификация MCP","OpenClaw","Самая дешёвая модель, $\u002FM на входе\u002Fвыходе","Моделей с указанными ценами","MCP-серверы","Отслеживаемые ИИ-боты","Каждое значение вручную сверяется с документацией поставщика.","Что есть на сайте",{"models":73,"mcp":77,"instructions":80,"frameworks":83,"openclaw":86,"agentReady":90,"security":94,"changelog":97},{"title":74,"body":75,"unit":76},"Модели и цены","Цены на входные, выходные и кэшированные токены за миллион — для сравнения рядом. Есть калькулятор стоимости полного запуска агента.","моделей",{"title":68,"body":78,"unit":79},"Каталог серверов Model Context Protocol и генератор конфигураций, который создаёт нужный файл для каждого клиента.","серверов",{"title":33,"body":81,"unit":82},"Создайте AGENTS.md и узнайте, как каждый инструмент читает CLAUDE.md, .cursor\u002Frules и подобные файлы.","форматов файлов",{"title":28,"body":84,"unit":85},"Сравните фреймворки для агентов и SDK поставщиков по языку программирования, лицензии, поддержке MCP и возможностям работы с несколькими агентами.","фреймворков",{"title":87,"body":88,"unit":89},"Развёртывание OpenClaw на своём сервере","Установите, настройте и обновите OpenClaw на своём компьютере или сервере — пошагово.","текущий релиз",{"title":91,"body":92,"unit":93},"Сайты для ИИ-агентов","Создайте llms.txt, правила robots.txt для ИИ-краулеров и api-catalog. Найдите любого бота по user agent.","ботов в списке",{"title":40,"body":95,"unit":96},"Риски для агентов по классификации OWASP, журнал реальных инцидентов и чек-лист для проверки перед запуском.","инцидентов в журнале",{"title":98,"body":99,"unit":100},"Журнал изменений API","Изменения API моделей, SDK и протоколов с датами и ссылками на объявления поставщиков.","записей","Последние изменения","Все изменения","Как мы поддерживаем точность",[105,108,111,114],{"title":106,"body":107},"Факты с источниками.","У каждой цены, версии и флага есть ссылка на страницу поставщика, откуда взята информация, — вы можете проверить её самостоятельно.",{"title":109,"body":110},"Проверки с датой.","На каждой странице указано, когда факты проверяли в последний раз. Устаревшие данные перепроверяют или удаляют.",{"title":112,"body":113},"Без платного размещения.","Никто не платит за размещение в каталоге, более высокую позицию или более лестное описание.",{"title":115,"body":116},"Инструменты работают в браузере.","Генераторы и калькуляторы работают локально, а введённые вами данные не отправляются на сервер.","О DotsAgent",{"title":119,"body":120,"home":121,"popular":122,"failed":123,"failedBody":124},"Страница не найдена","По этому адресу нет страницы. Возможно, она переехала или в ссылке опечатка.","Перейти на главную","Популярные инструменты","Что-то пошло не так","Не удалось загрузить страницу с нашей стороны. Попробуйте ещё раз через минуту или перейдите на главную.",{"hub":126,"ui":232},{"seo":127,"eyebrow":130,"title":131,"lead":132,"tools":133,"layersTitle":147,"layersLead":148,"layers":149,"unnamedTitle":213,"unnamed":214,"faqTitle":215,"faq":216},{"title":128,"description":129},"Сайты для ИИ-агентов: llms.txt, robots.txt, ИИ-боты","Создайте llms.txt, robots.txt для ИИ-ботов и каталог API по RFC 9727, а затем найдите 40 ИИ-краулеров и агентов по токену, назначению и опубликованному списку IP-адресов.","Откройте свой сайт · справочник","Сделайте сайт понятным для ИИ-агентов","ИИ-краулеры и агенты читают сайты не так, как люди. Инструменты ниже создают файлы, которые они ищут, а в справочнике описано, какие соглашения стали стандартами, какие пока остаются черновиками и сколько клиентов ими действительно пользуются.",{"llms":134,"robots":137,"catalog":140,"bots":143},{"kind":135,"title":36,"body":136},"Генератор","Укажите название, краткое описание и разделы со ссылками, чтобы создать файл в формате llmstxt.org.",{"kind":135,"title":138,"body":139},"robots.txt для ИИ-ботов","Задайте правила для каждой цели бота, включайте и отключайте отдельных краулеров, добавьте Content-Signal и скачайте готовый файл.",{"kind":135,"title":141,"body":142},"Каталог API","Добавьте API со спецификациями OpenAPI и документацией, чтобы получить linkset по RFC 9727 и блок конфигурации nginx для его публикации.",{"kind":144,"title":145,"body":146},"Справочник","Справочник ИИ-ботов","40 краулеров и агентов: их токены, назначение, поведение при обработке robots.txt и опубликованные списки IP-адресов.","Соглашения и степень их распространённости","Статус на октябрь 2026 года. Для каждой записи есть ссылка на спецификацию или подтверждающие данные — так вы сможете решить, что стоит внедрить на своём сайте.",[150,160,169,179,190,196,205],{"title":151,"status":152,"statusTone":153,"body":154,"code":155,"codeLabel":156,"sources":157},"robots.txt","Стандарт","ok","Файл в корневом каталоге сайта указывает краулеры по токенам и перечисляет пути, которые каждому из них следует пропускать; его формат стандартизирован в RFC 9309. Теперь операторы ИИ публикуют отдельные токены для обучения, поиска и загрузки страниц по запросу пользователя. Поэтому один файл может запрещать сбор данных для обучения и при этом разрешать поиск. Соблюдение правил добровольное, а некоторые загрузчики страниц по запросу пользователя заявляют, что эти правила на них могут не распространяться.","User-agent: GPTBot\nDisallow: \u002F\n\nUser-agent: OAI-SearchBot\nAllow: \u002F","\u002Frobots.txt",[158,159],"https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fbots","https:\u002F\u002Fdevelopers.google.com\u002Fsearch\u002Fdocs\u002Fcrawling-indexing\u002Fgoogle-common-crawlers",{"title":161,"status":162,"statusTone":163,"body":164,"code":165,"codeLabel":156,"sources":166},"Content-Signal","Широко используется","blue","Дополнительная строка в robots.txt, которая указывает, как можно использовать полученный контент: search, ai-input и ai-train — для каждого параметра задаётся yes или no. Cloudflare выпустила её как политику CC0 в сентябре 2025 года и добавляет её примерно в 3.8 миллиона доменов через управляемый robots.txt. Соответствующий проект IETF истёк 4 апреля 2026 года, а рабочая группа IETF AIPREF продолжает работу над проектом словаря.","User-agent: *\nContent-Signal: ai-train=no, search=yes, ai-input=yes\nAllow: \u002F",[167,168],"https:\u002F\u002Fblog.cloudflare.com\u002Fcontent-signals-policy\u002F","https:\u002F\u002Fdatatracker.ietf.org\u002Fwg\u002Faipref\u002Fdocuments\u002F",{"title":170,"status":171,"statusTone":172,"body":173,"code":174,"codeLabel":175,"sources":176},"llms.txt","Предложение","warn","Файл Markdown по пути \u002Fllms.txt с названием в заголовке H1, кратким описанием в цитате и разделами H2 со ссылками. Благодаря этому агент может перейти к ключевым страницам сайта, не разбирая навигацию. Спецификацию на llmstxt.org пересмотрели 10 августа 2026 года; llms-full.txt в неё не входит. У нас нет заявлений операторов о том, что этот файл читает какой-либо крупный crawler.","# Acme API\n\n> Card payments for small online shops.\n\n## Docs\n\n- [Quickstart](https:\u002F\u002Fexample.com\u002Fdocs\u002Fquickstart.md): first request","\u002Fllms.txt",[177,178],"https:\u002F\u002Fllmstxt.org\u002F","https:\u002F\u002Fllmstxt.org\u002Fchanges.html",{"title":180,"status":181,"statusTone":182,"body":183,"code":184,"codeLabel":185,"sources":186},"Версии страниц в Markdown","Частичное внедрение","signal","Публикуйте копию каждой страницы в формате Markdown по адресу page.md или page.html.md либо отдавайте Markdown в ответ на запросы, в заголовке Accept которых указан text\u002Fmarkdown. В тесте Checkly за февраль 2026 года этот заголовок отправляли Claude Code, Cursor и OpenCode, а Codex, Gemini CLI, GitHub Copilot и Windsurf — нет. AnswerShare зарегистрировал 1,277,965 запросов от ведущих crawler, и ни в одном из них не запрашивался Markdown.","GET \u002Fdocs\u002Fquickstart HTTP\u002F1.1\nHost: example.com\nAccept: text\u002Fmarkdown","Request",[187,188,189],"https:\u002F\u002Fdevelopers.cloudflare.com\u002Ffundamentals\u002Freference\u002Fmarkdown-for-agents\u002F","https:\u002F\u002Fwww.checklyhq.com\u002Fblog\u002Fstate-of-ai-agent-content-negotation\u002F","https:\u002F\u002Fanswershare.com\u002Fmarkdowndoesnotwork",{"title":141,"status":152,"statusTone":153,"body":191,"code":192,"codeLabel":193,"sources":194},"Опубликованный в июне 2025 года RFC 9727 закрепляет путь \u002F.well-known\u002Fapi-catalog для списка публичных API. Для каждого API указываются ссылки на машиночитаемое описание, документацию и страницу статуса. Ответ должен иметь тип application\u002Flinkset+json; другие страницы могут ссылаться на него с помощью отношения ссылки api-catalog.","{\n  \"linkset\": [\n    {\n      \"anchor\": \"https:\u002F\u002Fapi.example.com\u002Fv1\",\n      \"service-desc\": [{ \"href\": \"https:\u002F\u002Fapi.example.com\u002Fv1\u002Fopenapi.json\" }]\n    }\n  ]\n}","\u002F.well-known\u002Fapi-catalog",[195],"https:\u002F\u002Fwww.rfc-editor.org\u002Frfc\u002Frfc9727.html",{"title":197,"status":198,"statusTone":163,"body":199,"code":200,"codeLabel":201,"sources":202},"Подписанные запросы агентов (Web Bot Auth)","Черновик","Агенты подписывают каждый запрос с помощью HTTP Message Signatures (RFC 9421) и указывают своего оператора в заголовке Signature-Agent. Проверьте подпись по ключам, которые оператор публикует по адресу \u002F.well-known\u002Fhttp-message-signatures-directory. Проект рабочей группы IETF датирован 1 сентября 2026 года; агент ChatGPT уже подписывает запросы как https:\u002F\u002Fchatgpt.com, а Google экспериментирует с https:\u002F\u002Fagent.bot.goog.","Signature-Agent: \"https:\u002F\u002Fchatgpt.com\"","Request header",[203,204],"https:\u002F\u002Fdatatracker.ietf.org\u002Fdoc\u002Fdraft-ietf-webbotauth-httpsig-protocol\u002F","https:\u002F\u002Fblog.cloudflare.com\u002Fsigned-agents\u002F",{"title":206,"status":207,"statusTone":208,"body":209,"sources":210},"NLWeb","Приостановлено","","NLWeb от Microsoft предоставляет сайту эндпоинты \u002Fask и \u002Fmcp, к которым агенты могут обращаться на естественном языке. Спецификация достигла версии 0.55. По данным Lumar, сертификат nlweb.ai истёк 4 August 2026, а репозиторий не обновлялся с июня. Поэтому пока не стоит строить на этом решении.",[211,212],"https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FNLWeb\u002Fblob\u002Fmain\u002Fdocs\u002Fnlweb-rest-api.md","https:\u002F\u002Fagentic-readiness.lumar.io\u002Fdocs\u002Fcapabilities\u002Fnl-web","Агенты, которые не представляются","Некоторые агенты не публикуют токен в robots.txt и просматривают сайты так же, как пользователи, поэтому правило User-agent на них не подействует. ChatGPT agent подписывает запросы с помощью Web Bot Auth и передаёт Signature-Agent: \"https:\u002F\u002Fchatgpt.com\". Подпись можно проверить по каталогу ключей OpenAI; Cloudflare помечает такой трафик как chatgpt-agent. Для Gemini Spark в локальном режиме Chrome и Muse от Meta никакие сигналы не документированы.","Вопросы о сайтах, готовых к работе с агентами",[217,220,223,226,229],{"q":218,"a":219},"Что делает сайт готовым к работе с агентами?","Единого стандарта нет. На практике это означает, что в robots.txt перечислены ИИ-боты с указанием их назначения, при необходимости доступны такие файлы, как llms.txt, и каталог API, ключевые страницы представлены в Markdown, а агентов, которым разрешён доступ, можно проверить. Из перечисленного только robots.txt и каталог API опубликованы как RFC.",{"q":221,"a":222},"Читают ли ИИ-краулеры файл llms.txt?","В документации операторов нет сведений о том, что какой-либо краулер из нашего каталога запрашивает этот файл. Lighthouse проверяет, существует ли он, а агент, которому вы укажете его адрес, может прочитать его как любую другую страницу. Рассматривайте llms.txt как удобство для агентов, а не как функцию поиска.",{"q":224,"a":225},"Нужно ли блокировать ИИ-краулеры на сайте?","Принимайте решение отдельно для каждого назначения, а не блокируйте всё сразу. Токены для обучения, такие как GPTBot, ClaudeBot и Google-Extended, можно заблокировать, не затрагивая поиск. Блокировка поисковых токенов, например OAI-SearchBot или PerplexityBot, полностью исключит сайт из соответствующих продуктов.",{"q":227,"a":228},"Можно ли заблокировать ChatGPT agent с помощью robots.txt?","Нет: он не публикует токен. Его можно распознать по подписи Web Bot Auth с https:\u002F\u002Fchatgpt.com и разрешить или запретить ему доступ на сервере или CDN. Действительная подпись подтверждает, какой оператор отправил запрос, но не устанавливает личность пользователя и его права.",{"q":230,"a":231},"Является ли Content-Signal официальным стандартом?","Нет. Это политика Cloudflare с лицензией CC0, представленная в сентябре 2025 года и применяемая примерно на 3.8 миллиона доменов через управляемый Cloudflare файл robots.txt. Срок действия черновика IETF истёк 4 April 2026, а рабочая группа AIPREF всё ещё разрабатывает общую терминологию.",{"crumb":233,"purposes":234,"sources":240},"Сайты, готовые к работе с агентами",{"training":235,"search":236,"user":237,"agent":238,"ads":239},"Обучение","Поиск","Запросы пользователей","Агенты","Реклама","Источники",{"common":242},{"skip":5,"menu":6,"language":7,"sections":8,"footer":9,"tool":10,"home":11,"breadcrumbs":12,"copy":13,"copied":14,"download":15},1790863374879]