[{"data":1,"prerenderedAt":200},["ShallowReactive",2],{"copy:ru:site:":3,"copy:ru:agentweb:robots,ui":125,"copy:ru:site:common":198},{"common":4,"nav":16,"footer":44,"home":51,"error":118},{"skip":5,"menu":6,"language":7,"sections":8,"footer":9,"tool":10,"home":11,"breadcrumbs":12,"copy":13,"copied":14,"download":15},"Перейти к содержимому","Меню","Язык","Разделы","Нижний колонтитул","инструмент","Главная","Навигационная цепочка","Копировать","Скопировано","Скачать",{"groups":17,"items":25},{"build":18,"connect":19,"instruct":20,"run":21,"web":22,"secure":23,"track":24},"Создание","Подключение","Инструкции","Запуск","Откройте свой сайт","Безопасность","Отслеживание",{"models":26,"cost":27,"frameworks":28,"mcp":29,"mcpConfig":30,"mcpClients":31,"agentsMd":32,"files":33,"openclaw":34,"agentReady":35,"llmsTxt":36,"robotsTxt":37,"apiCatalog":38,"bots":39,"security":40,"incidents":41,"checklist":42,"changelog":43},"Модели и цены на API","Калькулятор стоимости агента","Фреймворки и SDK","Серверы MCP","Генератор конфигурации MCP","Клиенты MCP","Генератор AGENTS.md","Файлы инструкций","Самостоятельный хостинг OpenClaw","Сайты, готовые для AI-агентов","Генератор llms.txt","robots.txt для AI-ботов","Генератор каталога API","Каталог AI-ботов","Безопасность агентов","Журнал инцидентов","Чек-лист безопасности","Журнал изменений",{"about":45,"privacy":46,"terms":47,"sitemap":48,"disclaimer":49,"checked":50},"О проекте","Конфиденциальность","Условия использования","Карта сайта","Независимый справочник для тех, кто создаёт AI-агентов. Не связан ни с одним из упомянутых здесь поставщиков.","Факты проверены {date}",{"seo":52,"eyebrow":55,"title":56,"lead":57,"ctaMcp":58,"ctaCost":59,"ctaAgents":60,"sheetLabel":61,"sheetTitle":62,"sheet":63,"sheetNote":70,"sectionsTitle":71,"sections":72,"latestTitle":101,"allChanges":102,"rulesTitle":103,"rules":104,"aboutLink":117},{"title":53,"description":54},"DotsAgent: справочник и инструменты для создания AI-агентов","Цены на LLM API, калькулятор стоимости агентов, конфигурации MCP для 13 клиентов, генераторы AGENTS.md и llms.txt, заметки о безопасности агентов. Бесплатно, на 18 языках.","Для разработчиков AI-агентов","Настольный справочник разработчика AI-агентов","Цены, протоколы, файлы конфигурации и заметки о безопасности для работы с агентами — всё проверено по официальной документации поставщиков. Найдите нужные сведения, создайте нужный файл и возвращайтесь к коду.","Создать конфигурацию MCP","Оценить стоимость задачи агента","Создать AGENTS.md","Актуальные данные","Состояние стека",{"mcp":64,"openclaw":65,"cheapest":66,"models":67,"servers":68,"bots":69},"Спецификация MCP","OpenClaw","Самая дешёвая модель, $\u002FM на входе\u002Fвыходе","Моделей с указанными ценами","MCP-серверы","Отслеживаемые ИИ-боты","Каждое значение вручную сверяется с документацией поставщика.","Что есть на сайте",{"models":73,"mcp":77,"instructions":80,"frameworks":83,"openclaw":86,"agentReady":90,"security":94,"changelog":97},{"title":74,"body":75,"unit":76},"Модели и цены","Цены на входные, выходные и кэшированные токены за миллион — для сравнения рядом. Есть калькулятор стоимости полного запуска агента.","моделей",{"title":68,"body":78,"unit":79},"Каталог серверов Model Context Protocol и генератор конфигураций, который создаёт нужный файл для каждого клиента.","серверов",{"title":33,"body":81,"unit":82},"Создайте AGENTS.md и узнайте, как каждый инструмент читает CLAUDE.md, .cursor\u002Frules и подобные файлы.","форматов файлов",{"title":28,"body":84,"unit":85},"Сравните фреймворки для агентов и SDK поставщиков по языку программирования, лицензии, поддержке MCP и возможностям работы с несколькими агентами.","фреймворков",{"title":87,"body":88,"unit":89},"Развёртывание OpenClaw на своём сервере","Установите, настройте и обновите OpenClaw на своём компьютере или сервере — пошагово.","текущий релиз",{"title":91,"body":92,"unit":93},"Сайты для ИИ-агентов","Создайте llms.txt, правила robots.txt для ИИ-краулеров и api-catalog. Найдите любого бота по user agent.","ботов в списке",{"title":40,"body":95,"unit":96},"Риски для агентов по классификации OWASP, журнал реальных инцидентов и чек-лист для проверки перед запуском.","инцидентов в журнале",{"title":98,"body":99,"unit":100},"Журнал изменений API","Изменения API моделей, SDK и протоколов с датами и ссылками на объявления поставщиков.","записей","Последние изменения","Все изменения","Как мы поддерживаем точность",[105,108,111,114],{"title":106,"body":107},"Факты с источниками.","У каждой цены, версии и флага есть ссылка на страницу поставщика, откуда взята информация, — вы можете проверить её самостоятельно.",{"title":109,"body":110},"Проверки с датой.","На каждой странице указано, когда факты проверяли в последний раз. Устаревшие данные перепроверяют или удаляют.",{"title":112,"body":113},"Без платного размещения.","Никто не платит за размещение в каталоге, более высокую позицию или более лестное описание.",{"title":115,"body":116},"Инструменты работают в браузере.","Генераторы и калькуляторы работают локально, а введённые вами данные не отправляются на сервер.","О DotsAgent",{"title":119,"body":120,"home":121,"popular":122,"failed":123,"failedBody":124},"Страница не найдена","По этому адресу нет страницы. Возможно, она переехала или в ссылке опечатка.","Перейти на главную","Популярные инструменты","Что-то пошло не так","Не удалось загрузить страницу с нашей стороны. Попробуйте ещё раз через минуту или перейдите на главную.",{"robots":126,"ui":189},{"seo":127,"crumb":37,"eyebrow":130,"title":131,"lead":132,"form":133,"presets":142,"purposeNotes":146,"comments":151,"signalNote":155,"limits":156,"botsLink":157,"explainTitle":158,"explain":159,"faqTitle":172,"faq":173},{"title":128,"description":129},"Генератор robots.txt для AI-краулеров и агентов","Создайте robots.txt, который запрещает обучение AI-моделей, но оставляет поиск доступным: 35 токенов ботов по назначению, строки Content-Signal, закрытые пути и строка sitemap.","Откройте сайт · генератор","Генератор robots.txt для AI-ботов","Выберите правила для каждого типа AI-ботов, задайте исключения для отдельных краулеров и скопируйте файл, соответствующий RFC 9309. Для обучения, поиска и загрузки по запросу пользователя используются разные токены, поэтому одним можно запретить доступ, а другим — разрешить.",{"preset":134,"allow":135,"block":136,"tapHint":137,"unset":138,"disallow":139,"disallowHint":140,"sitemap":141},"Начать с","Разрешить","Запретить","Нажмите на бота, чтобы переключить его правило относительно настройки группы.","не задано","Закрытые пути","По одному пути в строке. Эти пути будут недоступны разрешённым ботам и всем остальным краулерам.","URL карты сайта",{"open":143,"noTraining":144,"closed":145},"Разрешить всё","Запретить только обучение","Запретить всех AI-ботов",{"training":147,"search":148,"user":149,"agent":150},"Запретив доступ этим ботам, вы исключите свои страницы из обучения моделей этими операторами, не затрагивая поисковую выдачу.","Блокировка этих ботов также блокирует Googlebot и Applebot, исключая ваш сайт из Google Search и результатов Siri, Spotlight и Safari от Apple.","Эти боты загружают страницу по запросу человека. Некоторые операторы заявляют, что правила robots.txt могут на них не распространяться, поэтому блокировка здесь — это пожелание, а не гарантия.","Google-Agent обычно игнорирует robots.txt, а у большинства агентов для просмотра веб-страниц вообще нет токена, поэтому эта группа мало что меняет на практике.",{"blocked":152,"allowed":153,"everyone":154},"AI-краулеры, которым запрещён доступ ко всему сайту","Разрешённые AI-краулеры; приватные пути исключены","Все остальные краулеры","Content-Signal указывает, как можно использовать загруженные страницы: search — для результатов поиска, ai-input — для формирования ответов AI, а ai-train — для обучения моделей. Эта директива основана на политике Cloudflare, опубликованной под лицензией CC0, и выражает предпочтение, но ничего не блокирует.","Правила robots.txt добровольны. ChatGPT-User, Perplexity-User и другие загрузчики, запускаемые по запросу пользователя, заявляют, что эти правила могут на них не распространяться; у некоторых агентов вообще нет токена. Чтобы гарантированно блокировать запросы, сверяйте их с опубликованными списками IP-адресов или сигнатурами и отклоняйте на межсетевом экране или WAF.","Все боты в каталоге","Как работает сгенерированный файл",[160,163,166,169],{"title":161,"body":162},"Краулер следует правилам своей группы","Если краулер находит свой токен в строке User-agent, он следует правилам этой группы и пропускает правила под User-agent: *. Поэтому генератор повторяет приватные пути для ботов, которым вы разрешили доступ по имени, а для заблокированных ботов задаёт единственное правило Disallow: \u002F.",{"title":164,"body":165},"Некоторые токены не используются для обхода","У Google-Extended и Applebot-Extended нет собственного user agent. Страницы загружают Googlebot и Applebot, а расширенные токены указывают Google и Apple, можно ли использовать этот контент для обучения их моделей; Google также применяет Google-Extended для поиска с опорой на Gemini.",{"title":167,"body":168},"Большинство операторов разделяют обучение и поиск","OpenAI, Anthropic, Amazon и Mistral используют отдельные токены для обучения и поиска, поэтому пресет «Без обучения» сохраняет доступность вашего сайта в их поисковых продуктах. Исключение — Meta: meta-externalagent отвечает и за обучение, и за индексацию.",{"title":170,"body":171},"Applebot использует правила Googlebot, если своих нет","Если в файле нет группы Applebot, Apple сообщает, что Applebot вместо этого следует правилам Googlebot. Applebot, как и Amazonbot, игнорирует Crawl-delay, тогда как Anthropic сообщает, что ClaudeBot его соблюдает.","Вопросы о robots.txt и AI-ботах",[174,177,180,183,186],{"q":175,"a":176},"Как заблокировать GPTBot, не отключая поиск ChatGPT?","Запретите GPTBot и оставьте OAI-SearchBot разрешённым. GPTBot собирает данные для обучения, OAI-SearchBot индексирует страницы для поиска ChatGPT, а ChatGPT-User загружает страницы по запросу человека. OpenAI описывает все три токена на одной странице и приводит для каждого отдельный список IP-адресов.",{"q":178,"a":179},"Исключит ли блокировка Google-Extended мой сайт из Google Search?","Google-Extended — это управляющий токен без собственного user agent; обход выполняет Googlebot. Запретив его, вы сообщаете Google, что ваш контент нельзя использовать для обучения Gemini и поиска с опорой на Gemini. Правила для Googlebot определяют, какие страницы обходятся для Search.",{"q":181,"a":182},"Соблюдают ли AI-краулеры Crawl-delay?","Некоторые — да. Anthropic сообщает, что ClaudeBot соблюдает это правило, а Apple и Amazon указывают, что Applebot и Amazonbot его игнорируют. Надёжнее всего ограничивать частоту запросов на сервере.",{"q":184,"a":185},"Почему ChatGPT-User всё ещё посещает сайт после блокировки?","OpenAI сообщает, что правила robots.txt могут не распространяться на ChatGPT-User, поскольку страницу запросил человек. Для Perplexity-User, Amzn-User и meta-externalfetcher действуют аналогичные оговорки. Если оператор публикует список IP-адресов, сверяйте с ним запросы и блокируйте их на межсетевом экране.",{"q":187,"a":188},"Для чего нужен Content-Signal в robots.txt?","Он указывает, как можно использовать контент после его получения, с помощью трёх сигналов: search, ai-input и ai-train, каждому из которых задаётся значение yes или no. Это выражение предпочтений, а не запрет. Cloudflare Markdown for Agents по умолчанию добавляет ai-train=yes, search=yes и ai-input=yes, поэтому при использовании этой функции проверьте её результат.",{"crumb":190,"purposes":191,"sources":197},"Сайты, готовые к работе с агентами",{"training":192,"search":193,"user":194,"agent":195,"ads":196},"Обучение","Поиск","Запросы пользователей","Агенты","Реклама","Источники",{"common":199},{"skip":5,"menu":6,"language":7,"sections":8,"footer":9,"tool":10,"home":11,"breadcrumbs":12,"copy":13,"copied":14,"download":15},1790863374895]