Google · Агенты
Что такое Google-Agent?
Загружает страницы для агентов, работающих в инфраструктуре Google, когда пользователь просит их выполнить действие. По словам Google, загрузчики, запускаемые пользователем, обычно игнорируют robots.txt.
- Токен robots.txt
Google-Agent- Оператор
- Назначение
- Агенты
- Соблюдает robots.txt
- Нет Оператор сообщает, что правила robots.txt могут не распространяться на бота, либо в сообществах сообщают, что бот их игнорирует.
- Описан оператором
- Да, на страницах самого оператора.
- Опубликованный список IP-адресов
- developers.google.com/static/crawling/ipranges/user-triggered-agents.json
- Документация
- developers.google.com
Google экспериментирует с идентификацией Web Bot Auth https://agent.bot.goog для таких запросов.
Заблокировать Google-Agent на всём сайте
User-agent: Google-Agent
Disallow: /
Разрешить доступ, но закрыть приватные пути
User-agent: Google-Agent
Allow: /
Disallow: /admin/
Этот бот получает страницы по запросу пользователя или действующего от его имени агента. Несколько операторов сообщают, что правила robots.txt могут не распространяться на такие запросы. Проверьте примечание выше и, если это важно, настройте блокировку на межсетевом экране.
Другие боты от Google
GooglebotGoogle-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
Добавить в генератор robots.txt →