Google · Агенты
Что такое GoogleAgent-Mariner?
Токен Google для браузерного агента, о котором сообщило сообщество. Он указан рядом с GoogleAgent-URLContext и GoogleAgent-Shopping, а также встречается в robots.txt сайта amazon.com.
- Токен robots.txt
GoogleAgent-Mariner- Оператор
- Назначение
- Агенты
- Соблюдает robots.txt
- Не указано Оператор ничего об этом не сообщает.
- Описан оператором
- Нет. Токен известен только из списков сообщества, таких как ai.robots.txt.
На официальных страницах Google о краулерах он не указан, поэтому неизвестно, как он обрабатывает robots.txt.
Заблокировать GoogleAgent-Mariner на всём сайте
User-agent: GoogleAgent-Mariner
Disallow: /
Разрешить доступ, но закрыть приватные пути
User-agent: GoogleAgent-Mariner
Allow: /
Disallow: /admin/
Этот бот получает страницы по запросу пользователя или действующего от его имени агента. Несколько операторов сообщают, что правила robots.txt могут не распространяться на такие запросы. Проверьте примечание выше и, если это важно, настройте блокировку на межсетевом экране.
Другие боты от Google
GooglebotGoogle-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-AgentGoogle-GeminiNotebookGemini SparkGemini-Deep-Research
Добавить в генератор robots.txt →