Google · Обучение

Что такое GoogleOther?

Универсальный краулер Google, который загружает страницы для исследований и разработки, не связанных с поиском. Соблюдает robots.txt и использует общий список IP-адресов краулеров.

Токен robots.txt: GoogleOther
Оператор: Google
Назначение: Обучение
Соблюдает robots.txt: Да Оператор сообщает, что бот соблюдает robots.txt.
Описан оператором: Да, на страницах самого оператора.
Опубликованный список IP-адресов: developers.google.com/static/crawling/ipranges/common-crawlers.json
Документация: developers.google.com

Заблокировать GoogleOther на всём сайте

robots.txt

User-agent: GoogleOther
Disallow: /

Разрешить доступ, но закрыть приватные пути

robots.txt

User-agent: GoogleOther
Allow: /
Disallow: /admin/

Другие боты от Google

Googlebot Google-Extended Google-CloudVertexBot Google-Agent Google-GeminiNotebook Gemini Spark Gemini-Deep-Research GoogleAgent-Mariner

Добавить в генератор robots.txt →

Источники

developers.google.com/search/docs/crawling-indexing/google-common-crawlers