dotsagent.io
Язык:Русский
Google · Поиск

Что такое Google-CloudVertexBot?

Обходит сайт по запросу его владельца, чтобы создавать Vertex AI Agents. Соблюдает robots.txt и использует распространённые диапазоны IP-адресов краулеров Google.

Токен robots.txt
Google-CloudVertexBot
Оператор
Google
Назначение
Поиск
Соблюдает robots.txt
Да Оператор сообщает, что бот соблюдает robots.txt.
Описан оператором
Да, на страницах самого оператора.
Опубликованный список IP-адресов
developers.google.com/static/crawling/ipranges/common-crawlers.json
Документация
developers.google.com

Заблокировать Google-CloudVertexBot на всём сайте

robots.txt
User-agent: Google-CloudVertexBot
Disallow: /

Разрешить доступ, но закрыть приватные пути

robots.txt
User-agent: Google-CloudVertexBot
Allow: /
Disallow: /admin/

Другие боты от Google

Добавить в генератор robots.txt →

Источники

  1. developers.google.com/search/docs/crawling-indexing/google-common-crawlers