dotsagent.io
言語:日本語
Google · 検索

Google-CloudVertexBotとは?

サイト所有者がGoogleに依頼した場合に、Vertex AI Agentsの構築用にサイトをクロールします。robots.txtに従い、Google共通のクローラーIP範囲を使用します。

robots.txtトークン
Google-CloudVertexBot
運営者
Google
用途
検索
robots.txtへの準拠
はい 運営者は、robots.txt に従うと明言しています。
運営者によるドキュメント
はい。運営者自身のページに記載されています。
公開IPリスト
developers.google.com/static/crawling/ipranges/common-crawlers.json
ドキュメント
developers.google.com

サイト全体で Google-CloudVertexBot をブロックする

robots.txt
User-agent: Google-CloudVertexBot
Disallow: /

許可しつつ、非公開パスへのアクセスを防ぐ

robots.txt
User-agent: Google-CloudVertexBot
Allow: /
Disallow: /admin/

Google のその他の bot

ジェネレーターで robots.txt に追加 →

出典

  1. developers.google.com/search/docs/crawling-indexing/google-common-crawlers