Google · 検索
Googlebotとは？
Google 検索のメインクローラーです。robots.txt に従い、Google は IP 範囲を公開しています。
- robots.txtトークン
Googlebot- 運営者
- 用途
- 検索
- robots.txtへの準拠
- はい 運営者は、robots.txt に従うと明言しています。
- 運営者によるドキュメント
- はい。運営者自身のページに記載されています。
- 公開IPリスト
- developers.google.com/static/search/apis/ipranges/googlebot.json
- ドキュメント
- developers.google.com
検索から除外せずに Gemini のトレーニングへの利用を拒否するには、Googlebot ではなく Google-Extended を disallow にしてください。
サイト全体で Googlebot をブロックする
User-agent: Googlebot
Disallow: /
許可しつつ、非公開パスへのアクセスを防ぐ
User-agent: Googlebot
Allow: /
Disallow: /admin/
Google のその他の bot
Google-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-AgentGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner