Google · エージェント
Google-Agentとは？
ユーザーからの依頼を受けて動作する、Googleのインフラ上のエージェント向けにページを取得します。Googleによると、ユーザーの操作をきっかけに動作するフェッチャーは通常、robots.txtを無視します。
- robots.txtトークン
Google-Agent- 運営者
- 用途
- エージェント
- robots.txtへの準拠
- いいえ 運営者は、robots.txt が適用されない場合があると明言しています。または、無視するというコミュニティからの報告があります。
- 運営者によるドキュメント
- はい。運営者自身のページに記載されています。
- 公開IPリスト
- developers.google.com/static/crawling/ipranges/user-triggered-agents.json
- ドキュメント
- developers.google.com
Googleは、これらのリクエスト向けにWeb Bot AuthのID（https://agent.bot.goog）を試験中です。
サイト全体で Google-Agent をブロックする
User-agent: Google-Agent
Disallow: /
許可しつつ、非公開パスへのアクセスを防ぐ
User-agent: Google-Agent
Allow: /
Disallow: /admin/
この bot は、ユーザー本人または代理で動作するエージェントのためにページを取得します。こうしたリクエストには robots.txt が適用されない場合があると複数の運営者が説明しています。必要に応じて上記の説明を確認し、ファイアウォールで制御してください。
Google のその他の bot
GooglebotGoogle-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner