dotsagent.io
言語:日本語
Google · 学習

Google-Extendedとは?

クローラーではなく制御用トークンです。取得は Googlebot が行い、そのコンテンツを Gemini のトレーニングや grounding に使用できるかどうかを Google-Extended で制御します。

robots.txtトークン
Google-Extended
運営者
Google
用途
学習
robots.txtへの準拠
はい 運営者は、robots.txt に従うと明言しています。
運営者によるドキュメント
はい。運営者自身のページに記載されています。
ドキュメント
developers.google.com

独自の user agent はないため、アクセスログに記録されることはありません。

サイト全体で Google-Extended をブロックする

robots.txt
User-agent: Google-Extended
Disallow: /

許可しつつ、非公開パスへのアクセスを防ぐ

robots.txt
User-agent: Google-Extended
Allow: /
Disallow: /admin/

Google のその他の bot

ジェネレーターで robots.txt に追加 →

出典

  1. developers.google.com/search/docs/crawling-indexing/google-common-crawlers