dotsagent.io
言語:日本語
Google · 学習

GoogleOtherとは?

検索以外の調査・開発目的でページを取得する、Googleの汎用クローラーです。robots.txtに従い、共通のクローラーIPリストを使用します。

robots.txtトークン
GoogleOther
運営者
Google
用途
学習
robots.txtへの準拠
はい 運営者は、robots.txt に従うと明言しています。
運営者によるドキュメント
はい。運営者自身のページに記載されています。
公開IPリスト
developers.google.com/static/crawling/ipranges/common-crawlers.json
ドキュメント
developers.google.com

サイト全体で GoogleOther をブロックする

robots.txt
User-agent: GoogleOther
Disallow: /

許可しつつ、非公開パスへのアクセスを防ぐ

robots.txt
User-agent: GoogleOther
Allow: /
Disallow: /admin/

Google のその他の bot

ジェネレーターで robots.txt に追加 →

出典

  1. developers.google.com/search/docs/crawling-indexing/google-common-crawlers