Amazonbotとは？

Amazonの製品やサービスのトレーニングと改善に使われるクローラーです。robots.txtとnoarchiveには従いますが、Crawl-delayには従いません。

robots.txtトークン

Amazonbot

運営者

Amazon

用途

学習

robots.txtへの準拠

●はい 運営者は、robots.txt に従うと明言しています。

運営者によるドキュメント

はい。運営者自身のページに記載されています。

公開IPリスト

developer.amazon.com/amazonbot/ip-addresses/

ドキュメント

developer.amazon.com

サイト全体で Amazonbot をブロックする

User-agent: Amazonbot
Disallow: /

許可しつつ、非公開パスへのアクセスを防ぐ

User-agent: Amazonbot
Allow: /
Disallow: /admin/

Amazon のその他の bot

ジェネレーターで robots.txt に追加 →