Amazon · 训练
Amazonbot 是什么？
Amazon 用于训练和改进其产品与服务的爬虫。它遵守 robots.txt 和 noarchive，但不遵守 Crawl-delay。
- robots.txt token
Amazonbot- 运营方
- Amazon
- 用途
- 训练
- 是否遵守 robots.txt
- 是 运营方表示该爬虫遵守 robots.txt。
- 运营方是否提供文档
- 是，运营方在其自有页面上有相关说明。
- 公开的 IP 列表
- developer.amazon.com/amazonbot/ip-addresses/
- 文档
- developer.amazon.com
在整个网站上屏蔽 Amazonbot
User-agent: Amazonbot
Disallow: /
允许访问，但屏蔽私有路径
User-agent: Amazonbot
Allow: /
Disallow: /admin/