Что такое Amazonbot?

Краулер Amazon для обучения и улучшения её продуктов и сервисов. Он соблюдает robots.txt и noarchive, но не учитывает Crawl-delay.

Токен robots.txt

Amazonbot

Оператор

Amazon

Назначение

Обучение

Соблюдает robots.txt

●Да Оператор сообщает, что бот соблюдает robots.txt.

Описан оператором

Да, на страницах самого оператора.

Опубликованный список IP-адресов

developer.amazon.com/amazonbot/ip-addresses/

Документация

developer.amazon.com

Заблокировать Amazonbot на всём сайте

User-agent: Amazonbot
Disallow: /

Разрешить доступ, но закрыть приватные пути

User-agent: Amazonbot
Allow: /
Disallow: /admin/

Другие боты от Amazon

Добавить в генератор robots.txt →