Amazonbot이란?

Amazon 제품과 서비스를 학습하고 개선하기 위한 크롤러입니다. robots.txt와 noarchive는 따르지만 Crawl-delay는 따르지 않습니다.

robots.txt 토큰

Amazonbot

운영자

Amazon

목적

학습

robots.txt 준수

●예 운영자는 robots.txt를 준수한다고 밝힙니다.

운영자 문서

예, 운영자의 공식 페이지에 나와 있습니다.

공개된 IP 목록

developer.amazon.com/amazonbot/ip-addresses/

문서

developer.amazon.com

사이트 전체에서 Amazonbot 차단

User-agent: Amazonbot
Disallow: /

허용하되 비공개 경로는 제외

User-agent: Amazonbot
Allow: /
Disallow: /admin/

Amazon의 다른 봇

생성기의 robots.txt에 추가 →