ClaudeBot คืออะไร?

crawler ของ Anthropic ที่รวบรวมหน้าเว็บสาธารณะซึ่งอาจนำไปใช้ฝึกโมเดล Claude ปฏิบัติตาม robots.txt รวมถึง Crawl-delay

token สำหรับ robots.txt

ClaudeBot

ผู้ให้บริการ

Anthropic

วัตถุประสงค์

การฝึกโมเดล

ทำตาม robots.txt

●ใช่ ผู้ให้บริการระบุว่าบอตนี้ปฏิบัติตาม robots.txt

มีเอกสารจากผู้ให้บริการ

มีระบุไว้ในหน้าเว็บของผู้ให้บริการ

รายการ IP ที่เผยแพร่

claude.com/crawling/bots.json

เอกสาร

support.claude.com

บล็อก ClaudeBot จากทั้งเว็บไซต์

User-agent: ClaudeBot
Disallow: /

อนุญาตให้เข้าถึง แต่กันเส้นทางส่วนตัวไว้

User-agent: ClaudeBot
Allow: /
Disallow: /admin/

บอตอื่นจาก Anthropic

เพิ่มลงใน robots.txt ใน generator →