dotsagent.io
اللغة:العربية
Anthropic · التدريب

ما هو ClaudeBot؟

زاحف Anthropic لجمع الصفحات العامة التي قد تُستخدم لتدريب نماذج Claude. يلتزم بملف robots.txt، بما في ذلك Crawl-delay.

رمز robots.txt
ClaudeBot
المشغّل
Anthropic
الغرض
التدريب
يلتزم بـ robots.txt
نعم يذكر المشغّل أن هذا البوت يلتزم بملف robots.txt.
موثّق من المشغّل
نعم، في صفحات المشغّل نفسه.
قائمة IP منشورة
claude.com/crawling/bots.json
التوثيق
support.claude.com

احظر ClaudeBot من موقعك بالكامل

robots.txt
User-agent: ClaudeBot
Disallow: /

اسمح له، مع حجب المسارات الخاصة

robots.txt
User-agent: ClaudeBot
Allow: /
Disallow: /admin/

بوتات أخرى من Anthropic

أضِفه إلى ملف robots.txt في المولّد →

المصادر

  1. support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-ca