Anthropic · Entrenamiento

¿Qué es ClaudeBot?

Rastreador de Anthropic que recopila páginas públicas que podrían usarse para entrenar los modelos Claude. Respeta robots.txt, incluida la directiva Crawl-delay.

Token de robots.txt: ClaudeBot
Operador: Anthropic
Propósito: Entrenamiento
Respeta robots.txt: Sí El operador indica que respeta robots.txt.
Documentado por el operador: Sí, en las páginas oficiales del operador.
Lista de IP publicada: claude.com/crawling/bots.json
Documentación: support.claude.com

Bloquea ClaudeBot en todo tu sitio

robots.txt

User-agent: ClaudeBot
Disallow: /

Permítelo, pero excluye las rutas privadas

robots.txt

User-agent: ClaudeBot
Allow: /
Disallow: /admin/

Otros bots de Anthropic

Claude-SearchBot Claude-User

Añádelo a un robots.txt en el generador →

Fuentes

support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-ca