Anthropic · Treinamento
O que é ClaudeBot?
Crawler da Anthropic que coleta páginas públicas que podem ser usadas para treinar os modelos Claude. Ele segue o robots.txt, incluindo Crawl-delay.
- Token para robots.txt
ClaudeBot- Operador
- Anthropic
- Finalidade
- Treinamento
- Obedece ao robots.txt
- Sim O operador informa que segue o robots.txt.
- Documentado pelo operador
- Sim, nas páginas do próprio operador.
- Lista de IPs publicada
- claude.com/crawling/bots.json
- Documentação
- support.claude.com
Bloqueie ClaudeBot em todo o seu site
User-agent: ClaudeBot
Disallow: /
Permita o acesso, mas proteja os caminhos privados
User-agent: ClaudeBot
Allow: /
Disallow: /admin/
Outros bots de Anthropic
Adicione-o ao robots.txt no gerador →