Anthropic · Training

Wat is ClaudeBot?

De crawler van Anthropic voor het verzamelen van openbare pagina's die mogelijk worden gebruikt om Claude-modellen te trainen. Deze volgt robots.txt, inclusief Crawl-delay.

robots.txt-token: ClaudeBot
Operator: Anthropic
Doel: Training
Volgt robots.txt: Ja De beheerder zegt dat deze robots.txt volgt.
Gedocumenteerd door operator: Ja, op de eigen pagina's van de beheerder.
Gepubliceerde IP-lijst: claude.com/crawling/bots.json
Documentatie: support.claude.com

Blokkeer ClaudeBot op je hele site

robots.txt

User-agent: ClaudeBot
Disallow: /

Sta deze toe, maar sluit privé-paden uit

robots.txt

User-agent: ClaudeBot
Allow: /
Disallow: /admin/

Andere bots van Anthropic

Claude-SearchBot Claude-User

Voeg deze toe aan een robots.txt in de generator →

Bronnen

support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-ca