Anthropic · Entraînement

Qu’est-ce que ClaudeBot ?

Le crawler d’Anthropic qui collecte des pages publiques susceptibles d’être utilisées pour entraîner les modèles Claude. Il respecte robots.txt, y compris Crawl-delay.

Token robots.txt: ClaudeBot
Opérateur: Anthropic
Objectif: Entraînement
Respecte robots.txt: Oui L’opérateur indique que le bot respecte robots.txt.
Documenté par l’opérateur: Oui, sur les pages de l’opérateur.
Liste d’adresses IP publiée: claude.com/crawling/bots.json
Documentation: support.claude.com

Bloquer ClaudeBot sur tout votre site

robots.txt

User-agent: ClaudeBot
Disallow: /

L’autoriser, mais exclure les chemins privés

robots.txt

User-agent: ClaudeBot
Allow: /
Disallow: /admin/

Autres bots de Anthropic

Claude-SearchBot Claude-User

L’ajouter à un robots.txt dans le générateur →

Sources

support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-ca