Anthropic · Training

Was ist ClaudeBot?

Der Crawler von Anthropic zum Erfassen öffentlicher Seiten, die möglicherweise zum Trainieren von Claude-Modellen verwendet werden. Er beachtet robots.txt, einschließlich Crawl-delay.

robots.txt-Token: ClaudeBot
Betreiber: Anthropic
Zweck: Training
Hält sich an robots.txt: Ja Der Betreiber gibt an, dass der Bot robots.txt beachtet.
Vom Betreiber dokumentiert: Ja, auf den Seiten des Betreibers.
Veröffentlichte IP-Liste: claude.com/crawling/bots.json
Dokumentation: support.claude.com

ClaudeBot für Ihre gesamte Website sperren

robots.txt

User-agent: ClaudeBot
Disallow: /

Zugriff erlauben, aber private Pfade ausschließen

robots.txt

User-agent: ClaudeBot
Allow: /
Disallow: /admin/

Weitere Bots von Anthropic

Claude-SearchBot Claude-User

Im Generator zu robots.txt hinzufügen →

Quellen

support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-ca