dotsagent.io
Sprache:Deutsch
Anthropic · Suche

Was ist Claude-SearchBot?

Der Crawler von Anthropic für die Suche in Claude. Er beachtet robots.txt und hat ein eigenes Token, getrennt von ClaudeBot.

robots.txt-Token
Claude-SearchBot
Betreiber
Anthropic
Zweck
Suche
Hält sich an robots.txt
Ja Der Betreiber gibt an, dass der Bot robots.txt beachtet.
Vom Betreiber dokumentiert
Ja, auf den Seiten des Betreibers.
Veröffentlichte IP-Liste
claude.com/crawling/bots.json
Dokumentation
support.claude.com

Claude-SearchBot für Ihre gesamte Website sperren

robots.txt
User-agent: Claude-SearchBot
Disallow: /

Zugriff erlauben, aber private Pfade ausschließen

robots.txt
User-agent: Claude-SearchBot
Allow: /
Disallow: /admin/

Weitere Bots von Anthropic

Im Generator zu robots.txt hinzufügen →

Quellen

  1. support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-ca