--- title: "KI-Bot-Verzeichnis: 40 Crawler, Tokens und IP-Listen · DotsAgent" description: "40 AI-Crawler und -Agents von OpenAI, Anthropic, Google, Apple, Meta, Amazon und anderen – mit robots.txt-Token, Zweck, Angaben zur Einhaltung der Regeln und IP-Liste." url: https://dotsagent.io/de/agent-ready/bots --- 40 Crawler und Agents # Verzeichnis für AI-Crawler und -Agents Alle AI-Bots, die wir bestätigen konnten – mit dem Token für robots.txt, dem Zweck ihrer Abrufe, den Angaben ihrer Betreiber zur Einhaltung der Regeln und Hinweisen dazu, wie Sie überprüfen können, ob eine Anfrage tatsächlich von diesem Bot stammt. Tokens, die nur aus dem Community-Register ai.robots.txt bekannt sind, sind auf den jeweiligen Seiten entsprechend gekennzeichnet. | Bot | Token | Zweck | Befolgt robots.txt | Überprüfen | | --- | --- | --- | --- | --- | | [GPTBot](https://dotsagent.io/de/agent-ready/bots/gptbot)OpenAI | `GPTBot` | Training | — | IP-Liste | | [OAI-SearchBot](https://dotsagent.io/de/agent-ready/bots/oai-searchbot)OpenAI | `OAI-SearchBot` | Suche | — | IP-Liste | | [ChatGPT-User](https://dotsagent.io/de/agent-ready/bots/chatgpt-user)OpenAI | `ChatGPT-User` | Nutzerabrufe | — | IP-Liste | | [OAI-AdsBot](https://dotsagent.io/de/agent-ready/bots/oai-adsbot)OpenAI | `OAI-AdsBot` | Werbung | — | IP-Liste | | [ChatGPT agent](https://dotsagent.io/de/agent-ready/bots/chatgpt-agent)OpenAI | Kein Token | Agents | — | Signierte Anfragen | | [ClaudeBot](https://dotsagent.io/de/agent-ready/bots/claudebot)Anthropic | `ClaudeBot` | Training | — | IP-Liste | | [Claude-SearchBot](https://dotsagent.io/de/agent-ready/bots/claude-searchbot)Anthropic | `Claude-SearchBot` | Suche | — | IP-Liste | | [Claude-User](https://dotsagent.io/de/agent-ready/bots/claude-user)Anthropic | `Claude-User` | Nutzerabrufe | — | IP-Liste | | [Googlebot](https://dotsagent.io/de/agent-ready/bots/googlebot)Google | `Googlebot` | Suche | — | IP-Liste | | [Google-Extended](https://dotsagent.io/de/agent-ready/bots/google-extended)Google | `Google-Extended` | Training | — | — | | [Google-CloudVertexBot](https://dotsagent.io/de/agent-ready/bots/google-cloudvertexbot)Google | `Google-CloudVertexBot` | Suche | — | IP-Liste | | [GoogleOther](https://dotsagent.io/de/agent-ready/bots/googleother)Google | `GoogleOther` | Training | — | IP-Liste | | [Google-Agent](https://dotsagent.io/de/agent-ready/bots/google-agent)Google | `Google-Agent` | Agents | — | IP-Liste | | [Google-GeminiNotebook](https://dotsagent.io/de/agent-ready/bots/google-gemininotebook)Google | `Google-GeminiNotebook` | Nutzerabrufe | — | IP-Liste | | [Gemini Spark](https://dotsagent.io/de/agent-ready/bots/gemini-spark)Google | Kein Token | Agents | — | — | | [Gemini-Deep-Research](https://dotsagent.io/de/agent-ready/bots/gemini-deep-research)Google | `Gemini-Deep-Research` | Nutzerabrufe | — | — | | [GoogleAgent-Mariner](https://dotsagent.io/de/agent-ready/bots/googleagent-mariner)Google | `GoogleAgent-Mariner` | Agents | — | — | | [Applebot](https://dotsagent.io/de/agent-ready/bots/applebot)Apple | `Applebot` | Suche | — | IP-Liste | | [Applebot-Extended](https://dotsagent.io/de/agent-ready/bots/applebot-extended)Apple | `Applebot-Extended` | Training | — | — | | [PerplexityBot](https://dotsagent.io/de/agent-ready/bots/perplexitybot)Perplexity | `PerplexityBot` | Suche | — | IP-Liste | | [Perplexity-User](https://dotsagent.io/de/agent-ready/bots/perplexity-user)Perplexity | `Perplexity-User` | Nutzerabrufe | — | IP-Liste | | [meta-externalagent](https://dotsagent.io/de/agent-ready/bots/meta-externalagent)Meta | `meta-externalagent` | Training | — | — | | [meta-webindexer](https://dotsagent.io/de/agent-ready/bots/meta-webindexer)Meta | `meta-webindexer` | Suche | — | — | | [meta-externalfetcher](https://dotsagent.io/de/agent-ready/bots/meta-externalfetcher)Meta | `meta-externalfetcher` | Nutzerabrufe | — | — | | [meta-externalads](https://dotsagent.io/de/agent-ready/bots/meta-externalads)Meta | `meta-externalads` | Werbung | — | — | | [facebookexternalhit](https://dotsagent.io/de/agent-ready/bots/facebookexternalhit)Meta | `facebookexternalhit` | Nutzerabrufe | — | — | | [Muse](https://dotsagent.io/de/agent-ready/bots/muse)Meta | Kein Token | Agents | — | — | | [Amazonbot](https://dotsagent.io/de/agent-ready/bots/amazonbot)Amazon | `Amazonbot` | Training | — | IP-Liste | | [Amzn-SearchBot](https://dotsagent.io/de/agent-ready/bots/amzn-searchbot)Amazon | `Amzn-SearchBot` | Suche | — | IP-Liste | | [Amzn-User](https://dotsagent.io/de/agent-ready/bots/amzn-user)Amazon | `Amzn-User` | Nutzerabrufe | — | IP-Liste | | [DuckAssistBot](https://dotsagent.io/de/agent-ready/bots/duckassistbot)DuckDuckGo | `DuckAssistBot` | Suche | — | IP-Liste | | [MistralAI-User](https://dotsagent.io/de/agent-ready/bots/mistralai-user)Mistral | `MistralAI-User` | Nutzerabrufe | — | IP-Liste | | [MistralAI-Index](https://dotsagent.io/de/agent-ready/bots/mistralai-index)Mistral | `MistralAI-Index` | Suche | — | IP-Liste | | [MistralAI-Training](https://dotsagent.io/de/agent-ready/bots/mistralai-training)Mistral | `MistralAI-Training` | Training | — | — | | [CCBot](https://dotsagent.io/de/agent-ready/bots/ccbot)Common Crawl | `CCBot` | Training | — | IP-Liste | | [cohere-ai](https://dotsagent.io/de/agent-ready/bots/cohere-ai)Cohere | `cohere-ai` | Nutzerabrufe | — | — | | [Bytespider](https://dotsagent.io/de/agent-ready/bots/bytespider)ByteDance | `Bytespider` | Training | — | — | | [YouBot](https://dotsagent.io/de/agent-ready/bots/youbot)You.com | `YouBot` | Suche | — | — | | [Diffbot](https://dotsagent.io/de/agent-ready/bots/diffbot)Diffbot | `Diffbot` | Suche | — | — | | [Timpibot](https://dotsagent.io/de/agent-ready/bots/timpibot)Timpi | `Timpibot` | Training | — | — | ## Was die einzelnen Zwecke bedeuten - **Training**: Sammelt Seiten für das Modelltraining oder allgemeines Research-Crawling. Google-Extended und Applebot-Extended sind Steuerungs-Tokens und rufen selbst niemals Inhalte ab. - **Suche**: Indexiert Seiten für ein Suchprodukt – von Google Search bis hin zu AI-Antwortdiensten wie ChatGPT search, Perplexity und DuckAssist. Wenn Sie den Bot blockieren, wird Ihre Website in diesem Produkt nicht angezeigt. - **Nutzerabrufe**: Ruft eine Seite ab, weil eine Person in einem Chat oder Tool darum gebeten hat. Mehrere Betreiber geben an, dass robots.txt für solche Anfragen möglicherweise nicht gilt. - **Agents**: Navigiert im Auftrag eines Nutzers und führt Aktionen aus, häufig in einem vollständigen Browser. Viele haben kein Token und lassen sich, wenn überhaupt, nur anhand ihrer Signatur erkennen. - **Werbung**: Überprüft Landingpages von Anzeigen, die Werbetreibende eingereicht haben. Diese Bots sind im robots.txt-Generator nicht enthalten. ## Prüfen, ob ein Bot wirklich der ist, für den er sich ausgibt Ein User-Agent-String lässt sich kostenlos fälschen. Die meisten großen Betreiber veröffentlichen die IP-Bereiche ihrer Bots als JSON-Dateien, die in der Tabelle als IP-Liste gekennzeichnet sind. Vergleichen Sie die Adresse der Anfrage mit der Liste für diesen Token und behandeln Sie einen Treffer allein anhand des Namens als nicht verifiziert. Einige Betreiber dokumentieren außerdem Reverse DNS. Common Crawl gibt beispielsweise an, dass CCBot-Hosts zu *.crawl.commoncrawl.org aufgelöst werden. Vergewissern Sie sich, dass der Hostname wieder auf dieselbe Adresse aufgelöst wird, bevor Sie ihm vertrauen. Agents signieren Anfragen zunehmend mit HTTP Message Signatures (RFC 9421) gemäß dem Web Bot Auth-Entwurf. Die Anfrage nennt den Betreiber in Signature-Agent. Prüfen Sie die Signatur mit den öffentlichen Schlüsseln unter /.well-known/http-message-signatures-directory der betreffenden Domain. Eine gültige Signatur bestätigt den Betreiber, nicht die Person hinter der Anfrage oder deren Berechtigungen. [Aus dieser Liste eine robots.txt erstellen →](https://dotsagent.io/de/agent-ready/robots-txt) ## Fragen zu KI-Crawlern ### Welche KI-Crawler ignorieren robots.txt? Laut der Dokumentation ihrer Betreiber halten sich ChatGPT-User, Perplexity-User, Google-Agent, Google-GeminiNotebook, Amzn-User, meta-externalfetcher und facebookexternalhit möglicherweise nicht daran, meist weil ein Nutzer den Abruf ausgelöst hat. Berichten aus der Community zufolge hält sich Bytespider ebenfalls nicht daran. ### Was ist der Unterschied zwischen GPTBot, OAI-SearchBot und ChatGPT-User? GPTBot sammelt Seiten für das Training von OpenAI-Modellen, OAI-SearchBot indexiert Seiten für die ChatGPT-Suche und ChatGPT-User ruft eine Seite ab, wenn eine Person danach fragt. Die ersten beiden halten sich an robots.txt. OpenAI zufolge gelten die Regeln möglicherweise nicht für den dritten. ### Welche KI-Agents haben keinen robots.txt-Token? ChatGPT agent, Gemini Spark und Meta's Muse. ChatGPT agent lässt sich anhand seiner Web Bot Auth-Signatur von https://chatgpt.com verifizieren. Gemini Spark sieht im lokalen Chrome-Modus aus wie der Browser des Nutzers, und für Muse ist kein User-Agent veröffentlicht. ### Wie prüfe ich, ob eine Anfrage wirklich von Googlebot kommt? Google veröffentlicht die IP-Bereiche von Googlebot als JSON-Datei, die im Eintrag dieses Verzeichnisses verlinkt ist. Vergleichen Sie die Adresse der Anfrage mit diesen Bereichen, statt dem User-Agent-String zu vertrauen. ### Woher stammt diese Liste der KI-Bots? Jeder Eintrag verlinkt, sofern vorhanden, auf die Dokumentation des Betreibers. Tokens ohne solche Dokumentation stammen aus dem Community-Register ai.robots.txt. DeepSeekBot, Kimi-User, Manus-User, NovaAct, Devin und PetalBot haben wir weggelassen, da wir keine Dokumentation ihrer Betreiber gefunden haben. Die Liste wurde am 1. Oktober 2026 überprüft. Unabhängige Referenz für alle, die KI-Agenten entwickeln. Wir sind mit keinem der hier genannten Anbieter verbunden. © 2026 DotsAgent · Fakten geprüft am 1. Oktober 2026