Verzeichnis für AI-Crawler und -Agents

Alle AI-Bots, die wir bestätigen konnten – mit dem Token für robots.txt, dem Zweck ihrer Abrufe, den Angaben ihrer Betreiber zur Einhaltung der Regeln und Hinweisen dazu, wie Sie überprüfen können, ob eine Anfrage tatsächlich von diesem Bot stammt. Tokens, die nur aus dem Community-Register ai.robots.txt bekannt sind, sind auf den jeweiligen Seiten entsprechend gekennzeichnet.

Was die einzelnen Zwecke bedeuten

Training

Sammelt Seiten für das Modelltraining oder allgemeines Research-Crawling. Google-Extended und Applebot-Extended sind Steuerungs-Tokens und rufen selbst niemals Inhalte ab.

Suche

Indexiert Seiten für ein Suchprodukt – von Google Search bis hin zu AI-Antwortdiensten wie ChatGPT search, Perplexity und DuckAssist. Wenn Sie den Bot blockieren, wird Ihre Website in diesem Produkt nicht angezeigt.

Nutzerabrufe

Ruft eine Seite ab, weil eine Person in einem Chat oder Tool darum gebeten hat. Mehrere Betreiber geben an, dass robots.txt für solche Anfragen möglicherweise nicht gilt.

Agents

Navigiert im Auftrag eines Nutzers und führt Aktionen aus, häufig in einem vollständigen Browser. Viele haben kein Token und lassen sich, wenn überhaupt, nur anhand ihrer Signatur erkennen.

Werbung

Überprüft Landingpages von Anzeigen, die Werbetreibende eingereicht haben. Diese Bots sind im robots.txt-Generator nicht enthalten.

Prüfen, ob ein Bot wirklich der ist, für den er sich ausgibt

Ein User-Agent-String lässt sich kostenlos fälschen. Die meisten großen Betreiber veröffentlichen die IP-Bereiche ihrer Bots als JSON-Dateien, die in der Tabelle als IP-Liste gekennzeichnet sind. Vergleichen Sie die Adresse der Anfrage mit der Liste für diesen Token und behandeln Sie einen Treffer allein anhand des Namens als nicht verifiziert.

Einige Betreiber dokumentieren außerdem Reverse DNS. Common Crawl gibt beispielsweise an, dass CCBot-Hosts zu *.crawl.commoncrawl.org aufgelöst werden. Vergewissern Sie sich, dass der Hostname wieder auf dieselbe Adresse aufgelöst wird, bevor Sie ihm vertrauen.

Agents signieren Anfragen zunehmend mit HTTP Message Signatures (RFC 9421) gemäß dem Web Bot Auth-Entwurf. Die Anfrage nennt den Betreiber in Signature-Agent. Prüfen Sie die Signatur mit den öffentlichen Schlüsseln unter /.well-known/http-message-signatures-directory der betreffenden Domain. Eine gültige Signatur bestätigt den Betreiber, nicht die Person hinter der Anfrage oder deren Berechtigungen.

Aus dieser Liste eine robots.txt erstellen →