Machen Sie Ihre Website für KI-Agents lesbar
KI-Crawler und Agents lesen Ihre Website anders als Menschen. Mit den folgenden Tools erstellen Sie die Dateien, nach denen sie suchen. Die anschließende Referenz erläutert, welche Konventionen Standards oder Entwürfe sind und wie viele Clients sie tatsächlich verwenden.
llms.txt-Generator
Geben Sie einen Namen, eine Zusammenfassung und Linkabschnitte ein und kopieren Sie eine Datei im Format von llmstxt.org.
robots.txt für KI-Bots
Legen Sie eine Richtlinie pro Bot-Zweck fest, aktivieren oder deaktivieren Sie einzelne Crawler, fügen Sie Content-Signal hinzu und laden Sie das Ergebnis herunter.
API-Katalog
Listen Sie Ihre APIs mit OpenAPI-Dateien und Dokumentation auf. Sie erhalten einen RFC-9727-Linkset sowie einen nginx-Block zum Bereitstellen.
Verzeichnis für KI-Bots
40 Crawler und Agents mit ihren Tokens, Zwecken, ihrem Verhalten gegenüber robots.txt und veröffentlichten IP-Listen.
Die Konventionen und wie etabliert sie sind
Stand: Oktober 2026. Jeder Eintrag verweist auf die Spezifikation oder die zugrunde liegenden Belege. So können Sie einschätzen, was sich für Ihre Website lohnt.
robots.txt Standard
Die Datei im Stammverzeichnis Ihrer Website benennt Crawler anhand ihres Tokens und listet die Pfade auf, die sie auslassen sollen. Sie ist als RFC 9309 standardisiert. KI-Anbieter veröffentlichen inzwischen separate Tokens für Training, Suche und nutzergesteuerte Abrufe. So kann eine einzelne Datei Training ablehnen und die Suche trotzdem zulassen. Die Einhaltung ist freiwillig, und mehrere Anbieter nutzergesteuerter Abrufe geben an, dass die Regeln für sie möglicherweise nicht gelten.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /Content-Signal Weit verbreitet
Eine zusätzliche Zeile in robots.txt, die festlegt, wofür abgerufene Inhalte verwendet werden dürfen: search, ai-input und ai-train, jeweils auf yes oder no gesetzt. Cloudflare veröffentlichte sie im September 2025 als CC0-Richtlinie und stellt sie über seine verwaltete robots.txt auf etwa 3.8 million Domains bereit. Der entsprechende IETF-Entwurf lief am 4 April 2026 aus. Die IETF-Arbeitsgruppe AIPREF arbeitet weiterhin an einem Entwurf für ein Vokabular.
User-agent: *
Content-Signal: ai-train=no, search=yes, ai-input=yes
Allow: /llms.txt Vorschlag
Eine Markdown-Datei unter /llms.txt mit einem H1-Namen, einer Zusammenfassung als Blockquote und H2-Abschnitten mit Links. So kann ein Agent wichtige Seiten direkt aufrufen, ohne die Navigation auswerten zu müssen. Die Spezifikation auf llmstxt.org wurde am 10 August 2026 überarbeitet; llms-full.txt gehört nicht dazu. Uns liegt keine Aussage eines Betreibers vor, dass ein großer Crawler diese Datei ausliest.
# Acme API
> Card payments for small online shops.
## Docs
- [Quickstart](https://example.com/docs/quickstart.md): first requestMarkdown-Versionen von Seiten Teilweise übernommen
Veröffentliche eine Markdown-Kopie jeder Seite unter page.md oder page.html.md oder liefere Markdown aus, wenn der Accept-Header text/markdown anfordert. Im Test von Checkly aus dem Februar 2026 sendeten Claude Code, Cursor und OpenCode diesen Header, Codex, Gemini CLI, GitHub Copilot und Windsurf dagegen nicht. AnswerShare zählte 1,277,965 Anfragen von Frontier-Crawlern; keine davon forderte Markdown an.
GET /docs/quickstart HTTP/1.1
Host: example.com
Accept: text/markdownAPI-Katalog Standard
RFC 9727, veröffentlicht im Juni 2025, reserviert /.well-known/api-catalog für eine Liste deiner öffentlichen APIs. Jede API verweist auf ihre maschinenlesbare Beschreibung, Dokumentation und Statusseite. Die Antwort muss den Content-Type application/linkset+json haben. Andere Seiten können mit der Link-Relation api-catalog darauf verweisen.
{
"linkset": [
{
"anchor": "https://api.example.com/v1",
"service-desc": [{ "href": "https://api.example.com/v1/openapi.json" }]
}
]
}Signierte Agent-Anfragen (Web Bot Auth) Entwurf
Agents signieren jede Anfrage mit HTTP Message Signatures (RFC 9421) und geben ihren Betreiber im Header Signature-Agent an. Du prüfst die Signatur anhand der Schlüssel, die der Betreiber unter /.well-known/http-message-signatures-directory veröffentlicht. Der Entwurf der IETF-Arbeitsgruppe stammt vom 1 September 2026. Der ChatGPT-Agent signiert bereits als https://chatgpt.com; Google testet https://agent.bot.goog.
Signature-Agent: "https://chatgpt.com"NLWeb Ins Stocken geraten
Microsofts NLWeb stellt einer Website die Endpoints /ask und /mcp zur Verfügung, die Agents in natürlicher Sprache abfragen können. Die Spezifikation liegt in Version 0.55 vor. Lumar meldet, dass das Zertifikat für nlweb.ai am 4 August 2026 abgelaufen ist und das Repository seit Juni kaum Aktivität zeigt. Warten Sie daher ab, bevor Sie darauf aufbauen.
Agents, die sich nicht zu erkennen geben
Manche Agents veröffentlichen kein robots.txt-Token und surfen wie ein Nutzer. Daher erreicht sie keine User-agent-Regel. Der ChatGPT-Agent signiert seine Anfragen mit Web Bot Auth und sendet den Header Signature-Agent: "https://chatgpt.com". Sie können die Signatur anhand des Schlüsselverzeichnisses von OpenAI prüfen. Cloudflare kennzeichnet diesen Traffic als chatgpt-agent. Für Gemini Spark im lokalen Chrome-Modus und Metas Muse ist kein entsprechendes Signal dokumentiert.
Fragen zu agentenfreundlichen Websites
Was macht eine Website agentenfreundlich?
Dafür gibt es keinen einheitlichen Standard. In der Praxis bedeutet es: eine robots.txt, die AI-Bots nach Zweck aufführt, optionale Dateien wie llms.txt und einen API-Katalog, Markdown-Versionen wichtiger Seiten sowie eine Möglichkeit, zugelassene Agents zu verifizieren. Nur für robots.txt und den API-Katalog gibt es veröffentlichte RFCs.
Lesen AI-Crawler llms.txt?
Uns liegt keine Dokumentation von Betreibern vor, die bestätigt, dass ein Crawler in unserem Verzeichnis die Datei abruft. Lighthouse prüft, ob die Datei vorhanden ist. Ein Agent, den Sie darauf verweisen, kann sie wie jede andere Seite lesen. Betrachten Sie die Datei als praktische Hilfe für Agents, nicht als Suchfunktion.
Sollte ich AI-Crawler auf meiner Website blockieren?
Entscheiden Sie je nach Zweck statt pauschal. Sie können Trainingstokens wie GPTBot, ClaudeBot und Google-Extended ablehnen, ohne die Suche zu beeinträchtigen. Wenn Sie Such-Tokens wie OAI-SearchBot oder PerplexityBot blockieren, sind Sie in den entsprechenden Produkten nicht mehr vertreten.
Kann ich den ChatGPT-Agent mit robots.txt blockieren?
Nein, denn er veröffentlicht kein Token. Sie können ihn anhand seiner Web-Bot-Auth-Signatur von https://chatgpt.com erkennen und ihn auf Ihrem Server oder CDN zulassen oder ablehnen. Eine gültige Signatur bestätigt, welcher Betreiber die Anfrage gesendet hat, nicht, wer der Nutzer ist oder was dieser tun darf.
Ist Content-Signal ein offizieller Standard?
Nein. Es handelt sich um eine CC0-Richtlinie von Cloudflare, die im September 2025 eingeführt wurde und über die verwaltete robots.txt von Cloudflare auf etwa 3.8 Millionen Domains bereitgestellt wird. Der IETF-Entwurf lief am 4 April 2026 aus; die AIPREF-Arbeitsgruppe arbeitet weiterhin an einem gemeinsamen Vokabular.