---
title: "Websites voor AI-agents: llms.txt, robots.txt, AI-bots · DotsAgent"
description: "Genereer llms.txt, een robots.txt voor AI-bots en een RFC 9727 API-catalogus. Zoek daarna 40 AI-crawlers en agents op token, doel en gepubliceerde IP-lijst op."
url: https://dotsagent.io/nl/agent-ready
---

Maak je site toegankelijk · referentie

# Maak je site leesbaar voor AI-agents

AI-crawlers en agents lezen je site anders dan mensen. De tools hieronder genereren de bestanden waar ze naar zoeken. De referentie erna legt uit welke conventies standaarden zijn, welke nog concepten zijn en hoeveel clients ze daadwerkelijk gebruiken.

- [llms.txt-generator](https://dotsagent.io/nl/agent-ready/llms-txt): Voer een naam, samenvatting en linksecties in en kopieer een bestand in het formaat van llmstxt.org.

- [robots.txt voor AI-bots](https://dotsagent.io/nl/agent-ready/robots-txt): Stel per botdoel een beleid in, schakel afzonderlijke crawlers in of uit, voeg Content-Signal toe en download het resultaat.

- [API-catalogus](https://dotsagent.io/nl/agent-ready/api-catalog): Vermeld je API's met hun OpenAPI-bestanden en documentatie. Genereer een RFC 9727-linkset en een nginx-configuratieblok om die te serveren.

- [Overzicht van AI-bots](https://dotsagent.io/nl/agent-ready/bots): 40 crawlers en agents met hun tokens, doelen, robots.txt-gedrag en gepubliceerde IP-lijsten.

## De conventies en hoe ingeburgerd ze zijn

Status in oktober 2026. Elke vermelding linkt naar de specificatie of het onderliggende bewijs, zodat je kunt bepalen wat de moeite waard is voor je site.

### robots.txt Standaard

Het bestand in de root van je site benoemt crawlers aan de hand van hun token en vermeldt de paden die ze moeten overslaan. Het is gestandaardiseerd als RFC 9309. AI-aanbieders publiceren nu aparte tokens voor training, zoeken en ophalen op verzoek van de gebruiker. Zo kan één bestand training weigeren en zoeken toch toestaan. Naleving is vrijwillig en verschillende fetchers die door gebruikers worden gestart, geven aan dat de regels mogelijk niet voor hen gelden.

`/robots.txt`

```
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
```

[platform.openai.com](https://platform.openai.com/docs/bots)[developers.google.com](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)

### Content-Signal Veelgebruikt

Eén extra regel in robots.txt die aangeeft hoe opgehaalde content mag worden gebruikt: search, ai-input en ai-train, elk ingesteld op yes of no. Cloudflare publiceerde dit in september 2025 als CC0-beleid en levert het via de beheerde robots.txt op ongeveer 3.8 miljoen domeinen. Het bijbehorende IETF-concept is op 4 april 2026 verlopen; de IETF-werkgroep AIPREF werkt verder aan een concept voor de woordenschat.

`/robots.txt`

```
User-agent: *
Content-Signal: ai-train=no, search=yes, ai-input=yes
Allow: /
```

[blog.cloudflare.com](https://blog.cloudflare.com/content-signals-policy/)[datatracker.ietf.org](https://datatracker.ietf.org/wg/aipref/documents/)

### llms.txt Voorstel

Een Markdown-bestand op /llms.txt met een H1-kop met de naam, een samenvatting als blockquote en H2-secties met links, zodat een agent bij je belangrijkste pagina's kan komen zonder de navigatie te hoeven verwerken. De specificatie op llmstxt.org is op 10 August 2026 herzien; llms-full.txt maakt er geen deel van uit. We hebben geen verklaring van een operator dat een grote crawler dit bestand leest.

`/llms.txt`

```
# Acme API

> Card payments for small online shops.

## Docs

- [Quickstart](https://example.com/docs/quickstart.md): first request
```

[llmstxt.org](https://llmstxt.org/)[llmstxt.org](https://llmstxt.org/changes.html)

### Markdown-versies van pagina's Gedeeltelijke adoptie

Publiceer een Markdown-kopie van elke pagina op page.md of page.html.md, of lever Markdown aan voor verzoeken waarvan de Accept-header om text/markdown vraagt. In de test van Checkly uit februari 2026 stuurden Claude Code, Cursor en OpenCode die header mee, maar Codex, Gemini CLI, GitHub Copilot en Windsurf niet. AnswerShare telde 1,277,965 verzoeken van frontier-crawlers; geen daarvan vroeg om Markdown.

`Request`

```
GET /docs/quickstart HTTP/1.1
Host: example.com
Accept: text/markdown
```

[developers.cloudflare.com](https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/)[checklyhq.com](https://www.checklyhq.com/blog/state-of-ai-agent-content-negotation/)[answershare.com](https://answershare.com/markdowndoesnotwork)

### API-catalogus Standaard

RFC 9727, gepubliceerd in juni 2025, reserveert /.well-known/api-catalog voor een lijst van je openbare API's, elk gekoppeld aan de machineleesbare beschrijving, documentatie en statuspagina. Het antwoord moet application/linkset+json zijn; andere pagina's kunnen ernaar verwijzen met de api-catalog-linkrelatie.

`/.well-known/api-catalog`

```
{
  "linkset": [
    {
      "anchor": "https://api.example.com/v1",
      "service-desc": [{ "href": "https://api.example.com/v1/openapi.json" }]
    }
  ]
}
```

[rfc-editor.org](https://www.rfc-editor.org/rfc/rfc9727.html)

### Ondertekende agentverzoeken (Web Bot Auth) Concept

Agents ondertekenen elk verzoek met HTTP Message Signatures (RFC 9421) en vermelden hun operator in een Signature-Agent-header. Je controleert de handtekening aan de hand van de sleutels die de operator publiceert onder /.well-known/http-message-signatures-directory. Het concept van de IETF-werkgroep dateert van 1 September 2026; de ChatGPT-agent ondertekent al als https://chatgpt.com en Google experimenteert met https://agent.bot.goog.

`Request header`

```
Signature-Agent: "https://chatgpt.com"
```

[datatracker.ietf.org](https://datatracker.ietf.org/doc/draft-ietf-webbotauth-httpsig-protocol/)[blog.cloudflare.com](https://blog.cloudflare.com/signed-agents/)

### NLWeb Stagneert

Microsofts NLWeb biedt een site /ask- en /mcp-endpoints die agents in natuurlijke taal kunnen bevragen. De spec staat op versie 0.55. Lumar meldt dat het certificaat van nlweb.ai op 4 August 2026 is verlopen en dat het al sinds juni stil is in de repository. Wacht daarom nog even voordat je erop voortbouwt.

[github.com](https://github.com/microsoft/NLWeb/blob/main/docs/nlweb-rest-api.md)[agentic-readiness.lumar.io](https://agentic-readiness.lumar.io/docs/capabilities/nl-web)

## Agents die zich niet kenbaar maken

Sommige agents publiceren geen robots.txt-token en browsen zoals een gebruiker dat zou doen. Geen enkele User-agent-regel kan ze dus bereiken. De ChatGPT-agent ondertekent zijn requests met Web Bot Auth en verstuurt Signature-Agent: "https://chatgpt.com". Je kunt dit controleren aan de hand van OpenAI's sleutelregister; Cloudflare herkent dit verkeer als chatgpt-agent. Voor Gemini Spark in de lokale Chrome-modus en Meta's Muse is helemaal geen signaal gedocumenteerd.

## Veelgestelde vragen over sites die geschikt zijn voor agents

### Wat maakt een website geschikt voor agents?

Er is geen enkele standaard die dit definieert. In de praktijk gaat het om een robots.txt met AI-bots ingedeeld naar doel, optionele bestanden zoals llms.txt en een API-catalogus, Markdown-versies van belangrijke pagina's en een manier om agents die je toegang geeft te verifiëren. Alleen robots.txt en de API-catalogus zijn hiervan gepubliceerd als RFC.

### Lezen AI-crawlers llms.txt?

We hebben geen documentatie van operators waaruit blijkt dat crawlers in onze directory dit bestand ophalen. Lighthouse controleert of het bestand bestaat, en een agent die je ernaartoe verwijst, kan het lezen zoals elke andere pagina. Zie het als een hulpmiddel voor agents, niet als een zoekfunctie.

### Moet ik AI-crawlers op mijn site blokkeren?

Beslis per doel in plaats van alles in één keer te blokkeren. Je kunt bots voor training, zoals GPTBot, ClaudeBot en Google-Extended, weigeren zonder zoekverkeer te blokkeren. Als je zoektokens zoals OAI-SearchBot of PerplexityBot blokkeert, ben je helemaal niet meer beschikbaar in die producten.

### Kan ik de ChatGPT-agent blokkeren met robots.txt?

Nee, want deze publiceert geen token. Je kunt de agent herkennen aan de Web Bot Auth-handtekening van https://chatgpt.com en hem toestaan of weigeren op je server of CDN. Een geldige handtekening bewijst welke operator het request heeft verstuurd, niet wie de gebruiker is of wat die mag doen.

### Is Content-Signal een officiële standaard?

Nee. Het is een CC0-beleid van Cloudflare, gelanceerd in september 2025 en beschikbaar op ongeveer 3.8 million domeinen via Cloudflares beheerde robots.txt. Het IETF-concept is op 4 April 2026 verlopen en de AIPREF-werkgroep werkt nog aan een gedeelde vocabulaire.

Onafhankelijke referentie voor iedereen die AI-agents bouwt. Niet verbonden aan een van de genoemde leveranciers.

© 2026 DotsAgent · Feiten gecontroleerd op 1 oktober 2026