---
title: "CCBot: deze AI-crawler blokkeren of toestaan · DotsAgent"
description: "CCBot wordt beheerd door Common Crawl en staat vermeld onder training. De robots.txt-token, of de agent de regels volgt, de IP-lijst en hoe je de agent beheert."
url: https://dotsagent.io/nl/agent-ready/bots/ccbot
---

Common Crawl · Training

# Wat is CCBot?

De crawler van Common Crawl, die een open webcorpus samenstelt dat veel wordt gebruikt om AI-modellen te trainen. Volgt robots.txt.

- **robots.txt-token**: `CCBot`
- **Operator**: Common Crawl
- **Doel**: Training
- **Volgt robots.txt**: De beheerder zegt dat deze robots.txt volgt.
- **Gedocumenteerd door operator**: Ja, op de eigen pagina's van de beheerder.
- **Gepubliceerde IP-lijst**: [index.commoncrawl.org/ccbot.json](https://index.commoncrawl.org/ccbot.json)
- **Documentatie**: [commoncrawl.org](https://commoncrawl.org/ccbot)

De hosts verwijzen via reverse DNS naar *.crawl.commoncrawl.org, en Common Crawl publiceert een IP-lijst.

## Blokkeer CCBot op je hele site

`robots.txt`

```
User-agent: CCBot
Disallow: /
```

## Sta deze toe, maar sluit privé-paden uit

`robots.txt`

```
User-agent: CCBot
Allow: /
Disallow: /admin/
```

[Voeg deze toe aan een robots.txt in de generator →](https://dotsagent.io/nl/agent-ready/robots-txt)

## Bronnen

1. [commoncrawl.org](https://commoncrawl.org/ccbot)/ccbot

Onafhankelijke referentie voor iedereen die AI-agents bouwt. Niet verbonden aan een van de genoemde leveranciers.

© 2026 DotsAgent · Feiten gecontroleerd op 1 oktober 2026