---
title: "Diffbot: deze AI-crawler blokkeren of toestaan · DotsAgent"
description: "Diffbot wordt beheerd door Diffbot en staat vermeld onder zoeken. De robots.txt-token, of de agent de regels volgt, de IP-lijst en hoe je de agent beheert."
url: https://dotsagent.io/nl/agent-ready/bots/diffbot
---

Diffbot · Zoeken

# Wat is Diffbot?

De crawler van Diffbot voor gegevensextractie en de kennisgraaf. De token komt uit communitylijsten, niet uit de eigen documentatie van Diffbot.

- **robots.txt-token**: `Diffbot`
- **Operator**: Diffbot
- **Doel**: Zoeken
- **Volgt robots.txt**: De beheerder vermeldt dit niet.
- **Gedocumenteerd door operator**: Nee. De token is alleen bekend uit communitylijsten zoals ai.robots.txt.

Volgens communitybronnen hangt het ervan af of de crawler robots.txt respecteert af van de gebruikers van Diffbot zelf.

## Blokkeer Diffbot op je hele site

`robots.txt`

```
User-agent: Diffbot
Disallow: /
```

## Sta deze toe, maar sluit privé-paden uit

`robots.txt`

```
User-agent: Diffbot
Allow: /
Disallow: /admin/
```

[Voeg deze toe aan een robots.txt in de generator →](https://dotsagent.io/nl/agent-ready/robots-txt)

## Bronnen

1. [github.com](https://github.com/ai-robots-txt/ai.robots.txt)/ai-robots-txt/ai.robots.txt

Onafhankelijke referentie voor iedereen die AI-agents bouwt. Niet verbonden aan een van de genoemde leveranciers.

© 2026 DotsAgent · Feiten gecontroleerd op 1 oktober 2026