---
title: "Diffbot : bloquer ou autoriser ce crawler IA · DotsAgent"
description: "Diffbot est exploité par Diffbot et répertorié sous recherche. Découvrez son token robots.txt, s’il respecte les règles, sa liste d’adresses IP et comment le contrôler."
url: https://dotsagent.io/fr/agent-ready/bots/diffbot
---

Diffbot · Recherche

# Qu’est-ce que Diffbot ?

Le crawler de Diffbot, utilisé pour l’extraction de données et son graphe de connaissances. Ce token figure dans des listes communautaires, pas dans la documentation de Diffbot.

- **Token robots.txt**: `Diffbot`
- **Opérateur**: Diffbot
- **Objectif**: Recherche
- **Respecte robots.txt**: L’opérateur ne se prononce pas.
- **Documenté par l’opérateur**: Non. Le token n’est connu que grâce à des listes communautaires, comme ai.robots.txt.

Selon des sources communautaires, le respect de robots.txt dépend des propres utilisateurs de Diffbot.

## Bloquer Diffbot sur tout votre site

`robots.txt`

```
User-agent: Diffbot
Disallow: /
```

## L’autoriser, mais exclure les chemins privés

`robots.txt`

```
User-agent: Diffbot
Allow: /
Disallow: /admin/
```

[L’ajouter à un robots.txt dans le générateur →](https://dotsagent.io/fr/agent-ready/robots-txt)

## Sources

1. [github.com](https://github.com/ai-robots-txt/ai.robots.txt)/ai-robots-txt/ai.robots.txt

Référence indépendante pour les personnes qui créent des agents IA. Sans affiliation avec les fournisseurs cités.

© 2026 DotsAgent · Données vérifiées le 1 octobre 2026