Qu’est-ce que Diffbot ?

Le crawler de Diffbot, utilisé pour l’extraction de données et son graphe de connaissances. Ce token figure dans des listes communautaires, pas dans la documentation de Diffbot.

Token robots.txt

Diffbot

Opérateur

Diffbot

Objectif

Recherche

Respecte robots.txt

?Non précisé L’opérateur ne se prononce pas.

Documenté par l’opérateur

Non. Le token n’est connu que grâce à des listes communautaires, comme ai.robots.txt.

Selon des sources communautaires, le respect de robots.txt dépend des propres utilisateurs de Diffbot.

Bloquer Diffbot sur tout votre site

User-agent: Diffbot
Disallow: /

L’autoriser, mais exclure les chemins privés

User-agent: Diffbot
Allow: /
Disallow: /admin/

L’ajouter à un robots.txt dans le générateur →