O que é Diffbot?

Crawler da Diffbot para extração de dados e seu grafo de conhecimento. O token aparece em listas da comunidade, não na documentação da própria Diffbot.

Token para robots.txt

Diffbot

Operador

Diffbot

Finalidade

Busca

Obedece ao robots.txt

?Não informado O operador não informa.

Documentado pelo operador

Não. O token só é conhecido por listas da comunidade, como ai.robots.txt.

Segundo fontes da comunidade, o respeito a robots.txt depende dos próprios usuários da Diffbot.

Bloqueie Diffbot em todo o seu site

User-agent: Diffbot
Disallow: /

Permita o acesso, mas proteja os caminhos privados

User-agent: Diffbot
Allow: /
Disallow: /admin/

Adicione-o ao robots.txt no gerador →