¿Qué es Diffbot?

Crawler de Diffbot para extraer datos y alimentar su grafo de conocimiento. El token aparece en listas comunitarias, no en la documentación de Diffbot.

Token de robots.txt

Diffbot

Operador

Diffbot

Propósito

Búsqueda

Respeta robots.txt

?No especificado El operador no se pronuncia.

Documentado por el operador

No. El token solo se conoce por listas de la comunidad, como ai.robots.txt.

Según fuentes comunitarias, que respete robots.txt depende de los propios usuarios de Diffbot.

Bloquea Diffbot en todo tu sitio

User-agent: Diffbot
Disallow: /

Permítelo, pero excluye las rutas privadas

User-agent: Diffbot
Allow: /
Disallow: /admin/

Añádelo a un robots.txt en el generador →