Che cos'è Diffbot?

Crawler di Diffbot per l'estrazione dei dati e il suo knowledge graph. Il token proviene dagli elenchi della community, non dalla documentazione ufficiale di Diffbot.

Token robots.txt

Diffbot

Operatore

Diffbot

Scopo

Ricerca

Rispetta robots.txt

?Non dichiarato L'operatore non fornisce indicazioni.

Documentato dall'operatore

No. Il token è noto solo da elenchi della community, come ai.robots.txt.

Secondo le fonti della community, il rispetto di robots.txt dipende dagli utenti di Diffbot.

Blocca Diffbot su tutto il sito

User-agent: Diffbot
Disallow: /

Consenti l'accesso, ma escludi i percorsi privati

User-agent: Diffbot
Allow: /
Disallow: /admin/

Aggiungilo a robots.txt nel generatore →