Diffbot · Paghahanap

Ano ang Diffbot?

Crawler ng Diffbot para sa pagkuha ng data at pagbuo ng knowledge graph nito. Nagmula ang token sa mga community list, hindi sa sariling docs ng Diffbot.

robots.txt token: Diffbot
Operator: Diffbot
Layunin: Paghahanap
Sumusunod sa robots.txt: Hindi nakasaad Walang sinabi ang operator.
May dokumentasyon mula sa operator: Hindi. Sa mga listahan ng komunidad lang nakilala ang token na ito, gaya ng ai.robots.txt.

Ayon sa mga source ng komunidad, nakadepende sa mga user mismo ng Diffbot kung sinusunod nito ang robots.txt.

I-block ang Diffbot sa buong site mo

robots.txt

User-agent: Diffbot
Disallow: /

Payagan ito, pero ilayo sa mga pribadong path

robots.txt

User-agent: Diffbot
Allow: /
Disallow: /admin/

Idagdag ito sa robots.txt sa generator →

Mga source

github.com/ai-robots-txt/ai.robots.txt