ما هو Diffbot؟

زاحف Diffbot لاستخراج البيانات وبناء الرسم البياني المعرفي. مصدر الرمز قوائم المجتمع، لا وثائق Diffbot الرسمية.

رمز robots.txt

Diffbot

المشغّل

Diffbot

الغرض

البحث

يلتزم بـ robots.txt

?غير مذكور لم يذكر المشغّل ذلك.

موثّق من المشغّل

لا. لا يُعرف هذا الرمز إلا من قوائم المجتمع، مثل ai.robots.txt.

تفيد مصادر المجتمع بأن التزامه بـ robots.txt يعتمد على مستخدمي Diffbot أنفسهم.

احظر Diffbot من موقعك بالكامل

User-agent: Diffbot
Disallow: /

اسمح له، مع حجب المسارات الخاصة

User-agent: Diffbot
Allow: /
Disallow: /admin/

أضِفه إلى ملف robots.txt في المولّد →