Diffbot nedir?

Diffbot'un veri çıkarma ve bilgi grafiği için kullandığı crawler. Token, Diffbot'un kendi belgelerinden değil, topluluk listelerinden geliyor.

robots.txt token'ı

Diffbot

Operatör

Diffbot

Amaç

Arama

robots.txt kurallarına uyar

?Belirtilmemiş Operatör bu konuda bilgi vermiyor.

Operatör tarafından belgelenmiş

Hayır. Token yalnızca ai.robots.txt gibi topluluk listelerinde biliniyor.

Topluluk kaynaklarına göre robots.txt kurallarına uyup uymaması Diffbot kullanıcılarına bağlı.

Diffbot botunu tüm sitenizde engelleyin

User-agent: Diffbot
Disallow: /

İzin verin, ancak özel yolları engelleyin

User-agent: Diffbot
Allow: /
Disallow: /admin/

Oluşturucudaki robots.txt dosyasına ekleyin →