Wat is Diffbot?

De crawler van Diffbot voor gegevensextractie en de kennisgraaf. De token komt uit communitylijsten, niet uit de eigen documentatie van Diffbot.

robots.txt-token

Diffbot

Operator

Diffbot

Doel

Zoeken

Volgt robots.txt

?Niet vermeld De beheerder vermeldt dit niet.

Gedocumenteerd door operator

Nee. De token is alleen bekend uit communitylijsten zoals ai.robots.txt.

Volgens communitybronnen hangt het ervan af of de crawler robots.txt respecteert af van de gebruikers van Diffbot zelf.

Blokkeer Diffbot op je hele site

User-agent: Diffbot
Disallow: /

Sta deze toe, maar sluit privé-paden uit

User-agent: Diffbot
Allow: /
Disallow: /admin/

Voeg deze toe aan een robots.txt in de generator →