Czym jest Diffbot?

Crawler Diffbot służący do ekstrakcji danych i zasilania jego grafu wiedzy. Token pochodzi z list społecznościowych, a nie z dokumentacji Diffbot.

Token robots.txt

Diffbot

Operator

Diffbot

Cel

Wyszukiwanie

Przestrzega robots.txt

?Brak informacji Operator nie podaje tej informacji.

Udokumentowany przez operatora

Nie. Token jest znany wyłącznie z list społecznościowych, takich jak ai.robots.txt.

Według źródeł społecznościowych to, czy przestrzega robots.txt, zależy od użytkowników Diffbot.

Zablokuj Diffbot w całej witrynie

User-agent: Diffbot
Disallow: /

Zezwól na dostęp, ale zablokuj ścieżki prywatne

User-agent: Diffbot
Allow: /
Disallow: /admin/

Dodaj do robots.txt w generatorze →