Was ist Diffbot?

Diffbots Crawler zur Datenextraktion und zum Aufbau seines Knowledge Graphs. Das Token stammt aus Community-Listen, nicht aus der Dokumentation von Diffbot.

robots.txt-Token

Diffbot

Betreiber

Diffbot

Zweck

Suche

Hält sich an robots.txt

?Keine Angabe Der Betreiber macht dazu keine Angaben.

Vom Betreiber dokumentiert

Nein. Das Token ist nur aus Community-Listen wie ai.robots.txt bekannt.

Community-Quellen zufolge hängt es von den Nutzern von Diffbot ab, ob der Crawler robots.txt beachtet.

Diffbot für Ihre gesamte Website sperren

User-agent: Diffbot
Disallow: /

Zugriff erlauben, aber private Pfade ausschließen

User-agent: Diffbot
Allow: /
Disallow: /admin/

Im Generator zu robots.txt hinzufügen →