Was ist Bytespider?

Der Crawler von ByteDance, der in Community-Verzeichnissen als Crawler für Trainingsdaten aufgeführt wird. ByteDance hat keine offizielle Seite dazu.

robots.txt-Token

Bytespider

Betreiber

ByteDance

Zweck

Training

Hält sich an robots.txt

○Nein Der Betreiber gibt an, dass robots.txt möglicherweise nicht gilt, oder Community-Berichte besagen, dass der Bot robots.txt ignoriert.

Vom Betreiber dokumentiert

Nein. Das Token ist nur aus Community-Listen wie ai.robots.txt bekannt.

Community-Berichten zufolge beachtet er robots.txt nicht.

Bytespider für Ihre gesamte Website sperren

User-agent: Bytespider
Disallow: /

Zugriff erlauben, aber private Pfade ausschließen

User-agent: Bytespider
Allow: /
Disallow: /admin/

Im Generator zu robots.txt hinzufügen →