Czym jest Bytespider?

Crawler ByteDance wymieniany w społecznościowych rejestrach jako narzędzie do trenowania. ByteDance nie udostępnia oficjalnej strony na jego temat.

Token robots.txt

Bytespider

Operator

ByteDance

Cel

Trenowanie

Przestrzega robots.txt

○Nie Operator informuje, że robots.txt może nie mieć zastosowania, lub zgłoszenia społeczności wskazują, że bot go ignoruje.

Udokumentowany przez operatora

Nie. Token jest znany wyłącznie z list społecznościowych, takich jak ai.robots.txt.

Według doniesień społeczności nie przestrzega robots.txt.

Zablokuj Bytespider w całej witrynie

User-agent: Bytespider
Disallow: /

Zezwól na dostęp, ale zablokuj ścieżki prywatne

User-agent: Bytespider
Allow: /
Disallow: /admin/

Dodaj do robots.txt w generatorze →