Ano ang Bytespider?

Crawler ng ByteDance na nakalista para sa pagsasanay sa mga community registry. Wala itong opisyal na page tungkol dito mula sa ByteDance.

robots.txt token

Bytespider

Operator

ByteDance

Layunin

Pagsasanay

Sumusunod sa robots.txt

○Hindi Ayon sa operator, maaaring hindi ito saklaw ng robots.txt, o sinasabi sa mga ulat ng komunidad na hindi ito sumusunod dito.

May dokumentasyon mula sa operator

Hindi. Sa mga listahan ng komunidad lang nakilala ang token na ito, gaya ng ai.robots.txt.

Ayon sa mga ulat ng komunidad, hindi nito sinusunod ang robots.txt.

I-block ang Bytespider sa buong site mo

User-agent: Bytespider
Disallow: /

Payagan ito, pero ilayo sa mga pribadong path

User-agent: Bytespider
Allow: /
Disallow: /admin/

Idagdag ito sa robots.txt sa generator →