Apa itu Bytespider?

Crawler ByteDance yang tercatat untuk pelatihan di direktori komunitas. ByteDance tidak memiliki halaman resmi tentang crawler ini.

Token robots.txt

Bytespider

Operator

ByteDance

Tujuan

Pelatihan

Mematuhi robots.txt

○Tidak Operator menyatakan bahwa robots.txt mungkin tidak berlaku, atau laporan komunitas menyebutkan bahwa bot ini mengabaikannya.

Didokumentasikan oleh operator

Tidak. Token ini hanya diketahui dari daftar komunitas seperti ai.robots.txt.

Laporan komunitas menyebutkan bahwa crawler ini tidak mematuhi robots.txt.

Blokir Bytespider dari seluruh situs Anda

User-agent: Bytespider
Disallow: /

Izinkan bot, tetapi kecualikan path privat

User-agent: Bytespider
Allow: /
Disallow: /admin/

Tambahkan ke robots.txt di generator →