O que é Bytespider?

Crawler da ByteDance, listado para treinamento em registros da comunidade. A ByteDance não tem uma página oficial sobre ele.

Token para robots.txt

Bytespider

Operador

ByteDance

Finalidade

Treinamento

Obedece ao robots.txt

○Não O operador informa que o robots.txt pode não se aplicar, ou relatos da comunidade dizem que ele é ignorado.

Documentado pelo operador

Não. O token só é conhecido por listas da comunidade, como ai.robots.txt.

Relatos da comunidade dizem que ele não respeita robots.txt.

Bloqueie Bytespider em todo o seu site

User-agent: Bytespider
Disallow: /

Permita o acesso, mas proteja os caminhos privados

User-agent: Bytespider
Allow: /
Disallow: /admin/

Adicione-o ao robots.txt no gerador →