¿Qué es Bytespider?

Crawler de ByteDance, incluido en registros comunitarios para entrenamiento. ByteDance no tiene una página oficial sobre él.

Token de robots.txt

Bytespider

Operador

ByteDance

Propósito

Entrenamiento

Respeta robots.txt

○No El operador indica que robots.txt podría no aplicarse, o hay informes de la comunidad que dicen que lo ignora.

Documentado por el operador

No. El token solo se conoce por listas de la comunidad, como ai.robots.txt.

Según informes de la comunidad, no respeta robots.txt.

Bloquea Bytespider en todo tu sitio

User-agent: Bytespider
Disallow: /

Permítelo, pero excluye las rutas privadas

User-agent: Bytespider
Allow: /
Disallow: /admin/

Añádelo a un robots.txt en el generador →