Qu’est-ce que Bytespider ?

Le crawler de ByteDance, répertorié par des registres communautaires comme servant à l’entraînement. ByteDance ne lui consacre aucune page officielle.

Token robots.txt

Bytespider

Opérateur

ByteDance

Objectif

Entraînement

Respecte robots.txt

○Non L’opérateur indique que robots.txt peut ne pas s’appliquer, ou des signalements de la communauté indiquent que le bot l’ignore.

Documenté par l’opérateur

Non. Le token n’est connu que grâce à des listes communautaires, comme ai.robots.txt.

Selon des signalements de la communauté, il ne respecte pas robots.txt.

Bloquer Bytespider sur tout votre site

User-agent: Bytespider
Disallow: /

L’autoriser, mais exclure les chemins privés

User-agent: Bytespider
Allow: /
Disallow: /admin/

L’ajouter à un robots.txt dans le générateur →