Wat is Bytespider?

De crawler van ByteDance, in communityregisters vermeld voor training. ByteDance heeft er geen officiële pagina voor.

robots.txt-token

Bytespider

Operator

ByteDance

Doel

Training

Volgt robots.txt

○Nee De beheerder zegt dat robots.txt mogelijk niet van toepassing is, of uit meldingen van de community blijkt dat deze het negeert.

Gedocumenteerd door operator

Nee. De token is alleen bekend uit communitylijsten zoals ai.robots.txt.

Volgens meldingen uit de community houdt deze crawler zich niet aan robots.txt.

Blokkeer Bytespider op je hele site

User-agent: Bytespider
Disallow: /

Sta deze toe, maar sluit privé-paden uit

User-agent: Bytespider
Allow: /
Disallow: /admin/

Voeg deze toe aan een robots.txt in de generator →