Bytespider nedir?

Topluluk kayıtlarında eğitim amacıyla listelenen ByteDance crawler'ı. ByteDance'in buna dair resmî bir sayfası yok.

robots.txt token'ı

Bytespider

Operatör

ByteDance

Amaç

Eğitim

robots.txt kurallarına uyar

○Hayır Operatör, robots.txt kurallarının geçerli olmayabileceğini belirtiyor veya topluluk bildirimlerine göre bot bu kuralları yok sayıyor.

Operatör tarafından belgelenmiş

Hayır. Token yalnızca ai.robots.txt gibi topluluk listelerinde biliniyor.

Topluluk kaynakları robots.txt kurallarına uymadığını bildiriyor.

Bytespider botunu tüm sitenizde engelleyin

User-agent: Bytespider
Disallow: /

İzin verin, ancak özel yolları engelleyin

User-agent: Bytespider
Allow: /
Disallow: /admin/

Oluşturucudaki robots.txt dosyasına ekleyin →