Bytespiderとは？

ByteDanceのクローラーです。コミュニティのレジストリではトレーニング用として掲載されていますが、ByteDanceの公式ページには記載がありません。

robots.txtトークン

Bytespider

運営者

ByteDance

用途

学習

robots.txtへの準拠

○いいえ 運営者は、robots.txt が適用されない場合があると明言しています。または、無視するというコミュニティからの報告があります。

運営者によるドキュメント

いいえ。ai.robots.txt などのコミュニティのリストでのみ確認できます。

コミュニティの報告によると、robots.txtには従いません。

サイト全体で Bytespider をブロックする

User-agent: Bytespider
Disallow: /

許可しつつ、非公開パスへのアクセスを防ぐ

User-agent: Bytespider
Allow: /
Disallow: /admin/

ジェネレーターで robots.txt に追加 →