Bytespider 是什么？

ByteDance 的爬虫，社区登记资料将其列为训练用途。ByteDance 没有发布关于它的官方页面。

robots.txt token

Bytespider

运营方

ByteDance

用途

训练

是否遵守 robots.txt

○否 运营方表示 robots.txt 可能不适用，或社区报告称该爬虫会忽略它。

运营方是否提供文档

否。只有 ai.robots.txt 等社区列表记录了此 token。

社区报告称它不遵守 robots.txt。

在整个网站上屏蔽 Bytespider

User-agent: Bytespider
Disallow: /

允许访问，但屏蔽私有路径

User-agent: Bytespider
Allow: /
Disallow: /admin/

在生成器中将其添加到 robots.txt →