---
title: "Bytespider：屏蔽或允许此 AI 爬虫 · DotsAgent"
description: "Bytespider 由 ByteDance 运营，归类为「训练」。了解其 robots.txt token、是否遵守规则、IP 列表及控制方法。"
url: https://dotsagent.io/zh/agent-ready/bots/bytespider
---

ByteDance · 训练

# Bytespider 是什么？

ByteDance 的爬虫，社区登记资料将其列为训练用途。ByteDance 没有发布关于它的官方页面。

- **robots.txt token**: `Bytespider`
- **运营方**: ByteDance
- **用途**: 训练
- **是否遵守 robots.txt**: 运营方表示 robots.txt 可能不适用，或社区报告称该爬虫会忽略它。
- **运营方是否提供文档**: 否。只有 ai.robots.txt 等社区列表记录了此 token。

社区报告称它不遵守 robots.txt。

## 在整个网站上屏蔽 Bytespider

`robots.txt`

```
User-agent: Bytespider
Disallow: /
```

## 允许访问，但屏蔽私有路径

`robots.txt`

```
User-agent: Bytespider
Allow: /
Disallow: /admin/
```

[在生成器中将其添加到 robots.txt →](https://dotsagent.io/zh/agent-ready/robots-txt)

## 来源

1. [github.com](https://github.com/ai-robots-txt/ai.robots.txt)/ai-robots-txt/ai.robots.txt

为 AI agent 开发者提供的独立参考资料。与此处提及的任何厂商均无关联。

© 2026 DotsAgent · 事实核查日期：2026年10月1日