---
title: "Bytespider：このAIクローラーをブロックまたは許可する · DotsAgent"
description: "BytespiderはByteDanceが運営し、学習に分類されています。robots.txtトークン、ルールへの準拠状況、IPリスト、制御方法を紹介します。"
url: https://dotsagent.io/ja/agent-ready/bots/bytespider
---

ByteDance · 学習

# Bytespiderとは？

ByteDanceのクローラーです。コミュニティのレジストリではトレーニング用として掲載されていますが、ByteDanceの公式ページには記載がありません。

- **robots.txtトークン**: `Bytespider`
- **運営者**: ByteDance
- **用途**: 学習
- **robots.txtへの準拠**: 運営者は、robots.txt が適用されない場合があると明言しています。または、無視するというコミュニティからの報告があります。
- **運営者によるドキュメント**: いいえ。ai.robots.txt などのコミュニティのリストでのみ確認できます。

コミュニティの報告によると、robots.txtには従いません。

## サイト全体で Bytespider をブロックする

`robots.txt`

```
User-agent: Bytespider
Disallow: /
```

## 許可しつつ、非公開パスへのアクセスを防ぐ

`robots.txt`

```
User-agent: Bytespider
Allow: /
Disallow: /admin/
```

[ジェネレーターで robots.txt に追加 →](https://dotsagent.io/ja/agent-ready/robots-txt)

## 出典

1. [github.com](https://github.com/ai-robots-txt/ai.robots.txt)/ai-robots-txt/ai.robots.txt

AIエージェント開発者向けの独立したリファレンスです。ここに記載されているいずれのベンダーとも提携していません。

© 2026 DotsAgent · 確認日: 2026年10月1日