---
title: "Bytespider: 이 AI 크롤러 차단 또는 허용 · DotsAgent"
description: "Bytespider은(는) ByteDance에서 운영하며 학습 항목에 등록되어 있습니다. robots.txt 토큰, 규칙 준수 여부, IP 목록 및 제어 방법을 확인하세요."
url: https://dotsagent.io/ko/agent-ready/bots/bytespider
---

ByteDance · 학습

# Bytespider이란?

커뮤니티 레지스트리에 학습용으로 등재된 ByteDance의 크롤러입니다. ByteDance는 이 크롤러에 대한 공식 페이지를 제공하지 않습니다.

- **robots.txt 토큰**: `Bytespider`
- **운영자**: ByteDance
- **목적**: 학습
- **robots.txt 준수**: 운영자는 robots.txt가 적용되지 않을 수 있다고 밝히거나, 커뮤니티 보고에 따르면 이를 무시합니다.
- **운영자 문서**: 아니요. 이 토큰은 ai.robots.txt 같은 커뮤니티 목록에만 나와 있습니다.

커뮤니티 보고에 따르면 robots.txt를 따르지 않습니다.

## 사이트 전체에서 Bytespider 차단

`robots.txt`

```
User-agent: Bytespider
Disallow: /
```

## 허용하되 비공개 경로는 제외

`robots.txt`

```
User-agent: Bytespider
Allow: /
Disallow: /admin/
```

[생성기의 robots.txt에 추가 →](https://dotsagent.io/ko/agent-ready/robots-txt)

## 출처

1. [github.com](https://github.com/ai-robots-txt/ai.robots.txt)/ai-robots-txt/ai.robots.txt

AI 에이전트를 만드는 개발자를 위한 독립적인 참고 자료입니다. 여기에 언급된 어떤 업체와도 제휴 관계가 없습니다.

© 2026 DotsAgent · 정보 확인일: 2026년 10월 1일