---
title: "Bytespider: blokir atau izinkan crawler AI ini · DotsAgent"
description: "Bytespider dioperasikan oleh ByteDance dan tercantum untuk tujuan pelatihan. Token robots.txt, kepatuhan terhadap aturan, daftar IP, dan cara mengendalikannya."
url: https://dotsagent.io/id/agent-ready/bots/bytespider
---

ByteDance · Pelatihan

# Apa itu Bytespider?

Crawler ByteDance yang tercatat untuk pelatihan di direktori komunitas. ByteDance tidak memiliki halaman resmi tentang crawler ini.

- **Token robots.txt**: `Bytespider`
- **Operator**: ByteDance
- **Tujuan**: Pelatihan
- **Mematuhi robots.txt**: Operator menyatakan bahwa robots.txt mungkin tidak berlaku, atau laporan komunitas menyebutkan bahwa bot ini mengabaikannya.
- **Didokumentasikan oleh operator**: Tidak. Token ini hanya diketahui dari daftar komunitas seperti ai.robots.txt.

Laporan komunitas menyebutkan bahwa crawler ini tidak mematuhi robots.txt.

## Blokir Bytespider dari seluruh situs Anda

`robots.txt`

```
User-agent: Bytespider
Disallow: /
```

## Izinkan bot, tetapi kecualikan path privat

`robots.txt`

```
User-agent: Bytespider
Allow: /
Disallow: /admin/
```

[Tambahkan ke robots.txt di generator →](https://dotsagent.io/id/agent-ready/robots-txt)

## Sumber

1. [github.com](https://github.com/ai-robots-txt/ai.robots.txt)/ai-robots-txt/ai.robots.txt

Referensi independen bagi mereka yang membangun agen AI. Tidak berafiliasi dengan vendor mana pun yang disebutkan di sini.

© 2026 DotsAgent · Fakta diperiksa 1 Oktober 2026