---
title: "Bytespider: diesen KI-Crawler blockieren oder zulassen · DotsAgent"
description: "Bytespider wird von ByteDance betrieben und ist dem Zweck training zugeordnet. Der robots.txt-Token, ob sich der Bot an die Regeln hält, seine IP-Liste und Möglichkeiten, ihn zu steuern."
url: https://dotsagent.io/de/agent-ready/bots/bytespider
---

ByteDance · Training

# Was ist Bytespider?

Der Crawler von ByteDance, der in Community-Verzeichnissen als Crawler für Trainingsdaten aufgeführt wird. ByteDance hat keine offizielle Seite dazu.

- **robots.txt-Token**: `Bytespider`
- **Betreiber**: ByteDance
- **Zweck**: Training
- **Hält sich an robots.txt**: Der Betreiber gibt an, dass robots.txt möglicherweise nicht gilt, oder Community-Berichte besagen, dass der Bot robots.txt ignoriert.
- **Vom Betreiber dokumentiert**: Nein. Das Token ist nur aus Community-Listen wie ai.robots.txt bekannt.

Community-Berichten zufolge beachtet er robots.txt nicht.

## Bytespider für Ihre gesamte Website sperren

`robots.txt`

```
User-agent: Bytespider
Disallow: /
```

## Zugriff erlauben, aber private Pfade ausschließen

`robots.txt`

```
User-agent: Bytespider
Allow: /
Disallow: /admin/
```

[Im Generator zu robots.txt hinzufügen →](https://dotsagent.io/de/agent-ready/robots-txt)

## Quellen

1. [github.com](https://github.com/ai-robots-txt/ai.robots.txt)/ai-robots-txt/ai.robots.txt

Unabhängige Referenz für alle, die KI-Agenten entwickeln. Wir sind mit keinem der hier genannten Anbieter verbunden.

© 2026 DotsAgent · Fakten geprüft am 1. Oktober 2026