---
title: "Bytespider: deze AI-crawler blokkeren of toestaan · DotsAgent"
description: "Bytespider wordt beheerd door ByteDance en staat vermeld onder training. De robots.txt-token, of de agent de regels volgt, de IP-lijst en hoe je de agent beheert."
url: https://dotsagent.io/nl/agent-ready/bots/bytespider
---

ByteDance · Training

# Wat is Bytespider?

De crawler van ByteDance, in communityregisters vermeld voor training. ByteDance heeft er geen officiële pagina voor.

- **robots.txt-token**: `Bytespider`
- **Operator**: ByteDance
- **Doel**: Training
- **Volgt robots.txt**: De beheerder zegt dat robots.txt mogelijk niet van toepassing is, of uit meldingen van de community blijkt dat deze het negeert.
- **Gedocumenteerd door operator**: Nee. De token is alleen bekend uit communitylijsten zoals ai.robots.txt.

Volgens meldingen uit de community houdt deze crawler zich niet aan robots.txt.

## Blokkeer Bytespider op je hele site

`robots.txt`

```
User-agent: Bytespider
Disallow: /
```

## Sta deze toe, maar sluit privé-paden uit

`robots.txt`

```
User-agent: Bytespider
Allow: /
Disallow: /admin/
```

[Voeg deze toe aan een robots.txt in de generator →](https://dotsagent.io/nl/agent-ready/robots-txt)

## Bronnen

1. [github.com](https://github.com/ai-robots-txt/ai.robots.txt)/ai-robots-txt/ai.robots.txt

Onafhankelijke referentie voor iedereen die AI-agents bouwt. Niet verbonden aan een van de genoemde leveranciers.

© 2026 DotsAgent · Feiten gecontroleerd op 1 oktober 2026