---
title: "Diffbot: diesen KI-Crawler blockieren oder zulassen · DotsAgent"
description: "Diffbot wird von Diffbot betrieben und ist dem Zweck suche zugeordnet. Der robots.txt-Token, ob sich der Bot an die Regeln hält, seine IP-Liste und Möglichkeiten, ihn zu steuern."
url: https://dotsagent.io/de/agent-ready/bots/diffbot
---

Diffbot · Suche

# Was ist Diffbot?

Diffbots Crawler zur Datenextraktion und zum Aufbau seines Knowledge Graphs. Das Token stammt aus Community-Listen, nicht aus der Dokumentation von Diffbot.

- **robots.txt-Token**: `Diffbot`
- **Betreiber**: Diffbot
- **Zweck**: Suche
- **Hält sich an robots.txt**: Der Betreiber macht dazu keine Angaben.
- **Vom Betreiber dokumentiert**: Nein. Das Token ist nur aus Community-Listen wie ai.robots.txt bekannt.

Community-Quellen zufolge hängt es von den Nutzern von Diffbot ab, ob der Crawler robots.txt beachtet.

## Diffbot für Ihre gesamte Website sperren

`robots.txt`

```
User-agent: Diffbot
Disallow: /
```

## Zugriff erlauben, aber private Pfade ausschließen

`robots.txt`

```
User-agent: Diffbot
Allow: /
Disallow: /admin/
```

[Im Generator zu robots.txt hinzufügen →](https://dotsagent.io/de/agent-ready/robots-txt)

## Quellen

1. [github.com](https://github.com/ai-robots-txt/ai.robots.txt)/ai-robots-txt/ai.robots.txt

Unabhängige Referenz für alle, die KI-Agenten entwickeln. Wir sind mit keinem der hier genannten Anbieter verbunden.

© 2026 DotsAgent · Fakten geprüft am 1. Oktober 2026