---
title: "Diffbot: blokir atau izinkan crawler AI ini · DotsAgent"
description: "Diffbot dioperasikan oleh Diffbot dan tercantum untuk tujuan pencarian. Token robots.txt, kepatuhan terhadap aturan, daftar IP, dan cara mengendalikannya."
url: https://dotsagent.io/id/agent-ready/bots/diffbot
---

Diffbot · Pencarian

# Apa itu Diffbot?

Crawler Diffbot untuk ekstraksi data dan graf pengetahuannya. Token ini berasal dari daftar komunitas, bukan dokumentasi resmi Diffbot.

- **Token robots.txt**: `Diffbot`
- **Operator**: Diffbot
- **Tujuan**: Pencarian
- **Mematuhi robots.txt**: Operator tidak menyebutkannya.
- **Didokumentasikan oleh operator**: Tidak. Token ini hanya diketahui dari daftar komunitas seperti ai.robots.txt.

Menurut sumber komunitas, kepatuhannya terhadap robots.txt bergantung pada pengguna Diffbot sendiri.

## Blokir Diffbot dari seluruh situs Anda

`robots.txt`

```
User-agent: Diffbot
Disallow: /
```

## Izinkan bot, tetapi kecualikan path privat

`robots.txt`

```
User-agent: Diffbot
Allow: /
Disallow: /admin/
```

[Tambahkan ke robots.txt di generator →](https://dotsagent.io/id/agent-ready/robots-txt)

## Sumber

1. [github.com](https://github.com/ai-robots-txt/ai.robots.txt)/ai-robots-txt/ai.robots.txt

Referensi independen bagi mereka yang membangun agen AI. Tidak berafiliasi dengan vendor mana pun yang disebutkan di sini.

© 2026 DotsAgent · Fakta diperiksa 1 Oktober 2026