---
title: "Diffbot: bu AI crawler'ını engelleyin veya izin verin · DotsAgent"
description: "Diffbot, Diffbot tarafından işletilir ve arama amacıyla listelenmiştir. robots.txt token'ı, kurallara uyup uymadığı, IP listesi ve nasıl denetleneceği."
url: https://dotsagent.io/tr/agent-ready/bots/diffbot
---

Diffbot · Arama

# Diffbot nedir?

Diffbot'un veri çıkarma ve bilgi grafiği için kullandığı crawler. Token, Diffbot'un kendi belgelerinden değil, topluluk listelerinden geliyor.

- **robots.txt token'ı**: `Diffbot`
- **Operatör**: Diffbot
- **Amaç**: Arama
- **robots.txt kurallarına uyar**: Operatör bu konuda bilgi vermiyor.
- **Operatör tarafından belgelenmiş**: Hayır. Token yalnızca ai.robots.txt gibi topluluk listelerinde biliniyor.

Topluluk kaynaklarına göre robots.txt kurallarına uyup uymaması Diffbot kullanıcılarına bağlı.

## Diffbot botunu tüm sitenizde engelleyin

`robots.txt`

```
User-agent: Diffbot
Disallow: /
```

## İzin verin, ancak özel yolları engelleyin

`robots.txt`

```
User-agent: Diffbot
Allow: /
Disallow: /admin/
```

[Oluşturucudaki robots.txt dosyasına ekleyin →](https://dotsagent.io/tr/agent-ready/robots-txt)

## Kaynaklar

1. [github.com](https://github.com/ai-robots-txt/ai.robots.txt)/ai-robots-txt/ai.robots.txt

AI agent geliştirenler için bağımsız bir başvuru kaynağıdır. Burada adı geçen hiçbir sağlayıcıyla bağlantısı yoktur.

© 2026 DotsAgent · Bilgiler 1 Ekim 2026 tarihinde kontrol edildi