---
title: "Diffbot: заблокировать или разрешить этому ИИ-краулеру доступ · DotsAgent"
description: "Diffbot управляется оператором Diffbot и указан для цели: поиск. Его токен robots.txt, соблюдение правил, список IP-адресов и способы управления."
url: https://dotsagent.io/ru/agent-ready/bots/diffbot
---

Diffbot · Поиск

# Что такое Diffbot?

Краулер Diffbot для извлечения данных и построения графа знаний. Этот токен упоминается в списках сообщества, но не в документации Diffbot.

- **Токен robots.txt**: `Diffbot`
- **Оператор**: Diffbot
- **Назначение**: Поиск
- **Соблюдает robots.txt**: Оператор ничего об этом не сообщает.
- **Описан оператором**: Нет. Токен известен только из списков сообщества, таких как ai.robots.txt.

Согласно источникам сообщества, соблюдение robots.txt зависит от настроек самих пользователей Diffbot.

## Заблокировать Diffbot на всём сайте

`robots.txt`

```
User-agent: Diffbot
Disallow: /
```

## Разрешить доступ, но закрыть приватные пути

`robots.txt`

```
User-agent: Diffbot
Allow: /
Disallow: /admin/
```

[Добавить в генератор robots.txt →](https://dotsagent.io/ru/agent-ready/robots-txt)

## Источники

1. [github.com](https://github.com/ai-robots-txt/ai.robots.txt)/ai-robots-txt/ai.robots.txt

Независимый справочник для тех, кто создаёт AI-агентов. Не связан ни с одним из упомянутых здесь поставщиков.

© 2026 DotsAgent · Факты проверены 1 октября 2026 г.