---
title: "CCBot: заблокировать или разрешить этому ИИ-краулеру доступ · DotsAgent"
description: "CCBot управляется оператором Common Crawl и указан для цели: обучение. Его токен robots.txt, соблюдение правил, список IP-адресов и способы управления."
url: https://dotsagent.io/ru/agent-ready/bots/ccbot
---

Common Crawl · Обучение

# Что такое CCBot?

Краулер Common Crawl, который создаёт открытый корпус веб-страниц, широко используемый для обучения моделей ИИ. Он соблюдает robots.txt.

- **Токен robots.txt**: `CCBot`
- **Оператор**: Common Crawl
- **Назначение**: Обучение
- **Соблюдает robots.txt**: Оператор сообщает, что бот соблюдает robots.txt.
- **Описан оператором**: Да, на страницах самого оператора.
- **Опубликованный список IP-адресов**: [index.commoncrawl.org/ccbot.json](https://index.commoncrawl.org/ccbot.json)
- **Документация**: [commoncrawl.org](https://commoncrawl.org/ccbot)

В обратном DNS имена его хостов разрешаются в *.crawl.commoncrawl.org; Common Crawl также публикует список IP-адресов.

## Заблокировать CCBot на всём сайте

`robots.txt`

```
User-agent: CCBot
Disallow: /
```

## Разрешить доступ, но закрыть приватные пути

`robots.txt`

```
User-agent: CCBot
Allow: /
Disallow: /admin/
```

[Добавить в генератор robots.txt →](https://dotsagent.io/ru/agent-ready/robots-txt)

## Источники

1. [commoncrawl.org](https://commoncrawl.org/ccbot)/ccbot

Независимый справочник для тех, кто создаёт AI-агентов. Не связан ни с одним из упомянутых здесь поставщиков.

© 2026 DotsAgent · Факты проверены 1 октября 2026 г.