Что такое CCBot?

Краулер Common Crawl, который создаёт открытый корпус веб-страниц, широко используемый для обучения моделей ИИ. Он соблюдает robots.txt.

Токен robots.txt

CCBot

Оператор

Common Crawl

Назначение

Обучение

Соблюдает robots.txt

●Да Оператор сообщает, что бот соблюдает robots.txt.

Описан оператором

Да, на страницах самого оператора.

Опубликованный список IP-адресов

index.commoncrawl.org/ccbot.json

Документация

commoncrawl.org

В обратном DNS имена его хостов разрешаются в *.crawl.commoncrawl.org; Common Crawl также публикует список IP-адресов.

Заблокировать CCBot на всём сайте

User-agent: CCBot
Disallow: /

Разрешить доступ, но закрыть приватные пути

User-agent: CCBot
Allow: /
Disallow: /admin/

Добавить в генератор robots.txt →