Apa itu CCBot?

Crawler Common Crawl yang membangun korpus web terbuka dan banyak digunakan untuk melatih model AI. Crawler ini mematuhi robots.txt.

Token robots.txt

CCBot

Operator

Common Crawl

Tujuan

Pelatihan

Mematuhi robots.txt

●Ya Operator menyatakan bahwa bot ini mematuhi robots.txt.

Didokumentasikan oleh operator

Ya, di halaman milik operator sendiri.

Daftar IP yang dipublikasikan

index.commoncrawl.org/ccbot.json

Dokumentasi

commoncrawl.org

Host-nya mengarah ke *.crawl.commoncrawl.org melalui reverse DNS, dan Common Crawl menerbitkan daftar IP.

Blokir CCBot dari seluruh situs Anda

User-agent: CCBot
Disallow: /

Izinkan bot, tetapi kecualikan path privat

User-agent: CCBot
Allow: /
Disallow: /admin/

Tambahkan ke robots.txt di generator →