Ano ang CCBot?

Crawler ng Common Crawl na bumubuo ng bukas na web corpus na malawakang ginagamit sa pagsasanay ng mga AI model. Sinusunod nito ang robots.txt.

robots.txt token

CCBot

Operator

Common Crawl

Layunin

Pagsasanay

Sumusunod sa robots.txt

●Oo Ayon sa operator, sumusunod ito sa robots.txt.

May dokumentasyon mula sa operator

Oo, sa mga page mismo ng operator.

Inilathalang IP list

index.commoncrawl.org/ccbot.json

Dokumentasyon

commoncrawl.org

Sa reverse DNS, nare-resolve ang mga host nito sa *.crawl.commoncrawl.org, at naglalathala ang Common Crawl ng listahan ng IP.

I-block ang CCBot sa buong site mo

User-agent: CCBot
Disallow: /

Payagan ito, pero ilayo sa mga pribadong path

User-agent: CCBot
Allow: /
Disallow: /admin/

Idagdag ito sa robots.txt sa generator →