CCBot nedir?

Yaygın olarak AI modellerini eğitmek için kullanılan açık bir web derlemi oluşturan Common Crawl crawler'ı. robots.txt kurallarına uyar.

robots.txt token'ı

CCBot

Operatör

Common Crawl

Amaç

Eğitim

robots.txt kurallarına uyar

●Evet Operatör, robots.txt kurallarına uyduğunu belirtiyor.

Operatör tarafından belgelenmiş

Evet, operatörün kendi sayfalarında.

Yayımlanmış IP listesi

index.commoncrawl.org/ccbot.json

Dokümantasyon

commoncrawl.org

Ters DNS sorgusunda sunucuları *.crawl.commoncrawl.org alan adına çözümlenir ve Common Crawl bir IP listesi yayımlar.

CCBot botunu tüm sitenizde engelleyin

User-agent: CCBot
Disallow: /

İzin verin, ancak özel yolları engelleyin

User-agent: CCBot
Allow: /
Disallow: /admin/

Oluşturucudaki robots.txt dosyasına ekleyin →