---
title: "CCBot: blokir atau izinkan crawler AI ini · DotsAgent"
description: "CCBot dioperasikan oleh Common Crawl dan tercantum untuk tujuan pelatihan. Token robots.txt, kepatuhan terhadap aturan, daftar IP, dan cara mengendalikannya."
url: https://dotsagent.io/id/agent-ready/bots/ccbot
---

Common Crawl · Pelatihan

# Apa itu CCBot?

Crawler Common Crawl yang membangun korpus web terbuka dan banyak digunakan untuk melatih model AI. Crawler ini mematuhi robots.txt.

- **Token robots.txt**: `CCBot`
- **Operator**: Common Crawl
- **Tujuan**: Pelatihan
- **Mematuhi robots.txt**: Operator menyatakan bahwa bot ini mematuhi robots.txt.
- **Didokumentasikan oleh operator**: Ya, di halaman milik operator sendiri.
- **Daftar IP yang dipublikasikan**: [index.commoncrawl.org/ccbot.json](https://index.commoncrawl.org/ccbot.json)
- **Dokumentasi**: [commoncrawl.org](https://commoncrawl.org/ccbot)

Host-nya mengarah ke *.crawl.commoncrawl.org melalui reverse DNS, dan Common Crawl menerbitkan daftar IP.

## Blokir CCBot dari seluruh situs Anda

`robots.txt`

```
User-agent: CCBot
Disallow: /
```

## Izinkan bot, tetapi kecualikan path privat

`robots.txt`

```
User-agent: CCBot
Allow: /
Disallow: /admin/
```

[Tambahkan ke robots.txt di generator →](https://dotsagent.io/id/agent-ready/robots-txt)

## Sumber

1. [commoncrawl.org](https://commoncrawl.org/ccbot)/ccbot

Referensi independen bagi mereka yang membangun agen AI. Tidak berafiliasi dengan vendor mana pun yang disebutkan di sini.

© 2026 DotsAgent · Fakta diperiksa 1 Oktober 2026