---
title: "CCBot: 이 AI 크롤러 차단 또는 허용 · DotsAgent"
description: "CCBot은(는) Common Crawl에서 운영하며 학습 항목에 등록되어 있습니다. robots.txt 토큰, 규칙 준수 여부, IP 목록 및 제어 방법을 확인하세요."
url: https://dotsagent.io/ko/agent-ready/bots/ccbot
---

Common Crawl · 학습

# CCBot이란?

AI 모델 학습에 널리 사용되는 공개 웹 코퍼스를 구축하는 Common Crawl의 크롤러입니다. robots.txt를 따릅니다.

- **robots.txt 토큰**: `CCBot`
- **운영자**: Common Crawl
- **목적**: 학습
- **robots.txt 준수**: 운영자는 robots.txt를 준수한다고 밝힙니다.
- **운영자 문서**: 예, 운영자의 공식 페이지에 나와 있습니다.
- **공개된 IP 목록**: [index.commoncrawl.org/ccbot.json](https://index.commoncrawl.org/ccbot.json)
- **문서**: [commoncrawl.org](https://commoncrawl.org/ccbot)

역방향 DNS에서 호스트 이름은 *.crawl.commoncrawl.org로 확인되며, Common Crawl은 IP 목록을 공개합니다.

## 사이트 전체에서 CCBot 차단

`robots.txt`

```
User-agent: CCBot
Disallow: /
```

## 허용하되 비공개 경로는 제외

`robots.txt`

```
User-agent: CCBot
Allow: /
Disallow: /admin/
```

[생성기의 robots.txt에 추가 →](https://dotsagent.io/ko/agent-ready/robots-txt)

## 출처

1. [commoncrawl.org](https://commoncrawl.org/ccbot)/ccbot

AI 에이전트를 만드는 개발자를 위한 독립적인 참고 자료입니다. 여기에 언급된 어떤 업체와도 제휴 관계가 없습니다.

© 2026 DotsAgent · 정보 확인일: 2026년 10월 1일