Common Crawl · 학습
CCBot이란?
AI 모델 학습에 널리 사용되는 공개 웹 코퍼스를 구축하는 Common Crawl의 크롤러입니다. robots.txt를 따릅니다.
- robots.txt 토큰
CCBot- 운영자
- Common Crawl
- 목적
- 학습
- robots.txt 준수
- 예 운영자는 robots.txt를 준수한다고 밝힙니다.
- 운영자 문서
- 예, 운영자의 공식 페이지에 나와 있습니다.
- 공개된 IP 목록
- index.commoncrawl.org/ccbot.json
- 문서
- commoncrawl.org
역방향 DNS에서 호스트 이름은 *.crawl.commoncrawl.org로 확인되며, Common Crawl은 IP 목록을 공개합니다.
사이트 전체에서 CCBot 차단
User-agent: CCBot
Disallow: /
허용하되 비공개 경로는 제외
User-agent: CCBot
Allow: /
Disallow: /admin/