---
title: "Diffbot: 이 AI 크롤러 차단 또는 허용 · DotsAgent"
description: "Diffbot은(는) Diffbot에서 운영하며 검색 항목에 등록되어 있습니다. robots.txt 토큰, 규칙 준수 여부, IP 목록 및 제어 방법을 확인하세요."
url: https://dotsagent.io/ko/agent-ready/bots/diffbot
---

Diffbot · 검색

# Diffbot이란?

데이터 추출과 지식 그래프 구축을 위한 Diffbot의 크롤러입니다. 이 토큰은 Diffbot 자체 문서가 아닌 커뮤니티 목록에 나옵니다.

- **robots.txt 토큰**: `Diffbot`
- **운영자**: Diffbot
- **목적**: 검색
- **robots.txt 준수**: 운영자는 이에 대해 밝히지 않습니다.
- **운영자 문서**: 아니요. 이 토큰은 ai.robots.txt 같은 커뮤니티 목록에만 나와 있습니다.

커뮤니티 자료에 따르면 robots.txt를 따르는지는 Diffbot 사용자 설정에 달려 있습니다.

## 사이트 전체에서 Diffbot 차단

`robots.txt`

```
User-agent: Diffbot
Disallow: /
```

## 허용하되 비공개 경로는 제외

`robots.txt`

```
User-agent: Diffbot
Allow: /
Disallow: /admin/
```

[생성기의 robots.txt에 추가 →](https://dotsagent.io/ko/agent-ready/robots-txt)

## 출처

1. [github.com](https://github.com/ai-robots-txt/ai.robots.txt)/ai-robots-txt/ai.robots.txt

AI 에이전트를 만드는 개발자를 위한 독립적인 참고 자료입니다. 여기에 언급된 어떤 업체와도 제휴 관계가 없습니다.

© 2026 DotsAgent · 정보 확인일: 2026년 10월 1일