AI 크롤러 및 에이전트 디렉터리
확인된 모든 AI 봇의 robots.txt 토큰, 데이터 수집 목적, 운영자가 규칙을 준수한다고 밝히는지 여부, 요청이 실제 해당 봇에서 온 것인지 확인하는 방법을 정리했습니다. 커뮤니티의 ai.robots.txt 레지스트리에서만 확인된 토큰은 각 봇 페이지에 따로 표시합니다.
| 봇 | 토큰 | 용도 | robots.txt 준수 | 확인 방법 |
|---|---|---|---|---|
| GPTBot | GPTBot | 학습 | 예 | IP 목록 |
| OAI-SearchBot | OAI-SearchBot | 검색 | 예 | IP 목록 |
| ChatGPT-User | ChatGPT-User | 사용자 요청 | 아니요 | IP 목록 |
| OAI-AdsBot | OAI-AdsBot | 광고 | 언급 없음 | IP 목록 |
| ChatGPT agent | 토큰 없음 | 에이전트 | 언급 없음 | 서명된 요청 |
| ClaudeBot | ClaudeBot | 학습 | 예 | IP 목록 |
| Claude-SearchBot | Claude-SearchBot | 검색 | 예 | IP 목록 |
| Claude-User | Claude-User | 사용자 요청 | 예 | IP 목록 |
| Googlebot | Googlebot | 검색 | 예 | IP 목록 |
| Google-Extended | Google-Extended | 학습 | 예 | — |
| Google-CloudVertexBot | Google-CloudVertexBot | 검색 | 예 | IP 목록 |
| GoogleOther | GoogleOther | 학습 | 예 | IP 목록 |
| Google-Agent | Google-Agent | 에이전트 | 아니요 | IP 목록 |
| Google-GeminiNotebook | Google-GeminiNotebook | 사용자 요청 | 아니요 | IP 목록 |
| Gemini Spark | 토큰 없음 | 에이전트 | 언급 없음 | — |
| Gemini-Deep-Research | Gemini-Deep-Research | 사용자 요청 | 언급 없음 | — |
| GoogleAgent-Mariner | GoogleAgent-Mariner | 에이전트 | 언급 없음 | — |
| Applebot | Applebot | 검색 | 예 | IP 목록 |
| Applebot-Extended | Applebot-Extended | 학습 | 예 | — |
| PerplexityBot | PerplexityBot | 검색 | 예 | IP 목록 |
| Perplexity-User | Perplexity-User | 사용자 요청 | 아니요 | IP 목록 |
| meta-externalagent | meta-externalagent | 학습 | 예 | — |
| meta-webindexer | meta-webindexer | 검색 | 예 | — |
| meta-externalfetcher | meta-externalfetcher | 사용자 요청 | 아니요 | — |
| meta-externalads | meta-externalads | 광고 | 예 | — |
| facebookexternalhit | facebookexternalhit | 사용자 요청 | 아니요 | — |
| Muse | 토큰 없음 | 에이전트 | 언급 없음 | — |
| Amazonbot | Amazonbot | 학습 | 예 | IP 목록 |
| Amzn-SearchBot | Amzn-SearchBot | 검색 | 예 | IP 목록 |
| Amzn-User | Amzn-User | 사용자 요청 | 아니요 | IP 목록 |
| DuckAssistBot | DuckAssistBot | 검색 | 예 | IP 목록 |
| MistralAI-User | MistralAI-User | 사용자 요청 | 예 | IP 목록 |
| MistralAI-Index | MistralAI-Index | 검색 | 예 | IP 목록 |
| MistralAI-Training | MistralAI-Training | 학습 | 예 | — |
| CCBot | CCBot | 학습 | 예 | IP 목록 |
| cohere-ai | cohere-ai | 사용자 요청 | 언급 없음 | — |
| Bytespider | Bytespider | 학습 | 아니요 | — |
| YouBot | YouBot | 검색 | 언급 없음 | — |
| Diffbot | Diffbot | 검색 | 언급 없음 | — |
| Timpibot | Timpibot | 학습 | 언급 없음 | — |
용도 분류 안내
- 학습
- 모델 학습이나 일반적인 조사 목적의 크롤링을 위해 페이지를 수집합니다. Google-Extended와 Applebot-Extended는 제어용 토큰이며 직접 데이터를 가져오지는 않습니다.
- 검색
- Google Search부터 ChatGPT search, Perplexity, DuckAssist 같은 AI 답변 엔진까지 검색 제품에 페이지를 색인합니다. 차단하면 해당 제품에 노출되지 않습니다.
- 사용자 요청
- 사용자가 채팅이나 도구에서 요청하면 페이지를 가져옵니다. 여러 운영자는 이런 요청에는 robots.txt가 적용되지 않을 수 있다고 밝힙니다.
- 에이전트
- 사용자를 대신해 웹을 탐색하고 작업을 수행하며, 전체 브라우저를 사용하는 경우가 많습니다. 토큰이 없는 경우가 많아, 서명이 있더라도 서명으로만 식별할 수 있습니다.
- 광고
- 광고주가 제출한 광고 랜딩 페이지를 확인합니다. robots.txt 생성기에는 포함되지 않습니다.
봇이 주장하는 출처가 맞는지 확인
user-agent 문자열은 얼마든지 위조할 수 있습니다. 대부분의 대형 운영자는 봇이 사용하는 IP 대역을 JSON 파일로 공개하며, 표에서 IP 목록으로 표시합니다. 요청의 IP 주소를 해당 토큰의 목록과 비교하고, 이름만 일치하는 경우에는 인증되지 않은 것으로 취급하세요.
일부 운영자는 역방향 DNS도 문서화합니다. 예를 들어 Common Crawl은 CCBot 호스트가 *.crawl.commoncrawl.org로 확인된다고 안내합니다. 이를 신뢰하기 전에 호스트 이름이 다시 동일한 IP 주소로 확인되는지 검증하세요.
점점 더 많은 에이전트가 Web Bot Auth 초안에 따라 HTTP Message Signatures (RFC 9421)로 요청에 서명합니다. 요청의 Signature-Agent에 운영자가 명시되며, 해당 도메인의 /.well-known/http-message-signatures-directory에 있는 공개 키로 서명을 검증합니다. 유효한 서명은 운영자를 증명할 뿐, 그 배후의 사용자나 사용자가 할 수 있는 작업까지 증명하지는 않습니다.
AI 크롤러 관련 질문
robots.txt를 무시하는 AI 크롤러는 무엇인가요?
운영자가 직접 공개한 문서에 따르면 ChatGPT-User, Perplexity-User, Google-Agent, Google-GeminiNotebook, Amzn-User, meta-externalfetcher, facebookexternalhit은 robots.txt를 따르지 않을 수 있습니다. 대부분 사용자가 가져오기를 요청했기 때문입니다. 커뮤니티에서는 Bytespider도 robots.txt를 따르지 않는다고 보고합니다.
GPTBot, OAI-SearchBot, ChatGPT-User는 어떻게 다른가요?
GPTBot은 OpenAI 모델 학습을 위해 페이지를 수집하고, OAI-SearchBot은 ChatGPT 검색에 사용할 페이지를 색인하며, ChatGPT-User는 사용자가 요청한 페이지를 가져옵니다. 앞의 두 봇은 robots.txt를 따릅니다. OpenAI에 따르면 robots.txt 규칙은 세 번째 봇에 적용되지 않을 수 있습니다.
robots.txt 토큰이 없는 AI 에이전트는 무엇인가요?
ChatGPT agent, Gemini Spark, Meta의 Muse입니다. ChatGPT agent는 https://chatgpt.com의 Web Bot Auth 서명으로 확인할 수 있습니다. 로컬 Chrome 모드의 Gemini Spark는 사용자 자신의 브라우저처럼 보이며, Muse에는 공개된 user-agent가 없습니다.
요청이 실제로 Googlebot에서 온 것인지 어떻게 확인하나요?
Google은 이 디렉터리의 Googlebot 항목에서 링크하는 JSON 파일로 Googlebot의 IP 대역을 공개합니다. user-agent 문자열을 신뢰하는 대신 요청의 IP 주소를 해당 대역과 대조하세요.
이 AI 봇 목록은 어디에서 가져왔나요?
각 항목에는 문서가 있는 경우 운영자 문서 링크가 포함되어 있으며, 문서가 없는 토큰은 커뮤니티의 ai.robots.txt 레지스트리에서 가져왔습니다. 운영자 문서를 찾지 못한 DeepSeekBot, Kimi-User, Manus-User, NovaAct, Devin, PetalBot은 목록에서 제외했습니다. 목록은 2026년 10월 1일에 확인했습니다.