---
title: "AI 에이전트 친화적인 웹사이트: llms.txt, robots.txt, AI 봇 · DotsAgent"
description: "llms.txt, AI 봇용 robots.txt, RFC 9727 API 카탈로그를 생성하고, 토큰, 목적, 공개 IP 목록을 기준으로 AI 크롤러와 에이전트 40개를 찾아보세요."
url: https://dotsagent.io/ko/agent-ready
---

사이트 공개 · 레퍼런스

# AI 에이전트가 읽을 수 있는 사이트 만들기

AI 크롤러와 에이전트는 사람과 다르게 사이트를 읽습니다. 아래 도구로 이들이 찾는 파일을 생성할 수 있으며, 이어지는 레퍼런스에서는 어떤 규칙이 표준인지, 어떤 규칙이 초안인지, 실제로 몇 개의 클라이언트가 사용하는지 확인할 수 있습니다.

- [llms.txt 생성기](https://dotsagent.io/ko/agent-ready/llms-txt): 이름, 요약, 링크 섹션을 입력하고 llmstxt.org 형식의 파일을 복사하세요.

- [AI 봇용 robots.txt](https://dotsagent.io/ko/agent-ready/robots-txt): 봇의 목적별 정책을 설정하고, 개별 크롤러를 켜거나 끄고, Content-Signal을 추가한 뒤 결과를 다운로드하세요.

- [API 카탈로그](https://dotsagent.io/ko/agent-ready/api-catalog): OpenAPI 파일과 문서가 포함된 API 목록을 만들고, RFC 9727 링크셋과 이를 제공하는 nginx 블록을 생성하세요.

- [AI 봇 디렉터리](https://dotsagent.io/ko/agent-ready/bots): 토큰, 목적, robots.txt 동작 방식, 공개 IP 목록이 포함된 크롤러와 에이전트 40개를 확인하세요.

## 규칙과 정착 수준

October 2026 기준 상태입니다. 각 항목에는 사양 또는 근거 자료가 연결되어 있어, 사이트에 적용할 가치가 있는지 판단할 수 있습니다.

### robots.txt 표준

사이트 루트에 있는 이 파일은 토큰으로 크롤러를 지정하고 각 크롤러가 건너뛰어야 할 경로를 나열합니다. RFC 9309로 표준화되어 있습니다. 이제 AI 서비스 운영자는 학습, 검색, 사용자 요청에 따른 가져오기에 서로 다른 토큰을 공개하므로, 하나의 파일로 학습은 거부하면서 검색은 허용할 수 있습니다. 규칙 준수는 자발적이며, 사용자 요청에 따라 가져오는 일부 크롤러는 해당 규칙이 자신에게 적용되지 않을 수 있다고 명시합니다.

`/robots.txt`

```
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
```

[platform.openai.com](https://platform.openai.com/docs/bots)[developers.google.com](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)

### Content-Signal 널리 사용됨

가져온 콘텐츠의 사용 방식을 명시하는 robots.txt 추가 항목입니다. search, ai-input, ai-train 각각을 yes 또는 no로 설정합니다. Cloudflare는 2025년 9월 이를 CC0 정책으로 공개했으며, 관리형 robots.txt를 통해 약 3.8 million개 도메인에 제공합니다. 이에 대응하는 IETF 초안은 4 April 2026에 만료됐지만, IETF AIPREF 작업 그룹은 용어집 초안 작업을 이어가고 있습니다.

`/robots.txt`

```
User-agent: *
Content-Signal: ai-train=no, search=yes, ai-input=yes
Allow: /
```

[blog.cloudflare.com](https://blog.cloudflare.com/content-signals-policy/)[datatracker.ietf.org](https://datatracker.ietf.org/wg/aipref/documents/)

### llms.txt 제안

탐색 메뉴를 분석하지 않고도 에이전트가 주요 페이지에 접근할 수 있도록, /llms.txt에 H1 이름, blockquote 요약, 링크가 포함된 H2 섹션을 작성합니다. llmstxt.org의 사양은 10 August 2026에 개정됐으며, llms-full.txt는 사양에 포함되지 않습니다. 주요 크롤러가 이 파일을 읽는다는 운영자의 발표는 확인되지 않았습니다.

`/llms.txt`

```
# Acme API

> Card payments for small online shops.

## Docs

- [Quickstart](https://example.com/docs/quickstart.md): first request
```

[llmstxt.org](https://llmstxt.org/)[llmstxt.org](https://llmstxt.org/changes.html)

### 페이지의 Markdown 버전 부분 도입

각 페이지의 Markdown 사본을 page.md 또는 page.html.md로 게시하거나, Accept 헤더에 text/markdown을 요청하는 모든 요청에 Markdown을 응답합니다. Checkly가 2026년 2월에 진행한 테스트에서 Claude Code, Cursor, OpenCode는 해당 헤더를 보냈지만 Codex, Gemini CLI, GitHub Copilot, Windsurf는 보내지 않았습니다. AnswerShare는 주요 크롤러의 요청 1,277,965건을 집계했으며, 그중 Markdown을 요청한 요청은 없었습니다.

`Request`

```
GET /docs/quickstart HTTP/1.1
Host: example.com
Accept: text/markdown
```

[developers.cloudflare.com](https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/)[checklyhq.com](https://www.checklyhq.com/blog/state-of-ai-agent-content-negotation/)[answershare.com](https://answershare.com/markdowndoesnotwork)

### API 카탈로그 표준

2025년 6월에 발표된 RFC 9727은 공개 API 목록을 위한 /.well-known/api-catalog를 지정합니다. 목록의 각 API는 기계가 읽을 수 있는 설명, 문서, 상태 페이지에 연결됩니다. 응답의 미디어 타입은 application/linkset+json이어야 하며, 다른 페이지에서는 api-catalog 링크 관계를 사용해 이 카탈로그를 가리킬 수 있습니다.

`/.well-known/api-catalog`

```
{
  "linkset": [
    {
      "anchor": "https://api.example.com/v1",
      "service-desc": [{ "href": "https://api.example.com/v1/openapi.json" }]
    }
  ]
}
```

[rfc-editor.org](https://www.rfc-editor.org/rfc/rfc9727.html)

### 서명된 에이전트 요청 (Web Bot Auth) 초안

에이전트는 HTTP Message Signatures (RFC 9421)로 각 요청에 서명하고 Signature-Agent 헤더에 운영자를 명시합니다. 운영자가 /.well-known/http-message-signatures-directory에 게시한 키를 사용해 서명을 확인합니다. IETF 작업 그룹의 초안은 1 September 2026에 작성됐습니다. ChatGPT 에이전트는 이미 https://chatgpt.com으로 서명하며, Google은 https://agent.bot.goog를 실험 중입니다.

`Request header`

```
Signature-Agent: "https://chatgpt.com"
```

[datatracker.ietf.org](https://datatracker.ietf.org/doc/draft-ietf-webbotauth-httpsig-protocol/)[blog.cloudflare.com](https://blog.cloudflare.com/signed-agents/)

### NLWeb 중단

Microsoft의 NLWeb은 사이트에 에이전트가 자연어로 질의할 수 있는 /ask 및 /mcp endpoint를 제공하며, 사양은 버전 0.55입니다. Lumar에 따르면 nlweb.ai 인증서는 4 August 2026에 만료됐고 저장소는 6월 이후 활동이 없으므로, 이를 기반으로 구축하기 전에 기다리는 편이 좋습니다.

[github.com](https://github.com/microsoft/NLWeb/blob/main/docs/nlweb-rest-api.md)[agentic-readiness.lumar.io](https://agentic-readiness.lumar.io/docs/capabilities/nl-web)

## 자신을 알리지 않는 에이전트

일부 에이전트는 robots.txt 토큰을 공개하지 않고 사용자처럼 웹을 탐색하므로 User-agent 규칙으로 제어할 수 없습니다. ChatGPT agent는 Web Bot Auth로 요청에 서명하고 Signature-Agent: "https://chatgpt.com"을 전송합니다. 이 서명은 OpenAI의 키 디렉터리에서 확인할 수 있으며, Cloudflare는 해당 트래픽을 chatgpt-agent로 분류합니다. 로컬 Chrome 모드의 Gemini Spark와 Meta의 Muse는 문서화된 신호가 전혀 없습니다.

## 에이전트 대응 사이트 관련 질문

### 웹사이트를 에이전트 대응형으로 만들려면 어떻게 해야 하나요?

이를 정의하는 단일 표준은 없습니다. 일반적으로 목적별 AI 봇을 명시한 robots.txt, 선택적으로 제공하는 llms.txt 및 API 카탈로그, 주요 페이지의 Markdown 버전, 그리고 허용한 에이전트를 검증하는 방법을 갖추는 것을 의미합니다. 이 중 RFC로 발행된 것은 robots.txt와 API 카탈로그뿐입니다.

### AI 크롤러는 llms.txt를 읽나요?

저희 디렉터리에 등록된 크롤러가 llms.txt를 가져간다는 운영자 문서는 확인하지 못했습니다. Lighthouse는 파일의 존재 여부를 확인하며, 해당 파일을 지정한 에이전트는 다른 페이지와 마찬가지로 읽을 수 있습니다. 검색 기능이 아니라 에이전트 편의를 위한 파일로 생각하세요.

### 사이트에서 AI 크롤러를 차단해야 하나요?

한꺼번에 모두 차단하기보다 목적별로 결정하세요. GPTBot, ClaudeBot, Google-Extended 같은 학습용 토큰을 거부해도 검색은 차단되지 않습니다. OAI-SearchBot이나 PerplexityBot 같은 검색용 토큰을 차단하면 해당 제품에서 사이트를 완전히 제외하게 됩니다.

### robots.txt로 ChatGPT agent를 차단할 수 있나요?

아니요. ChatGPT agent는 토큰을 공개하지 않습니다. https://chatgpt.com의 Web Bot Auth 서명으로 식별한 뒤 서버나 CDN에서 허용하거나 거부할 수 있습니다. 유효한 서명은 요청을 보낸 운영자를 증명할 뿐, 사용자의 신원이나 사용자가 할 수 있는 작업을 증명하지는 않습니다.

### Content-Signal은 공식 표준인가요?

아니요. Cloudflare가 2025년 9월에 공개한 CC0 정책입니다. Cloudflare의 관리형 robots.txt를 통해 약 3.8 million개 도메인에서 제공됩니다. IETF 초안은 4 April 2026에 만료됐으며, AIPREF 작업 그룹은 여전히 공통 어휘를 작성하고 있습니다.

AI 에이전트를 만드는 개발자를 위한 독립적인 참고 자료입니다. 여기에 언급된 어떤 업체와도 제휴 관계가 없습니다.

© 2026 DotsAgent · 정보 확인일: 2026년 10월 1일