Anthropic · 사용자 요청
Claude-User이란?
Claude 사용자가 요청하면 페이지를 가져옵니다. 대부분의 사용자 요청 기반 페이지 가져오기 도구와 달리 robots.txt를 준수합니다. Anthropic은 모든 봇이 이를 준수한다고 밝힙니다.
- robots.txt 토큰
Claude-User- 운영자
- Anthropic
- 목적
- 사용자 요청
- robots.txt 준수
- 예 운영자는 robots.txt를 준수한다고 밝힙니다.
- 운영자 문서
- 예, 운영자의 공식 페이지에 나와 있습니다.
- 공개된 IP 목록
- claude.com/crawling/bots.json
- 문서
- support.claude.com
사이트 전체에서 Claude-User 차단
User-agent: Claude-User
Disallow: /
허용하되 비공개 경로는 제외
User-agent: Claude-User
Allow: /
Disallow: /admin/
이 봇은 사용자를 위해 또는 사용자를 대신하는 에이전트를 위해 페이지를 가져옵니다. 일부 운영자는 이러한 요청에는 robots.txt가 적용되지 않을 수 있다고 밝히므로, 중요한 경우 위 내용을 확인하고 방화벽에서 차단하세요.