OpenAI · 학습
GPTBot이란?
OpenAI의 크롤러로, 모델 학습에 사용될 수 있는 공개 페이지를 수집합니다. OpenAI는 robots.txt를 준수하며 IP 범위를 공개한다고 밝힙니다.
- robots.txt 토큰
GPTBot- 운영자
- OpenAI
- 목적
- 학습
- robots.txt 준수
- 예 운영자는 robots.txt를 준수한다고 밝힙니다.
- 운영자 문서
- 예, 운영자의 공식 페이지에 나와 있습니다.
- 공개된 IP 목록
- openai.com/gptbot.json
- 문서
- platform.openai.com
GPTBot을 차단해도 ChatGPT 검색이나 사용자가 요청한 페이지 가져오기는 영향을 받지 않습니다. 이러한 요청은 OAI-SearchBot과 ChatGPT-User에서 옵니다.
사이트 전체에서 GPTBot 차단
User-agent: GPTBot
Disallow: /
허용하되 비공개 경로는 제외
User-agent: GPTBot
Allow: /
Disallow: /admin/