OpenAI · 검색
OAI-SearchBot이란?
ChatGPT 검색을 위한 OpenAI의 크롤러입니다. robots.txt를 준수하며 GPTBot과 별도의 토큰을 사용하므로, 학습 수집은 거부하면서 검색에는 노출할 수 있습니다.
- robots.txt 토큰
OAI-SearchBot- 운영자
- OpenAI
- 목적
- 검색
- robots.txt 준수
- 예 운영자는 robots.txt를 준수한다고 밝힙니다.
- 운영자 문서
- 예, 운영자의 공식 페이지에 나와 있습니다.
- 공개된 IP 목록
- openai.com/searchbot.json
- 문서
- platform.openai.com
사이트 전체에서 OAI-SearchBot 차단
User-agent: OAI-SearchBot
Disallow: /
허용하되 비공개 경로는 제외
User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/