OpenAI · 学習
GPTBotとは？
OpenAI のクローラーです。モデルのトレーニングに使用される可能性のある公開ページを収集します。OpenAI によると、robots.txt に従い、IP 範囲を公開しています。
- robots.txtトークン
GPTBot- 運営者
- OpenAI
- 用途
- 学習
- robots.txtへの準拠
- はい 運営者は、robots.txt に従うと明言しています。
- 運営者によるドキュメント
- はい。運営者自身のページに記載されています。
- 公開IPリスト
- openai.com/gptbot.json
- ドキュメント
- platform.openai.com
GPTBot をブロックしても、ChatGPT 検索やユーザーのリクエストによるページ取得には影響しません。これらには OAI-SearchBot と ChatGPT-User が使われます。
サイト全体で GPTBot をブロックする
User-agent: GPTBot
Disallow: /
許可しつつ、非公開パスへのアクセスを防ぐ
User-agent: GPTBot
Allow: /
Disallow: /admin/