dotsagent.io
言語:日本語
OpenAI · ユーザーによる取得

ChatGPT-Userとは?

ChatGPT を使うユーザーがページをリクエストしたときに、そのページを取得します。独自のスケジュールでクロールすることはありません。

robots.txtトークン
ChatGPT-User
運営者
OpenAI
用途
ユーザーによる取得
robots.txtへの準拠
いいえ 運営者は、robots.txt が適用されない場合があると明言しています。または、無視するというコミュニティからの報告があります。
運営者によるドキュメント
はい。運営者自身のページに記載されています。
公開IPリスト
openai.com/chatgpt-user.json
ドキュメント
platform.openai.com

OpenAI によると、こうしたページ取得には robots.txt のルールが適用されない場合があります。ブロックが必要な場合は、公開されている IP リストに基づいてフィルタリングしてください。

サイト全体で ChatGPT-User をブロックする

robots.txt
User-agent: ChatGPT-User
Disallow: /

許可しつつ、非公開パスへのアクセスを防ぐ

robots.txt
User-agent: ChatGPT-User
Allow: /
Disallow: /admin/

この bot は、ユーザー本人または代理で動作するエージェントのためにページを取得します。こうしたリクエストには robots.txt が適用されない場合があると複数の運営者が説明しています。必要に応じて上記の説明を確認し、ファイアウォールで制御してください。

OpenAI のその他の bot

ジェネレーターで robots.txt に追加 →

出典

  1. platform.openai.com/docs/bots