OpenAI · 训练
GPTBot 是什么？
OpenAI 用于抓取公开页面的爬虫，这些页面可能会用于训练其模型。OpenAI 表示它遵守 robots.txt，并公布了 IP 地址段。
- robots.txt token
GPTBot- 运营方
- OpenAI
- 用途
- 训练
- 是否遵守 robots.txt
- 是 运营方表示该爬虫遵守 robots.txt。
- 运营方是否提供文档
- 是，运营方在其自有页面上有相关说明。
- 公开的 IP 列表
- openai.com/gptbot.json
- 文档
- platform.openai.com
屏蔽 GPTBot 不会影响 ChatGPT 搜索或用户主动请求的页面抓取；这些请求由 OAI-SearchBot 和 ChatGPT-User 发起。
在整个网站上屏蔽 GPTBot
User-agent: GPTBot
Disallow: /
允许访问，但屏蔽私有路径
User-agent: GPTBot
Allow: /
Disallow: /admin/