OpenAI · 广告
OAI-AdsBot 是什么？
检查提交给 OpenAI 的广告落地页。它只访问作为广告提交的 URL。
- robots.txt token
OAI-AdsBot- 运营方
- OpenAI
- 用途
- 广告
- 是否遵守 robots.txt
- 未说明 运营方未作说明。
- 运营方是否提供文档
- 是，运营方在其自有页面上有相关说明。
- 公开的 IP 列表
- openai.com/adsbot.json
- 文档
- platform.openai.com
此爬虫不会加入 robots.txt 生成器，因为它只会抓取广告主提交的页面。
在整个网站上屏蔽 OAI-AdsBot
User-agent: OAI-AdsBot
Disallow: /
允许访问，但屏蔽私有路径
User-agent: OAI-AdsBot
Allow: /
Disallow: /admin/