Что такое OAI-SearchBot?

Краулер OpenAI для поиска в ChatGPT. Он соблюдает robots.txt и использует отдельный от GPTBot токен, поэтому вы можете оставить страницы доступными для поиска, запретив их использование для обучения.

Токен robots.txt

OAI-SearchBot

Оператор

OpenAI

Назначение

Поиск

Соблюдает robots.txt

●Да Оператор сообщает, что бот соблюдает robots.txt.

Описан оператором

Да, на страницах самого оператора.

Опубликованный список IP-адресов

openai.com/searchbot.json

Документация

platform.openai.com

Заблокировать OAI-SearchBot на всём сайте

User-agent: OAI-SearchBot
Disallow: /

Разрешить доступ, но закрыть приватные пути

User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/

Другие боты от OpenAI

Добавить в генератор robots.txt →