Что такое GPTBot?

Краулер OpenAI, который собирает общедоступные страницы, потенциально используемые для обучения моделей. OpenAI сообщает, что GPTBot соблюдает robots.txt и публикует диапазоны своих IP-адресов.

Токен robots.txt

GPTBot

Оператор

OpenAI

Назначение

Обучение

Соблюдает robots.txt

●Да Оператор сообщает, что бот соблюдает robots.txt.

Описан оператором

Да, на страницах самого оператора.

Опубликованный список IP-адресов

openai.com/gptbot.json

Документация

platform.openai.com

Блокировка GPTBot не влияет на поиск ChatGPT и получение страниц по запросу пользователя: для этого используются OAI-SearchBot и ChatGPT-User.

Заблокировать GPTBot на всём сайте

User-agent: GPTBot
Disallow: /

Разрешить доступ, но закрыть приватные пути

User-agent: GPTBot
Allow: /
Disallow: /admin/

Другие боты от OpenAI

Добавить в генератор robots.txt →