OpenAI · Treinamento

O que é GPTBot?

Crawler da OpenAI que coleta páginas públicas que podem ser usadas para treinar seus modelos. A OpenAI informa que ele segue o robots.txt e publica seus intervalos de IP.

Token para robots.txt: GPTBot
Operador: OpenAI
Finalidade: Treinamento
Obedece ao robots.txt: Sim O operador informa que segue o robots.txt.
Documentado pelo operador: Sim, nas páginas do próprio operador.
Lista de IPs publicada: openai.com/gptbot.json
Documentação: platform.openai.com

Bloquear GPTBot não afeta a busca do ChatGPT nem as solicitações de busca feitas por usuários, que usam OAI-SearchBot e ChatGPT-User.

Bloqueie GPTBot em todo o seu site

robots.txt

User-agent: GPTBot
Disallow: /

Permita o acesso, mas proteja os caminhos privados

robots.txt

User-agent: GPTBot
Allow: /
Disallow: /admin/

Outros bots de OpenAI

OAI-SearchBot ChatGPT-User OAI-AdsBot ChatGPT agent

Adicione-o ao robots.txt no gerador →

Fontes

platform.openai.com/docs/bots