Qu’est-ce que GPTBot ?

Le crawler d’OpenAI qui collecte des pages publiques susceptibles d’être utilisées pour entraîner ses modèles. OpenAI indique qu’il respecte robots.txt et publie ses plages d’adresses IP.

Token robots.txt

GPTBot

Opérateur

OpenAI

Objectif

Entraînement

Respecte robots.txt

●Oui L’opérateur indique que le bot respecte robots.txt.

Documenté par l’opérateur

Oui, sur les pages de l’opérateur.

Liste d’adresses IP publiée

openai.com/gptbot.json

Documentation

platform.openai.com

Bloquer GPTBot n’a aucun effet sur la recherche ChatGPT ni sur les pages récupérées à la demande des utilisateurs : ces requêtes proviennent de OAI-SearchBot et de ChatGPT-User.

Bloquer GPTBot sur tout votre site

User-agent: GPTBot
Disallow: /

L’autoriser, mais exclure les chemins privés

User-agent: GPTBot
Allow: /
Disallow: /admin/

Autres bots de OpenAI

L’ajouter à un robots.txt dans le générateur →