Répertoire des crawlers et agents IA

Tous les bots IA que nous avons pu confirmer, avec le jeton à utiliser dans robots.txt, leur objectif, la déclaration de leur opérateur sur le respect des règles et les moyens de vérifier qu’une requête provient bien de ce bot. Les jetons connus uniquement grâce au registre communautaire ai.robots.txt sont signalés sur leurs pages respectives.

Signification des objectifs

Entraînement

Collecte des pages pour entraîner des modèles ou effectuer du crawling à des fins de recherche générale. Google-Extended et Applebot-Extended sont des jetons de contrôle qui ne récupèrent jamais de contenu eux-mêmes.

Recherche

Indexe des pages pour un produit de recherche, de Google Search aux moteurs de réponse IA comme la recherche ChatGPT, Perplexity et DuckAssist. Le bloquer vous exclut de ce produit.

Requêtes utilisateur

Récupère une page à la demande d’une personne depuis un chat ou un outil. Plusieurs opérateurs indiquent que robots.txt peut ne pas s’appliquer à ces requêtes.

Agents

Navigue et agit pour le compte d’un utilisateur, souvent dans un navigateur complet. Beaucoup n’ont pas de jeton et ne peuvent être identifiés que par leur signature, le cas échéant.

Publicités

Vérifie les pages de destination publicitaires soumises par les annonceurs. Ces bots sont exclus du générateur robots.txt.

Vérifier l’identité d’un bot

Une chaîne user-agent est facile à falsifier. La plupart des grands opérateurs publient sous forme de fichiers JSON les plages d’adresses IP utilisées par leurs bots ; le tableau les signale par « liste d’adresses IP ». Comparez l’adresse de la requête à la liste correspondant à ce token, et ne considérez pas une correspondance sur le seul nom comme vérifiée.

Certains opérateurs documentent aussi le DNS inverse. Common Crawl indique par exemple que les hôtes CCBot ont un nom d’hôte qui se résout en *.crawl.commoncrawl.org ; vérifiez que ce nom d’hôte se résout à nouveau vers la même adresse avant de lui faire confiance.

Les agents signent de plus en plus leurs requêtes avec HTTP Message Signatures (RFC 9421), selon le brouillon Web Bot Auth. La requête indique l’opérateur dans Signature-Agent ; vérifiez la signature à l’aide des clés publiques disponibles dans /.well-known/http-message-signatures-directory sur le domaine concerné. Une signature valide prouve l’identité de l’opérateur, pas celle de l’utilisateur ni les actions qu’il est autorisé à effectuer.

Générer un robots.txt à partir de cette liste →