dotsagent.io
Langue:Français
Cohere · Requêtes utilisateur

Qu’est-ce que cohere-ai ?

Un token que les listes communautaires associent aux récupérations de pages à la demande de Cohere. Cohere indique ne pas effectuer de crawling pour l’entraînement ; sa propre documentation donne Coherebot comme exemple de token.

Token robots.txt
cohere-ai
Opérateur
Cohere
Objectif
Requêtes utilisateur
Respecte robots.txt
Non précisé L’opérateur ne se prononce pas.
Documenté par l’opérateur
Oui, sur les pages de l’opérateur.
Documentation
docs.cohere.com

cohere-training-data-crawler est un autre token de Cohere signalé par la communauté ; Cohere ne confirme ni l’un ni l’autre.

Bloquer cohere-ai sur tout votre site

robots.txt
User-agent: cohere-ai
Disallow: /

L’autoriser, mais exclure les chemins privés

robots.txt
User-agent: cohere-ai
Allow: /
Disallow: /admin/

Ce bot récupère des pages pour une personne ou pour un agent agissant en son nom. Plusieurs opérateurs indiquent que robots.txt peut ne pas s’appliquer à ces requêtes. Vérifiez donc l’indication ci-dessus et bloquez-le au niveau de votre pare-feu si nécessaire.

L’ajouter à un robots.txt dans le générateur →

Sources

  1. docs.cohere.com/docs/cohere-web-crawlers
  2. github.com/ai-robots-txt/ai.robots.txt