Google · Agents
Qu’est-ce que Google-Agent ?
Récupère des pages pour les agents exécutés sur l’infrastructure de Google, à la demande d’un utilisateur. Selon Google, les récupérateurs déclenchés par l’utilisateur ignorent généralement robots.txt.
- Token robots.txt
Google-Agent- Opérateur
- Objectif
- Agents
- Respecte robots.txt
- Non L’opérateur indique que robots.txt peut ne pas s’appliquer, ou des signalements de la communauté indiquent que le bot l’ignore.
- Documenté par l’opérateur
- Oui, sur les pages de l’opérateur.
- Liste d’adresses IP publiée
- developers.google.com/static/crawling/ipranges/user-triggered-agents.json
- Documentation
- developers.google.com
Google teste une identité Web Bot Auth, https://agent.bot.goog, pour ces requêtes.
Bloquer Google-Agent sur tout votre site
User-agent: Google-Agent
Disallow: /
L’autoriser, mais exclure les chemins privés
User-agent: Google-Agent
Allow: /
Disallow: /admin/
Ce bot récupère des pages pour une personne ou pour un agent agissant en son nom. Plusieurs opérateurs indiquent que robots.txt peut ne pas s’appliquer à ces requêtes. Vérifiez donc l’indication ci-dessus et bloquez-le au niveau de votre pare-feu si nécessaire.
Autres bots de Google
GooglebotGoogle-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
L’ajouter à un robots.txt dans le générateur →