Google · Agentes
O que é Google-Agent?
Busca páginas para agentes executados na infraestrutura do Google quando um usuário pede que eles ajam. Segundo o Google, os buscadores acionados pelo usuário geralmente ignoram o robots.txt.
- Token para robots.txt
Google-Agent- Operador
- Finalidade
- Agentes
- Obedece ao robots.txt
- Não O operador informa que o robots.txt pode não se aplicar, ou relatos da comunidade dizem que ele é ignorado.
- Documentado pelo operador
- Sim, nas páginas do próprio operador.
- Lista de IPs publicada
- developers.google.com/static/crawling/ipranges/user-triggered-agents.json
- Documentação
- developers.google.com
O Google está testando uma identidade Web Bot Auth, https://agent.bot.goog, para essas solicitações.
Bloqueie Google-Agent em todo o seu site
User-agent: Google-Agent
Disallow: /
Permita o acesso, mas proteja os caminhos privados
User-agent: Google-Agent
Allow: /
Disallow: /admin/
Este bot busca páginas para uma pessoa ou para um agente que atua em seu nome. Vários operadores dizem que o robots.txt pode não se aplicar a essas solicitações. Por isso, confira a informação acima e bloqueie o acesso no firewall se isso for importante.
Outros bots de Google
GooglebotGoogle-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
Adicione-o ao robots.txt no gerador →