Google · Agentes
¿Qué es Google-Agent?
Obtiene páginas para agentes que se ejecutan en la infraestructura de Google cuando un usuario les pide que actúen. Google afirma que, por lo general, los rastreadores activados por el usuario ignoran robots.txt.
- Token de robots.txt
Google-Agent- Operador
- Propósito
- Agentes
- Respeta robots.txt
- No El operador indica que robots.txt podría no aplicarse, o hay informes de la comunidad que dicen que lo ignora.
- Documentado por el operador
- Sí, en las páginas oficiales del operador.
- Lista de IP publicada
- developers.google.com/static/crawling/ipranges/user-triggered-agents.json
- Documentación
- developers.google.com
Google está probando una identidad Web Bot Auth, https://agent.bot.goog, para estas solicitudes.
Bloquea Google-Agent en todo tu sitio
User-agent: Google-Agent
Disallow: /
Permítelo, pero excluye las rutas privadas
User-agent: Google-Agent
Allow: /
Disallow: /admin/
Este bot obtiene páginas para una persona o para un agente que actúa en su nombre. Varios operadores indican que robots.txt podría no aplicarse a estas solicitudes, así que comprueba la información anterior y aplícalo en tu firewall si es importante.
Otros bots de Google
GooglebotGoogle-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
Añádelo a un robots.txt en el generador →