Google · Entrenamiento

¿Qué es GoogleOther?

El rastreador genérico de Google para obtener páginas con fines de investigación y desarrollo, fuera de Search. Sigue robots.txt y comparte la lista de IP habituales de los rastreadores.

Token de robots.txt: GoogleOther
Operador: Google
Propósito: Entrenamiento
Respeta robots.txt: Sí El operador indica que respeta robots.txt.
Documentado por el operador: Sí, en las páginas oficiales del operador.
Lista de IP publicada: developers.google.com/static/crawling/ipranges/common-crawlers.json
Documentación: developers.google.com

Bloquea GoogleOther en todo tu sitio

robots.txt

User-agent: GoogleOther
Disallow: /

Permítelo, pero excluye las rutas privadas

robots.txt

User-agent: GoogleOther
Allow: /
Disallow: /admin/

Otros bots de Google

Googlebot Google-Extended Google-CloudVertexBot Google-Agent Google-GeminiNotebook Gemini Spark Gemini-Deep-Research GoogleAgent-Mariner

Añádelo a un robots.txt en el generador →

Fuentes

developers.google.com/search/docs/crawling-indexing/google-common-crawlers