dotsagent.io
Langue:Français
Google · Entraînement

Qu’est-ce que GoogleOther ?

Le crawler générique de Google pour les activités de recherche et développement hors Search. Il respecte robots.txt et utilise la liste commune des adresses IP de ses crawlers.

Token robots.txt
GoogleOther
Opérateur
Google
Objectif
Entraînement
Respecte robots.txt
Oui L’opérateur indique que le bot respecte robots.txt.
Documenté par l’opérateur
Oui, sur les pages de l’opérateur.
Liste d’adresses IP publiée
developers.google.com/static/crawling/ipranges/common-crawlers.json
Documentation
developers.google.com

Bloquer GoogleOther sur tout votre site

robots.txt
User-agent: GoogleOther
Disallow: /

L’autoriser, mais exclure les chemins privés

robots.txt
User-agent: GoogleOther
Allow: /
Disallow: /admin/

Autres bots de Google

L’ajouter à un robots.txt dans le générateur →

Sources

  1. developers.google.com/search/docs/crawling-indexing/google-common-crawlers