Google · Recherche

Qu’est-ce que Googlebot ?

Le principal crawler de Google pour Google Search. Il respecte robots.txt et Google publie ses plages d’adresses IP.

Token robots.txt: Googlebot
Opérateur: Google
Objectif: Recherche
Respecte robots.txt: Oui L’opérateur indique que le bot respecte robots.txt.
Documenté par l’opérateur: Oui, sur les pages de l’opérateur.
Liste d’adresses IP publiée: developers.google.com/static/search/apis/ipranges/googlebot.json
Documentation: developers.google.com

Pour refuser l’utilisation de vos contenus à l’entraînement de Gemini sans quitter les résultats de recherche, interdisez Google-Extended plutôt que Googlebot.

Bloquer Googlebot sur tout votre site

robots.txt

User-agent: Googlebot
Disallow: /

L’autoriser, mais exclure les chemins privés

robots.txt

User-agent: Googlebot
Allow: /
Disallow: /admin/

Autres bots de Google

Google-Extended Google-CloudVertexBot GoogleOther Google-Agent Google-GeminiNotebook Gemini Spark Gemini-Deep-Research GoogleAgent-Mariner

L’ajouter à un robots.txt dans le générateur →

Sources

developers.google.com/search/docs/crawling-indexing/google-common-crawlers