Google · Zoeken
Wat is Googlebot?
De belangrijkste crawler van Google voor Google Search. Deze volgt robots.txt en Google publiceert de IP-bereiken.
- robots.txt-token
Googlebot- Operator
- Doel
- Zoeken
- Volgt robots.txt
- Ja De beheerder zegt dat deze robots.txt volgt.
- Gedocumenteerd door operator
- Ja, op de eigen pagina's van de beheerder.
- Gepubliceerde IP-lijst
- developers.google.com/static/search/apis/ipranges/googlebot.json
- Documentatie
- developers.google.com
Weiger training voor Gemini zonder uit Search te verdwijnen door Google-Extended te disallowen in plaats van Googlebot.
Blokkeer Googlebot op je hele site
User-agent: Googlebot
Disallow: /
Sta deze toe, maar sluit privé-paden uit
User-agent: Googlebot
Allow: /
Disallow: /admin/
Andere bots van Google
Google-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-AgentGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
Voeg deze toe aan een robots.txt in de generator →