Google · Agents
Wat is Google-Agent?
Haalt pagina's op voor agents die op de infrastructuur van Google draaien, wanneer een gebruiker vraagt om actie te ondernemen. Volgens Google negeren fetchers die door een gebruiker worden gestart doorgaans robots.txt.
- robots.txt-token
Google-Agent- Operator
- Doel
- Agents
- Volgt robots.txt
- Nee De beheerder zegt dat robots.txt mogelijk niet van toepassing is, of uit meldingen van de community blijkt dat deze het negeert.
- Gedocumenteerd door operator
- Ja, op de eigen pagina's van de beheerder.
- Gepubliceerde IP-lijst
- developers.google.com/static/crawling/ipranges/user-triggered-agents.json
- Documentatie
- developers.google.com
Google experimenteert voor deze verzoeken met een Web Bot Auth-identiteit: https://agent.bot.goog.
Blokkeer Google-Agent op je hele site
User-agent: Google-Agent
Disallow: /
Sta deze toe, maar sluit privé-paden uit
User-agent: Google-Agent
Allow: /
Disallow: /admin/
Deze bot haalt pagina's op voor een persoon of voor een agent die namens iemand handelt. Verschillende beheerders zeggen dat robots.txt mogelijk niet van toepassing is op zulke verzoeken. Controleer daarom de regel hierboven en blokkeer de bot op je firewall als dat belangrijk is.
Andere bots van Google
GooglebotGoogle-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
Voeg deze toe aan een robots.txt in de generator →