Google · Agents
Was ist Google-Agent?
Ruft Seiten für Agents ab, die auf der Google-Infrastruktur laufen, wenn ein Nutzer sie dazu auffordert. Google zufolge ignorieren nutzergesteuerte Abrufe robots.txt im Allgemeinen.
- robots.txt-Token
Google-Agent- Betreiber
- Zweck
- Agents
- Hält sich an robots.txt
- Nein Der Betreiber gibt an, dass robots.txt möglicherweise nicht gilt, oder Community-Berichte besagen, dass der Bot robots.txt ignoriert.
- Vom Betreiber dokumentiert
- Ja, auf den Seiten des Betreibers.
- Veröffentlichte IP-Liste
- developers.google.com/static/crawling/ipranges/user-triggered-agents.json
- Dokumentation
- developers.google.com
Google erprobt für diese Anfragen eine Web Bot Auth-Identität unter https://agent.bot.goog.
Google-Agent für Ihre gesamte Website sperren
User-agent: Google-Agent
Disallow: /
Zugriff erlauben, aber private Pfade ausschließen
User-agent: Google-Agent
Allow: /
Disallow: /admin/
Dieser Bot ruft Seiten für eine Person oder für einen Agenten im Auftrag einer Person ab. Mehrere Betreiber geben an, dass robots.txt für solche Anfragen möglicherweise nicht gilt. Prüfen Sie daher den Hinweis oben und setzen Sie bei Bedarf eine Sperre an Ihrer Firewall durch.
Weitere Bots von Google
GooglebotGoogle-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
Im Generator zu robots.txt hinzufügen →