Google · Agenty
Czym jest Google-Agent?
Pobiera strony dla agentów działających na infrastrukturze Google, gdy użytkownik zleci im wykonanie zadania. Google informuje, że fetchery uruchamiane przez użytkownika zazwyczaj ignorują robots.txt.
- Token robots.txt
Google-Agent- Operator
- Cel
- Agenty
- Przestrzega robots.txt
- Nie Operator informuje, że robots.txt może nie mieć zastosowania, lub zgłoszenia społeczności wskazują, że bot go ignoruje.
- Udokumentowany przez operatora
- Tak, na własnych stronach operatora.
- Opublikowana lista adresów IP
- developers.google.com/static/crawling/ipranges/user-triggered-agents.json
- Dokumentacja
- developers.google.com
Google testuje dla tych żądań tożsamość Web Bot Auth pod adresem https://agent.bot.goog.
Zablokuj Google-Agent w całej witrynie
User-agent: Google-Agent
Disallow: /
Zezwól na dostęp, ale zablokuj ścieżki prywatne
User-agent: Google-Agent
Allow: /
Disallow: /admin/
Ten bot pobiera strony na żądanie użytkownika lub działającego w jego imieniu agenta. Kilku operatorów informuje, że robots.txt może nie mieć zastosowania do takich żądań. Sprawdź więc powyższy wiersz i, jeśli to ważne, wymuś blokadę na firewallu.
Inne boty od Google
GooglebotGoogle-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
Dodaj do robots.txt w generatorze →