Google · Mga agent
Ano ang Google-Agent?
Kumukuha ng mga page para sa mga agent na tumatakbo sa imprastraktura ng Google kapag hiniling ng user na kumilos ang mga ito. Ayon sa Google, karaniwang hindi pinapansin ng mga fetcher na pinasimulan ng user ang robots.txt.
- robots.txt token
Google-Agent- Operator
- Layunin
- Mga agent
- Sumusunod sa robots.txt
- Hindi Ayon sa operator, maaaring hindi ito saklaw ng robots.txt, o sinasabi sa mga ulat ng komunidad na hindi ito sumusunod dito.
- May dokumentasyon mula sa operator
- Oo, sa mga page mismo ng operator.
- Inilathalang IP list
- developers.google.com/static/crawling/ipranges/user-triggered-agents.json
- Dokumentasyon
- developers.google.com
Sinusubukan ng Google ang isang Web Bot Auth identity, https://agent.bot.goog, para sa mga request na ito.
I-block ang Google-Agent sa buong site mo
User-agent: Google-Agent
Disallow: /
Payagan ito, pero ilayo sa mga pribadong path
User-agent: Google-Agent
Allow: /
Disallow: /admin/
Kinukuha ng bot na ito ang mga page para sa isang tao o para sa isang agent na kumikilos sa ngalan ng isang tao. Sinasabi ng ilang operator na maaaring hindi saklaw ng robots.txt ang mga ganitong request, kaya tingnan ang linya sa itaas at i-enforce ang patakaran sa firewall mo kung mahalaga ito.
Iba pang bot mula sa Google
GooglebotGoogle-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
Idagdag ito sa robots.txt sa generator →