Google · Agenti
Che cos'è Google-Agent?
Recupera pagine per gli agenti in esecuzione sull'infrastruttura Google quando un utente chiede loro di agire. Google afferma che i fetcher attivati dagli utenti in genere ignorano robots.txt.
- Token robots.txt
Google-Agent- Operatore
- Scopo
- Agenti
- Rispetta robots.txt
- No L'operatore dichiara che robots.txt potrebbe non essere applicabile, oppure le segnalazioni della community indicano che non lo rispetta.
- Documentato dall'operatore
- Sì, nelle pagine dell'operatore.
- Elenco IP pubblicato
- developers.google.com/static/crawling/ipranges/user-triggered-agents.json
- Documentazione
- developers.google.com
Google sta sperimentando un'identità Web Bot Auth, https://agent.bot.goog, per queste richieste.
Blocca Google-Agent su tutto il sito
User-agent: Google-Agent
Disallow: /
Consenti l'accesso, ma escludi i percorsi privati
User-agent: Google-Agent
Allow: /
Disallow: /admin/
Questo bot recupera pagine per una persona o per un agent che agisce per suo conto. Diversi operatori dichiarano che robots.txt potrebbe non essere applicabile a queste richieste: controlla quindi l'indicazione qui sopra e, se necessario, applica il blocco al firewall.
Altri bot di Google
GooglebotGoogle-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
Aggiungilo a robots.txt nel generatore →