Google · Ricerca

Che cos'è Google-CloudVertexBot?

Esegue il crawling di un sito quando il proprietario lo chiede a Google, per creare agenti Vertex AI. Rispetta robots.txt e usa gli intervalli IP comuni dei crawler di Google.

Token robots.txt: Google-CloudVertexBot
Operatore: Google
Scopo: Ricerca
Rispetta robots.txt: Sì L'operatore dichiara che rispetta robots.txt.
Documentato dall'operatore: Sì, nelle pagine dell'operatore.
Elenco IP pubblicato: developers.google.com/static/crawling/ipranges/common-crawlers.json
Documentazione: developers.google.com

Blocca Google-CloudVertexBot su tutto il sito

robots.txt

User-agent: Google-CloudVertexBot
Disallow: /

Consenti l'accesso, ma escludi i percorsi privati

robots.txt

User-agent: Google-CloudVertexBot
Allow: /
Disallow: /admin/

Altri bot di Google

Googlebot Google-Extended GoogleOther Google-Agent Google-GeminiNotebook Gemini Spark Gemini-Deep-Research GoogleAgent-Mariner

Aggiungilo a robots.txt nel generatore →

Fonti

developers.google.com/search/docs/crawling-indexing/google-common-crawlers