dotsagent.io
Lingua:Italiano
Google · Addestramento

Che cos'è GoogleOther?

Il crawler generico di Google per le attività di ricerca e sviluppo al di fuori della Ricerca. Rispetta robots.txt e usa l'elenco comune degli IP dei crawler.

Token robots.txt
GoogleOther
Operatore
Google
Scopo
Addestramento
Rispetta robots.txt
Sì L'operatore dichiara che rispetta robots.txt.
Documentato dall'operatore
Sì, nelle pagine dell'operatore.
Elenco IP pubblicato
developers.google.com/static/crawling/ipranges/common-crawlers.json
Documentazione
developers.google.com

Blocca GoogleOther su tutto il sito

robots.txt
User-agent: GoogleOther
Disallow: /

Consenti l'accesso, ma escludi i percorsi privati

robots.txt
User-agent: GoogleOther
Allow: /
Disallow: /admin/

Altri bot di Google

Aggiungilo a robots.txt nel generatore →

Fonti

  1. developers.google.com/search/docs/crawling-indexing/google-common-crawlers