dotsagent.io
Sprache:Deutsch
Google · Training

Was ist GoogleOther?

Googles allgemeiner Crawler ruft Inhalte für Forschung und Entwicklung außerhalb der Suche ab. Er beachtet robots.txt und verwendet dieselbe Liste mit IP-Adressen für Crawler.

robots.txt-Token
GoogleOther
Betreiber
Google
Zweck
Training
Hält sich an robots.txt
Ja Der Betreiber gibt an, dass der Bot robots.txt beachtet.
Vom Betreiber dokumentiert
Ja, auf den Seiten des Betreibers.
Veröffentlichte IP-Liste
developers.google.com/static/crawling/ipranges/common-crawlers.json
Dokumentation
developers.google.com

GoogleOther für Ihre gesamte Website sperren

robots.txt
User-agent: GoogleOther
Disallow: /

Zugriff erlauben, aber private Pfade ausschließen

robots.txt
User-agent: GoogleOther
Allow: /
Disallow: /admin/

Weitere Bots von Google

Im Generator zu robots.txt hinzufügen →

Quellen

  1. developers.google.com/search/docs/crawling-indexing/google-common-crawlers