dotsagent.io
Sprache:Deutsch
Google · Suche

Was ist Googlebot?

Der Hauptcrawler von Google für die Google-Suche. Er beachtet robots.txt, und Google veröffentlicht seine IP-Bereiche.

robots.txt-Token
Googlebot
Betreiber
Google
Zweck
Suche
Hält sich an robots.txt
Ja Der Betreiber gibt an, dass der Bot robots.txt beachtet.
Vom Betreiber dokumentiert
Ja, auf den Seiten des Betreibers.
Veröffentlichte IP-Liste
developers.google.com/static/search/apis/ipranges/googlebot.json
Dokumentation
developers.google.com

Wenn Sie das Training von Gemini ablehnen möchten, ohne aus der Suche zu verschwinden, sperren Sie Google-Extended statt Googlebot.

Googlebot für Ihre gesamte Website sperren

robots.txt
User-agent: Googlebot
Disallow: /

Zugriff erlauben, aber private Pfade ausschließen

robots.txt
User-agent: Googlebot
Allow: /
Disallow: /admin/

Weitere Bots von Google

Im Generator zu robots.txt hinzufügen →

Quellen

  1. developers.google.com/search/docs/crawling-indexing/google-common-crawlers