Google · Pencarian
Apa itu Googlebot?
Crawler utama Google untuk Google Search. Bot ini mematuhi robots.txt, dan Google memublikasikan rentang IP-nya.
- Token robots.txt
Googlebot- Operator
- Tujuan
- Pencarian
- Mematuhi robots.txt
- Ya Operator menyatakan bahwa bot ini mematuhi robots.txt.
- Didokumentasikan oleh operator
- Ya, di halaman milik operator sendiri.
- Daftar IP yang dipublikasikan
- developers.google.com/static/search/apis/ipranges/googlebot.json
- Dokumentasi
- developers.google.com
Untuk menolak penggunaan konten bagi pelatihan Gemini tanpa menghilangkan situs dari Search, larang Google-Extended, bukan Googlebot.
Blokir Googlebot dari seluruh situs Anda
User-agent: Googlebot
Disallow: /
Izinkan bot, tetapi kecualikan path privat
User-agent: Googlebot
Allow: /
Disallow: /admin/
Bot lain dari Google
Google-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-AgentGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
Tambahkan ke robots.txt di generator →