Google · Pelatihan

Apa itu Google-Extended?

Token kontrol, bukan crawler: Googlebot yang mengambil halaman, sedangkan Google-Extended menentukan apakah konten tersebut boleh digunakan untuk pelatihan dan grounding Gemini.

Token robots.txt: Google-Extended
Operator: Google
Tujuan: Pelatihan
Mematuhi robots.txt: Ya Operator menyatakan bahwa bot ini mematuhi robots.txt.
Didokumentasikan oleh operator: Ya, di halaman milik operator sendiri.
Dokumentasi: developers.google.com

Token ini tidak memiliki user agent sendiri, jadi tidak akan pernah muncul di log akses Anda.

Blokir Google-Extended dari seluruh situs Anda

robots.txt

User-agent: Google-Extended
Disallow: /

Izinkan bot, tetapi kecualikan path privat

robots.txt

User-agent: Google-Extended
Allow: /
Disallow: /admin/

Bot lain dari Google

Googlebot Google-CloudVertexBot GoogleOther Google-Agent Google-GeminiNotebook Gemini Spark Gemini-Deep-Research GoogleAgent-Mariner

Tambahkan ke robots.txt di generator →

Sumber

developers.google.com/search/docs/crawling-indexing/google-common-crawlers