---
title: "Google-Extended: blokir atau izinkan crawler AI ini · DotsAgent"
description: "Google-Extended dioperasikan oleh Google dan tercantum untuk tujuan pelatihan. Token robots.txt, kepatuhan terhadap aturan, daftar IP, dan cara mengendalikannya."
url: https://dotsagent.io/id/agent-ready/bots/google-extended
---

Google · Pelatihan

# Apa itu Google-Extended?

Token kontrol, bukan crawler: Googlebot yang mengambil halaman, sedangkan Google-Extended menentukan apakah konten tersebut boleh digunakan untuk pelatihan dan grounding Gemini.

- **Token robots.txt**: `Google-Extended`
- **Operator**: Google
- **Tujuan**: Pelatihan
- **Mematuhi robots.txt**: Operator menyatakan bahwa bot ini mematuhi robots.txt.
- **Didokumentasikan oleh operator**: Ya, di halaman milik operator sendiri.
- **Dokumentasi**: [developers.google.com](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)

Token ini tidak memiliki user agent sendiri, jadi tidak akan pernah muncul di log akses Anda.

## Blokir Google-Extended dari seluruh situs Anda

`robots.txt`

```
User-agent: Google-Extended
Disallow: /
```

## Izinkan bot, tetapi kecualikan path privat

`robots.txt`

```
User-agent: Google-Extended
Allow: /
Disallow: /admin/
```

## Bot lain dari Google

[Googlebot](https://dotsagent.io/id/agent-ready/bots/googlebot)

[Google-CloudVertexBot](https://dotsagent.io/id/agent-ready/bots/google-cloudvertexbot)

[GoogleOther](https://dotsagent.io/id/agent-ready/bots/googleother)

[Google-Agent](https://dotsagent.io/id/agent-ready/bots/google-agent)

[Google-GeminiNotebook](https://dotsagent.io/id/agent-ready/bots/google-gemininotebook)

[Gemini Spark](https://dotsagent.io/id/agent-ready/bots/gemini-spark)

[Gemini-Deep-Research](https://dotsagent.io/id/agent-ready/bots/gemini-deep-research)

[GoogleAgent-Mariner](https://dotsagent.io/id/agent-ready/bots/googleagent-mariner)

[Tambahkan ke robots.txt di generator →](https://dotsagent.io/id/agent-ready/robots-txt)

## Sumber

1. [developers.google.com](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)/search/docs/crawling-indexing/google-common-crawlers

Referensi independen bagi mereka yang membangun agen AI. Tidak berafiliasi dengan vendor mana pun yang disebutkan di sini.

© 2026 DotsAgent · Fakta diperiksa 1 Oktober 2026