Google · Agen

Apa itu Google-Agent?

Mengambil halaman untuk agent yang berjalan di infrastruktur Google saat pengguna memintanya bertindak. Google menyatakan bahwa fetcher yang dipicu pengguna umumnya mengabaikan robots.txt.

Token robots.txt: Google-Agent
Operator: Google
Tujuan: Agen
Mematuhi robots.txt: Tidak Operator menyatakan bahwa robots.txt mungkin tidak berlaku, atau laporan komunitas menyebutkan bahwa bot ini mengabaikannya.
Didokumentasikan oleh operator: Ya, di halaman milik operator sendiri.
Daftar IP yang dipublikasikan: developers.google.com/static/crawling/ipranges/user-triggered-agents.json
Dokumentasi: developers.google.com

Google sedang menguji identitas Web Bot Auth untuk permintaan ini: https://agent.bot.goog.

Blokir Google-Agent dari seluruh situs Anda

robots.txt

User-agent: Google-Agent
Disallow: /

Izinkan bot, tetapi kecualikan path privat

robots.txt

User-agent: Google-Agent
Allow: /
Disallow: /admin/

Bot ini mengambil halaman untuk seseorang, atau untuk agent yang bertindak atas nama seseorang. Beberapa operator menyatakan bahwa robots.txt mungkin tidak berlaku untuk permintaan seperti ini, jadi periksa baris di atas dan blokir di firewall jika diperlukan.

Bot lain dari Google

Googlebot Google-Extended Google-CloudVertexBot GoogleOther Google-GeminiNotebook Gemini Spark Gemini-Deep-Research GoogleAgent-Mariner

Tambahkan ke robots.txt di generator →

Sumber

developers.google.com/crawling/docs/crawlers-fetchers/google-agent
developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers