Googlebot nedir?

Google Arama'nın ana crawler'ı. robots.txt kurallarına uyar ve Google IP aralıklarını yayımlar.

robots.txt token'ı

Googlebot

Operatör

Google

Amaç

Arama

robots.txt kurallarına uyar

●Evet Operatör, robots.txt kurallarına uyduğunu belirtiyor.

Operatör tarafından belgelenmiş

Evet, operatörün kendi sayfalarında.

Yayımlanmış IP listesi

developers.google.com/static/search/apis/ipranges/googlebot.json

Dokümantasyon

developers.google.com

Arama'dan çıkmadan Gemini eğitimi için içerik kullanımını engellemek istiyorsanız Googlebot yerine Google-Extended için disallow kuralı ekleyin.

Googlebot botunu tüm sitenizde engelleyin

User-agent: Googlebot
Disallow: /

İzin verin, ancak özel yolları engelleyin

User-agent: Googlebot
Allow: /
Disallow: /admin/

Google tarafından sunulan diğer botlar

Oluşturucudaki robots.txt dosyasına ekleyin →