Google · Agent'lar
Google-Agent nedir?
Kullanıcı bir işlem yapmasını istediğinde Google altyapısında çalışan ajanlar için sayfaları getirir. Google, kullanıcı tarafından tetiklenen fetcher'ların genellikle robots.txt kurallarını yok saydığını söylüyor.
- robots.txt token'ı
Google-Agent- Operatör
- Amaç
- Agent'lar
- robots.txt kurallarına uyar
- Hayır Operatör, robots.txt kurallarının geçerli olmayabileceğini belirtiyor veya topluluk bildirimlerine göre bot bu kuralları yok sayıyor.
- Operatör tarafından belgelenmiş
- Evet, operatörün kendi sayfalarında.
- Yayımlanmış IP listesi
- developers.google.com/static/crawling/ipranges/user-triggered-agents.json
- Dokümantasyon
- developers.google.com
Google, bu istekler için https://agent.bot.goog adresinde bir Web Bot Auth kimliğini deniyor.
Google-Agent botunu tüm sitenizde engelleyin
User-agent: Google-Agent
Disallow: /
İzin verin, ancak özel yolları engelleyin
User-agent: Google-Agent
Allow: /
Disallow: /admin/
Bu bot, bir kişi veya onun adına hareket eden bir agent için sayfaları getirir. Bazı operatörler, bu tür isteklerde robots.txt kurallarının geçerli olmayabileceğini belirtiyor. Bu sizin için önemliyse yukarıdaki açıklamayı kontrol edin ve güvenlik duvarınızda kural uygulayın.
Google tarafından sunulan diğer botlar
GooglebotGoogle-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
Oluşturucudaki robots.txt dosyasına ekleyin →