Google · الوكلاء
ما هو Google-Agent؟
يجلب الصفحات للوكلاء الذين يعملون على بنية Google التحتية عندما يطلب منهم المستخدم تنفيذ إجراء. تقول Google إن أدوات الجلب التي يشغّلها المستخدم تتجاهل robots.txt عمومًا.
- رمز robots.txt
Google-Agent- المشغّل
- الغرض
- الوكلاء
- يلتزم بـ robots.txt
- لا يذكر المشغّل أن ملف robots.txt قد لا ينطبق، أو تشير تقارير المجتمع إلى أن البوت يتجاهله.
- موثّق من المشغّل
- نعم، في صفحات المشغّل نفسه.
- قائمة IP منشورة
- developers.google.com/static/crawling/ipranges/user-triggered-agents.json
- التوثيق
- developers.google.com
تجري Google تجارب على هوية Web Bot Auth لهذه الطلبات، https://agent.bot.goog.
احظر Google-Agent من موقعك بالكامل
User-agent: Google-Agent
Disallow: /
اسمح له، مع حجب المسارات الخاصة
User-agent: Google-Agent
Allow: /
Disallow: /admin/
يجلب هذا البوت الصفحات نيابةً عن شخص، أو عن وكيل يتصرف نيابةً عنه. يذكر عدد من المشغّلين أن ملف robots.txt قد لا ينطبق على هذه الطلبات؛ لذا تحقّق من السطر أعلاه، وطبّق الحظر على مستوى جدار الحماية إذا كان ذلك مهمًا.
بوتات أخرى من Google
GooglebotGoogle-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
أضِفه إلى ملف robots.txt في المولّد →