Google · Agents
Google-Agent คืออะไร?
ดึงหน้าเว็บให้ agent ที่ทำงานบนโครงสร้างพื้นฐานของ Google เมื่อผู้ใช้สั่งให้ agent ทำงาน Google ระบุว่าโดยทั่วไป fetcher ที่ผู้ใช้เป็นผู้เรียกใช้งานจะไม่สนใจ robots.txt
- token สำหรับ robots.txt
Google-Agent- ผู้ให้บริการ
- วัตถุประสงค์
- Agents
- ทำตาม robots.txt
- ไม่ ผู้ให้บริการระบุว่า robots.txt อาจไม่มีผลกับบอตนี้ หรือมีรายงานจากชุมชนว่าบอตนี้ไม่ปฏิบัติตาม
- มีเอกสารจากผู้ให้บริการ
- มีระบุไว้ในหน้าเว็บของผู้ให้บริการ
- รายการ IP ที่เผยแพร่
- developers.google.com/static/crawling/ipranges/user-triggered-agents.json
- เอกสาร
- developers.google.com
Google กำลังทดลองใช้ข้อมูลระบุตัวตน Web Bot Auth ที่ https://agent.bot.goog สำหรับคำขอเหล่านี้
บล็อก Google-Agent จากทั้งเว็บไซต์
User-agent: Google-Agent
Disallow: /
อนุญาตให้เข้าถึง แต่กันเส้นทางส่วนตัวไว้
User-agent: Google-Agent
Allow: /
Disallow: /admin/
บอตนี้ดึงหน้าเว็บให้บุคคลหนึ่ง หรือให้ agent ที่ดำเนินการแทนบุคคลนั้น ผู้ให้บริการหลายรายระบุว่า robots.txt อาจไม่มีผลกับคำขอประเภทนี้ ดังนั้นโปรดตรวจสอบบรรทัดด้านบน และบังคับใช้กฎที่ firewall หากเป็นเรื่องสำคัญ
บอตอื่นจาก Google
GooglebotGoogle-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
เพิ่มลงใน robots.txt ใน generator →