Google · การค้นหา
Google-CloudVertexBot คืออะไร?
รวบรวมข้อมูลจากเว็บไซต์เมื่อเจ้าของเว็บไซต์ขอให้ Google ดำเนินการ เพื่อนำไปสร้าง Vertex AI Agents โดยทำตาม robots.txt และใช้ช่วง IP ของ crawler ทั่วไปของ Google
- token สำหรับ robots.txt
Google-CloudVertexBot- ผู้ให้บริการ
- วัตถุประสงค์
- การค้นหา
- ทำตาม robots.txt
- ใช่ ผู้ให้บริการระบุว่าบอตนี้ปฏิบัติตาม robots.txt
- มีเอกสารจากผู้ให้บริการ
- มีระบุไว้ในหน้าเว็บของผู้ให้บริการ
- รายการ IP ที่เผยแพร่
- developers.google.com/static/crawling/ipranges/common-crawlers.json
- เอกสาร
- developers.google.com
บล็อก Google-CloudVertexBot จากทั้งเว็บไซต์
User-agent: Google-CloudVertexBot
Disallow: /
อนุญาตให้เข้าถึง แต่กันเส้นทางส่วนตัวไว้
User-agent: Google-CloudVertexBot
Allow: /
Disallow: /admin/
บอตอื่นจาก Google
GooglebotGoogle-ExtendedGoogleOtherGoogle-AgentGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
เพิ่มลงใน robots.txt ใน generator →