Google · การฝึกโมเดล
Google-Extended คืออะไร?
โทเค็นควบคุม ไม่ใช่ crawler: Googlebot เป็นผู้ดึงข้อมูล ส่วน Google-Extended ใช้กำหนดว่าจะนำเนื้อหานั้นไปฝึก Gemini และใช้เป็นข้อมูล grounding ได้หรือไม่
- token สำหรับ robots.txt
Google-Extended- ผู้ให้บริการ
- วัตถุประสงค์
- การฝึกโมเดล
- ทำตาม robots.txt
- ใช่ ผู้ให้บริการระบุว่าบอตนี้ปฏิบัติตาม robots.txt
- มีเอกสารจากผู้ให้บริการ
- มีระบุไว้ในหน้าเว็บของผู้ให้บริการ
- เอกสาร
- developers.google.com
โทเค็นนี้ไม่มี user agent ของตัวเอง จึงไม่ปรากฏใน access log
บล็อก Google-Extended จากทั้งเว็บไซต์
User-agent: Google-Extended
Disallow: /
อนุญาตให้เข้าถึง แต่กันเส้นทางส่วนตัวไว้
User-agent: Google-Extended
Allow: /
Disallow: /admin/
บอตอื่นจาก Google
GooglebotGoogle-CloudVertexBotGoogleOtherGoogle-AgentGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
เพิ่มลงใน robots.txt ใน generator →