dotsagent.io
ภาษา:ไทย
Google · การค้นหา

Googlebot คืออะไร?

crawler หลักของ Google สำหรับ Google Search ปฏิบัติตาม robots.txt และ Google เผยแพร่ช่วง IP ของตน

token สำหรับ robots.txt
Googlebot
ผู้ให้บริการ
Google
วัตถุประสงค์
การค้นหา
ทำตาม robots.txt
ใช่ ผู้ให้บริการระบุว่าบอตนี้ปฏิบัติตาม robots.txt
มีเอกสารจากผู้ให้บริการ
มีระบุไว้ในหน้าเว็บของผู้ให้บริการ
รายการ IP ที่เผยแพร่
developers.google.com/static/search/apis/ipranges/googlebot.json
เอกสาร
developers.google.com

หากต้องการไม่อนุญาตให้นำข้อมูลไปฝึก Gemini โดยยังคงอยู่ใน Search ให้ disallow Google-Extended แทน Googlebot

บล็อก Googlebot จากทั้งเว็บไซต์

robots.txt
User-agent: Googlebot
Disallow: /

อนุญาตให้เข้าถึง แต่กันเส้นทางส่วนตัวไว้

robots.txt
User-agent: Googlebot
Allow: /
Disallow: /admin/

บอตอื่นจาก Google

เพิ่มลงใน robots.txt ใน generator →

แหล่งข้อมูล

  1. developers.google.com/search/docs/crawling-indexing/google-common-crawlers