Meta · การค้นหา
meta-webindexer คืออะไร?
crawler ของ Meta สำหรับการค้นหาใน Meta AI โดยทำตาม robots.txt ทั้งนี้ Meta ไม่ได้เผยแพร่ช่วง IP สำหรับ crawler นี้
- token สำหรับ robots.txt
meta-webindexer- ผู้ให้บริการ
- Meta
- วัตถุประสงค์
- การค้นหา
- ทำตาม robots.txt
- ใช่ ผู้ให้บริการระบุว่าบอตนี้ปฏิบัติตาม robots.txt
- มีเอกสารจากผู้ให้บริการ
- มีระบุไว้ในหน้าเว็บของผู้ให้บริการ
- เอกสาร
- developers.facebook.com
บล็อก meta-webindexer จากทั้งเว็บไซต์
User-agent: meta-webindexer
Disallow: /
อนุญาตให้เข้าถึง แต่กันเส้นทางส่วนตัวไว้
User-agent: meta-webindexer
Allow: /
Disallow: /admin/
บอตอื่นจาก Meta
เพิ่มลงใน robots.txt ใน generator →