meta-externalagent คืออะไร?

crawler ของ Meta สำหรับฝึกโมเดล AI และจัดทำดัชนี โดยทำตาม robots.txt

token สำหรับ robots.txt

meta-externalagent

ผู้ให้บริการ

Meta

วัตถุประสงค์

การฝึกโมเดล

ทำตาม robots.txt

●ใช่ ผู้ให้บริการระบุว่าบอตนี้ปฏิบัติตาม robots.txt

มีเอกสารจากผู้ให้บริการ

มีระบุไว้ในหน้าเว็บของผู้ให้บริการ

เอกสาร

developers.facebook.com

ใช้ token เดียวกันสำหรับทั้งสองกรณี ดังนั้นการบล็อกเพื่อหยุดการฝึกโมเดลจะหยุดการจัดทำดัชนีด้วย และ Meta ไม่ได้เผยแพร่ช่วง IP

บล็อก meta-externalagent จากทั้งเว็บไซต์

User-agent: meta-externalagent
Disallow: /

อนุญาตให้เข้าถึง แต่กันเส้นทางส่วนตัวไว้

User-agent: meta-externalagent
Allow: /
Disallow: /admin/

บอตอื่นจาก Meta

เพิ่มลงใน robots.txt ใน generator →