Bytespider คืออะไร?

crawler ของ ByteDance ซึ่งทะเบียนของชุมชนระบุว่าใช้สำหรับฝึกโมเดล ByteDance ไม่มีหน้าอย่างเป็นทางการเกี่ยวกับ crawler นี้

token สำหรับ robots.txt

Bytespider

ผู้ให้บริการ

ByteDance

วัตถุประสงค์

การฝึกโมเดล

ทำตาม robots.txt

○ไม่ ผู้ให้บริการระบุว่า robots.txt อาจไม่มีผลกับบอตนี้ หรือมีรายงานจากชุมชนว่าบอตนี้ไม่ปฏิบัติตาม

มีเอกสารจากผู้ให้บริการ

ไม่มีระบุไว้ โทเค็นนี้เป็นที่รู้จักจากรายการของชุมชนเท่านั้น เช่น ai.robots.txt

รายงานจากชุมชนระบุว่า crawler นี้ไม่ปฏิบัติตาม robots.txt

บล็อก Bytespider จากทั้งเว็บไซต์

User-agent: Bytespider
Disallow: /

อนุญาตให้เข้าถึง แต่กันเส้นทางส่วนตัวไว้

User-agent: Bytespider
Allow: /
Disallow: /admin/

เพิ่มลงใน robots.txt ใน generator →