Bytespider là gì?

Crawler của ByteDance, được các danh mục cộng đồng liệt kê là dùng để huấn luyện. ByteDance không có trang chính thức về crawler này.

Token robots.txt

Bytespider

Nhà vận hành

ByteDance

Mục đích

Huấn luyện

Tuân theo robots.txt

○Không Nhà vận hành cho biết robots.txt có thể không áp dụng, hoặc cộng đồng báo cáo rằng bot này bỏ qua tệp đó.

Có tài liệu từ nhà vận hành

Không. Token chỉ được biết đến qua các danh sách cộng đồng như ai.robots.txt.

Các báo cáo từ cộng đồng cho biết crawler này không tuân theo robots.txt.

Chặn Bytespider trên toàn bộ trang web

User-agent: Bytespider
Disallow: /

Cho phép bot này, nhưng không cho truy cập các đường dẫn riêng tư

User-agent: Bytespider
Allow: /
Disallow: /admin/

Thêm bot này vào robots.txt trong trình tạo →