Meta · Lượt tải từ người dùng
meta-externalfetcher là gì?
Tải trang theo yêu cầu của người dùng, bao gồm cả các tính năng agent của Meta.
- Token robots.txt
meta-externalfetcher- Nhà vận hành
- Meta
- Mục đích
- Lượt tải từ người dùng
- Tuân theo robots.txt
- Không Nhà vận hành cho biết robots.txt có thể không áp dụng, hoặc cộng đồng báo cáo rằng bot này bỏ qua tệp đó.
- Có tài liệu từ nhà vận hành
- Có, trên các trang của chính nhà vận hành.
- Tài liệu
- developers.facebook.com
Meta cho biết crawler này có thể bỏ qua robots.txt và không công bố dải IP, khiến việc chặn nó trở nên khó khăn.
Chặn meta-externalfetcher trên toàn bộ trang web
User-agent: meta-externalfetcher
Disallow: /
Cho phép bot này, nhưng không cho truy cập các đường dẫn riêng tư
User-agent: meta-externalfetcher
Allow: /
Disallow: /admin/
Bot này tải trang theo yêu cầu của một người hoặc một agent thay mặt họ. Một số nhà vận hành cho biết robots.txt có thể không áp dụng cho các yêu cầu như vậy, vì thế hãy kiểm tra dòng trên và chặn ở firewall nếu cần.
Các bot khác của Meta
Thêm bot này vào robots.txt trong trình tạo →