meta-webindexer là gì?

Crawler của Meta dùng cho tìm kiếm trong Meta AI. Crawler này tuân theo robots.txt; Meta không công bố dải IP cho nó.

Token robots.txt

meta-webindexer

Nhà vận hành

Meta

Mục đích

Tìm kiếm

Tuân theo robots.txt

●Có Nhà vận hành cho biết bot này tuân thủ robots.txt.

Có tài liệu từ nhà vận hành

Có, trên các trang của chính nhà vận hành.

Tài liệu

developers.facebook.com

Chặn meta-webindexer trên toàn bộ trang web

User-agent: meta-webindexer
Disallow: /

Cho phép bot này, nhưng không cho truy cập các đường dẫn riêng tư

User-agent: meta-webindexer
Allow: /
Disallow: /admin/

Các bot khác của Meta

Thêm bot này vào robots.txt trong trình tạo →