meta-externalagent là gì?

Crawler của Meta dùng để huấn luyện model AI và lập chỉ mục. Crawler này tuân theo robots.txt.

Token robots.txt

meta-externalagent

Nhà vận hành

Meta

Mục đích

Huấn luyện

Tuân theo robots.txt

●Có Nhà vận hành cho biết bot này tuân thủ robots.txt.

Có tài liệu từ nhà vận hành

Có, trên các trang của chính nhà vận hành.

Tài liệu

developers.facebook.com

Một token được dùng cho cả hai mục đích, nên chặn token này để ngăn huấn luyện cũng sẽ dừng việc lập chỉ mục. Meta không công bố dải IP.

Chặn meta-externalagent trên toàn bộ trang web

User-agent: meta-externalagent
Disallow: /

Cho phép bot này, nhưng không cho truy cập các đường dẫn riêng tư

User-agent: meta-externalagent
Allow: /
Disallow: /admin/

Các bot khác của Meta

Thêm bot này vào robots.txt trong trình tạo →