Ano ang meta-webindexer?

Crawler ng Meta para sa paghahanap sa Meta AI. Sinusunod nito ang robots.txt; walang inilalathalang IP range ang Meta para rito.

robots.txt token

meta-webindexer

Operator

Meta

Layunin

Paghahanap

Sumusunod sa robots.txt

●Oo Ayon sa operator, sumusunod ito sa robots.txt.

May dokumentasyon mula sa operator

Oo, sa mga page mismo ng operator.

Dokumentasyon

developers.facebook.com

I-block ang meta-webindexer sa buong site mo

User-agent: meta-webindexer
Disallow: /

Payagan ito, pero ilayo sa mga pribadong path

User-agent: meta-webindexer
Allow: /
Disallow: /admin/

Iba pang bot mula sa Meta

Idagdag ito sa robots.txt sa generator →