Meta · Mga pagkuha ng user
Ano ang meta-externalfetcher?
Kumukuha ng mga page kapag hiniling ng user, kabilang ang para sa mga feature ng agent ng Meta.
- robots.txt token
meta-externalfetcher- Operator
- Meta
- Layunin
- Mga pagkuha ng user
- Sumusunod sa robots.txt
- Hindi Ayon sa operator, maaaring hindi ito saklaw ng robots.txt, o sinasabi sa mga ulat ng komunidad na hindi ito sumusunod dito.
- May dokumentasyon mula sa operator
- Oo, sa mga page mismo ng operator.
- Dokumentasyon
- developers.facebook.com
Ayon sa Meta, maaari nitong lampasan ang robots.txt at wala itong inilalathalang IP range, kaya kakaunti ang paraan para harangan ito.
I-block ang meta-externalfetcher sa buong site mo
User-agent: meta-externalfetcher
Disallow: /
Payagan ito, pero ilayo sa mga pribadong path
User-agent: meta-externalfetcher
Allow: /
Disallow: /admin/
Kinukuha ng bot na ito ang mga page para sa isang tao o para sa isang agent na kumikilos sa ngalan ng isang tao. Sinasabi ng ilang operator na maaaring hindi saklaw ng robots.txt ang mga ganitong request, kaya tingnan ang linya sa itaas at i-enforce ang patakaran sa firewall mo kung mahalaga ito.
Iba pang bot mula sa Meta
Idagdag ito sa robots.txt sa generator →