Meta · Pengambilan oleh pengguna
Apa itu meta-externalfetcher?
Mengambil halaman atas permintaan pengguna, termasuk untuk fitur agent Meta.
- Token robots.txt
meta-externalfetcher- Operator
- Meta
- Tujuan
- Pengambilan oleh pengguna
- Mematuhi robots.txt
- Tidak Operator menyatakan bahwa robots.txt mungkin tidak berlaku, atau laporan komunitas menyebutkan bahwa bot ini mengabaikannya.
- Didokumentasikan oleh operator
- Ya, di halaman milik operator sendiri.
- Dokumentasi
- developers.facebook.com
Meta menyatakan bahwa bot ini dapat melewati robots.txt dan tidak memublikasikan rentang IP, sehingga hanya ada sedikit cara untuk memblokirnya.
Blokir meta-externalfetcher dari seluruh situs Anda
User-agent: meta-externalfetcher
Disallow: /
Izinkan bot, tetapi kecualikan path privat
User-agent: meta-externalfetcher
Allow: /
Disallow: /admin/
Bot ini mengambil halaman untuk seseorang, atau untuk agent yang bertindak atas nama seseorang. Beberapa operator menyatakan bahwa robots.txt mungkin tidak berlaku untuk permintaan seperti ini, jadi periksa baris di atas dan blokir di firewall jika diperlukan.
Bot lain dari Meta
Tambahkan ke robots.txt di generator →