Apa itu meta-externalagent?

Crawler Meta untuk melatih model AI dan mengindeks halaman. Bot ini mematuhi robots.txt.

Token robots.txt

meta-externalagent

Operator

Meta

Tujuan

Pelatihan

Mematuhi robots.txt

●Ya Operator menyatakan bahwa bot ini mematuhi robots.txt.

Didokumentasikan oleh operator

Ya, di halaman milik operator sendiri.

Dokumentasi

developers.facebook.com

Satu token digunakan untuk kedua keperluan. Jadi, memblokirnya untuk pelatihan juga menghentikan pengindeksan, dan Meta tidak memublikasikan rentang IP.

Blokir meta-externalagent dari seluruh situs Anda

User-agent: meta-externalagent
Disallow: /

Izinkan bot, tetapi kecualikan path privat

User-agent: meta-externalagent
Allow: /
Disallow: /admin/

Bot lain dari Meta

Tambahkan ke robots.txt di generator →