Apa itu meta-webindexer?

Crawler Meta untuk pencarian di Meta AI. Bot ini mematuhi robots.txt; Meta tidak memublikasikan rentang IP untuknya.

Token robots.txt

meta-webindexer

Operator

Meta

Tujuan

Pencarian

Mematuhi robots.txt

●Ya Operator menyatakan bahwa bot ini mematuhi robots.txt.

Didokumentasikan oleh operator

Ya, di halaman milik operator sendiri.

Dokumentasi

developers.facebook.com

Blokir meta-webindexer dari seluruh situs Anda

User-agent: meta-webindexer
Disallow: /

Izinkan bot, tetapi kecualikan path privat

User-agent: meta-webindexer
Allow: /
Disallow: /admin/

Bot lain dari Meta

Tambahkan ke robots.txt di generator →