Meta · 検索
meta-webindexerとは？
Meta AIの検索用に使われるMetaのクローラーです。robots.txtに従いますが、MetaはIP範囲を公開していません。
- robots.txtトークン
meta-webindexer- 運営者
- Meta
- 用途
- 検索
- robots.txtへの準拠
- はい 運営者は、robots.txt に従うと明言しています。
- 運営者によるドキュメント
- はい。運営者自身のページに記載されています。
- ドキュメント
- developers.facebook.com
サイト全体で meta-webindexer をブロックする
User-agent: meta-webindexer
Disallow: /
許可しつつ、非公開パスへのアクセスを防ぐ
User-agent: meta-webindexer
Allow: /
Disallow: /admin/