Meta · 学習
meta-externalagentとは？
AIモデルのトレーニングとインデックス作成に使われるMetaのクローラーです。robots.txtに従います。
- robots.txtトークン
meta-externalagent- 運営者
- Meta
- 用途
- 学習
- robots.txtへの準拠
- はい 運営者は、robots.txt に従うと明言しています。
- 運営者によるドキュメント
- はい。運営者自身のページに記載されています。
- ドキュメント
- developers.facebook.com
どちらの用途にも同じトークンが使われるため、トレーニング目的でブロックするとインデックス作成も停止します。MetaはIP範囲を公開していません。
サイト全体で meta-externalagent をブロックする
User-agent: meta-externalagent
Disallow: /
許可しつつ、非公開パスへのアクセスを防ぐ
User-agent: meta-externalagent
Allow: /
Disallow: /admin/