Meta · ユーザーによる取得

meta-externalfetcherとは？

Metaのエージェント機能などで、ユーザーのリクエストに応じてページを取得します。

robots.txtトークン: meta-externalfetcher
運営者: Meta
用途: ユーザーによる取得
robots.txtへの準拠: いいえ運営者は、robots.txt が適用されない場合があると明言しています。または、無視するというコミュニティからの報告があります。
運営者によるドキュメント: はい。運営者自身のページに記載されています。
ドキュメント: developers.facebook.com

Metaによると、robots.txtを回避する場合があります。また、IP範囲は公開されていないため、ブロックする手段は限られます。

サイト全体で meta-externalfetcher をブロックする

robots.txt

User-agent: meta-externalfetcher
Disallow: /

robots.txt

User-agent: meta-externalfetcher
Allow: /
Disallow: /admin/

この bot は、ユーザー本人または代理で動作するエージェントのためにページを取得します。こうしたリクエストには robots.txt が適用されない場合があると複数の運営者が説明しています。必要に応じて上記の説明を確認し、ファイアウォールで制御してください。