Meta · ユーザーによる取得

facebookexternalhitとは？

MetaのアプリでURLが共有されたときに、リンクプレビューを作成するためページを取得します。

robots.txtトークン: facebookexternalhit
運営者: Meta
用途: ユーザーによる取得
robots.txtへの準拠: いいえ運営者は、robots.txt が適用されない場合があると明言しています。または、無視するというコミュニティからの報告があります。
運営者によるドキュメント: はい。運営者自身のページに記載されています。
ドキュメント: developers.facebook.com

Metaによると、完全性やセキュリティのチェックを目的としてrobots.txtを回避する場合があります。

サイト全体で facebookexternalhit をブロックする

robots.txt

User-agent: facebookexternalhit
Disallow: /

robots.txt

User-agent: facebookexternalhit
Allow: /
Disallow: /admin/

この bot は、ユーザー本人または代理で動作するエージェントのためにページを取得します。こうしたリクエストには robots.txt が適用されない場合があると複数の運営者が説明しています。必要に応じて上記の説明を確認し、ファイアウォールで制御してください。