Meta · 用户请求
meta-externalfetcher 是什么？
根据用户请求抓取网页，包括用于 Meta 的智能体功能。
- robots.txt token
meta-externalfetcher- 运营方
- Meta
- 用途
- 用户请求
- 是否遵守 robots.txt
- 否 运营方表示 robots.txt 可能不适用，或社区报告称该爬虫会忽略它。
- 运营方是否提供文档
- 是，运营方在其自有页面上有相关说明。
- 文档
- developers.facebook.com
Meta 表示它可能绕过 robots.txt，且未公布 IP 段，因此几乎没有办法屏蔽它。
在整个网站上屏蔽 meta-externalfetcher
User-agent: meta-externalfetcher
Disallow: /
允许访问，但屏蔽私有路径
User-agent: meta-externalfetcher
Allow: /
Disallow: /admin/
此爬虫会为用户或代表用户行事的 agent 获取页面。多家运营方表示，这类请求可能不受 robots.txt 约束；如有需要，请查看上方说明，并在防火墙处实施限制。