---
title: "meta-externalfetcher：屏蔽或允许此 AI 爬虫 · DotsAgent"
description: "meta-externalfetcher 由 Meta 运营，归类为「用户请求」。了解其 robots.txt token、是否遵守规则、IP 列表及控制方法。"
url: https://dotsagent.io/zh/agent-ready/bots/meta-externalfetcher
---

Meta · 用户请求

# meta-externalfetcher 是什么？

根据用户请求抓取网页，包括用于 Meta 的智能体功能。

- **robots.txt token**: `meta-externalfetcher`
- **运营方**: Meta
- **用途**: 用户请求
- **是否遵守 robots.txt**: 运营方表示 robots.txt 可能不适用，或社区报告称该爬虫会忽略它。
- **运营方是否提供文档**: 是，运营方在其自有页面上有相关说明。
- **文档**: [developers.facebook.com](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)

Meta 表示它可能绕过 robots.txt，且未公布 IP 段，因此几乎没有办法屏蔽它。

## 在整个网站上屏蔽 meta-externalfetcher

`robots.txt`

```
User-agent: meta-externalfetcher
Disallow: /
```

## 允许访问，但屏蔽私有路径

`robots.txt`

```
User-agent: meta-externalfetcher
Allow: /
Disallow: /admin/
```

此爬虫会为用户或代表用户行事的 agent 获取页面。多家运营方表示，这类请求可能不受 robots.txt 约束；如有需要，请查看上方说明，并在防火墙处实施限制。

## Meta 的其他爬虫

[meta-externalagent](https://dotsagent.io/zh/agent-ready/bots/meta-externalagent)

[meta-webindexer](https://dotsagent.io/zh/agent-ready/bots/meta-webindexer)

[meta-externalads](https://dotsagent.io/zh/agent-ready/bots/meta-externalads)

[facebookexternalhit](https://dotsagent.io/zh/agent-ready/bots/facebookexternalhit)

[Muse](https://dotsagent.io/zh/agent-ready/bots/muse)

[在生成器中将其添加到 robots.txt →](https://dotsagent.io/zh/agent-ready/robots-txt)

## 来源

1. [developers.facebook.com](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)/docs/sharing/webmasters/web-crawlers/

为 AI agent 开发者提供的独立参考资料。与此处提及的任何厂商均无关联。

© 2026 DotsAgent · 事实核查日期：2026年10月1日