---
title: "meta-webindexer：屏蔽或允许此 AI 爬虫 · DotsAgent"
description: "meta-webindexer 由 Meta 运营，归类为「搜索」。了解其 robots.txt token、是否遵守规则、IP 列表及控制方法。"
url: https://dotsagent.io/zh/agent-ready/bots/meta-webindexer
---

Meta · 搜索

# meta-webindexer 是什么？

Meta AI 搜索使用的 Meta 爬虫。它会遵循 robots.txt；Meta 未公布该爬虫的 IP 段。

- **robots.txt token**: `meta-webindexer`
- **运营方**: Meta
- **用途**: 搜索
- **是否遵守 robots.txt**: 运营方表示该爬虫遵守 robots.txt。
- **运营方是否提供文档**: 是，运营方在其自有页面上有相关说明。
- **文档**: [developers.facebook.com](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)

## 在整个网站上屏蔽 meta-webindexer

`robots.txt`

```
User-agent: meta-webindexer
Disallow: /
```

## 允许访问，但屏蔽私有路径

`robots.txt`

```
User-agent: meta-webindexer
Allow: /
Disallow: /admin/
```

## Meta 的其他爬虫

[meta-externalagent](https://dotsagent.io/zh/agent-ready/bots/meta-externalagent)

[meta-externalfetcher](https://dotsagent.io/zh/agent-ready/bots/meta-externalfetcher)

[meta-externalads](https://dotsagent.io/zh/agent-ready/bots/meta-externalads)

[facebookexternalhit](https://dotsagent.io/zh/agent-ready/bots/facebookexternalhit)

[Muse](https://dotsagent.io/zh/agent-ready/bots/muse)

[在生成器中将其添加到 robots.txt →](https://dotsagent.io/zh/agent-ready/robots-txt)

## 来源

1. [developers.facebook.com](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)/docs/sharing/webmasters/web-crawlers/

为 AI agent 开发者提供的独立参考资料。与此处提及的任何厂商均无关联。

© 2026 DotsAgent · 事实核查日期：2026年10月1日