Meta · 搜索
meta-webindexer 是什么？
Meta AI 搜索使用的 Meta 爬虫。它会遵循 robots.txt；Meta 未公布该爬虫的 IP 段。
- robots.txt token
meta-webindexer- 运营方
- Meta
- 用途
- 搜索
- 是否遵守 robots.txt
- 是 运营方表示该爬虫遵守 robots.txt。
- 运营方是否提供文档
- 是，运营方在其自有页面上有相关说明。
- 文档
- developers.facebook.com
在整个网站上屏蔽 meta-webindexer
User-agent: meta-webindexer
Disallow: /
允许访问，但屏蔽私有路径
User-agent: meta-webindexer
Allow: /
Disallow: /admin/