Meta · 训练
meta-externalagent 是什么？
Meta 用于训练 AI 模型和建立索引的爬虫。它会遵循 robots.txt。
- robots.txt token
meta-externalagent- 运营方
- Meta
- 用途
- 训练
- 是否遵守 robots.txt
- 是 运营方表示该爬虫遵守 robots.txt。
- 运营方是否提供文档
- 是，运营方在其自有页面上有相关说明。
- 文档
- developers.facebook.com
同一个 token 用于这两种用途，因此屏蔽它以阻止训练也会停止索引；Meta 未公布 IP 段。
在整个网站上屏蔽 meta-externalagent
User-agent: meta-externalagent
Disallow: /
允许访问，但屏蔽私有路径
User-agent: meta-externalagent
Allow: /
Disallow: /admin/