MistralAI-Training 是什么？

Mistral 用于收集训练数据的爬虫。它遵守 robots.txt。

robots.txt token

MistralAI-Training

运营方

Mistral

用途

训练

是否遵守 robots.txt

●是 运营方表示该爬虫遵守 robots.txt。

运营方是否提供文档

是，运营方在其自有页面上有相关说明。

文档

docs.mistral.ai

Mistral 尚未公布该爬虫的 IP 列表。

在整个网站上屏蔽 MistralAI-Training

User-agent: MistralAI-Training
Disallow: /

允许访问，但屏蔽私有路径

User-agent: MistralAI-Training
Allow: /
Disallow: /admin/

Mistral 的其他爬虫

在生成器中将其添加到 robots.txt →