MistralAI-Trainingとは？

トレーニングデータの収集に使われるMistralのクローラーです。robots.txtに従います。

robots.txtトークン

MistralAI-Training

運営者

Mistral

用途

学習

robots.txtへの準拠

●はい 運営者は、robots.txt に従うと明言しています。

運営者によるドキュメント

はい。運営者自身のページに記載されています。

ドキュメント

docs.mistral.ai

MistralはこのクローラーのIPリストを公開していません。

サイト全体で MistralAI-Training をブロックする

User-agent: MistralAI-Training
Disallow: /

許可しつつ、非公開パスへのアクセスを防ぐ

User-agent: MistralAI-Training
Allow: /
Disallow: /admin/

Mistral のその他の bot

ジェネレーターで robots.txt に追加 →