Что такое MistralAI-Training?

Краулер Mistral для сбора данных для обучения. Он соблюдает robots.txt.

Токен robots.txt

MistralAI-Training

Оператор

Mistral

Назначение

Обучение

Соблюдает robots.txt

●Да Оператор сообщает, что бот соблюдает robots.txt.

Описан оператором

Да, на страницах самого оператора.

Документация

docs.mistral.ai

Mistral не публикует список IP-адресов этого краулера.

Заблокировать MistralAI-Training на всём сайте

User-agent: MistralAI-Training
Disallow: /

Разрешить доступ, но закрыть приватные пути

User-agent: MistralAI-Training
Allow: /
Disallow: /admin/

Другие боты от Mistral

Добавить в генератор robots.txt →