Что такое MistralAI-Index?

Краулер Mistral для создания поискового индекса. Он соблюдает robots.txt; Mistral публикует список IP-адресов.

Токен robots.txt

MistralAI-Index

Оператор

Mistral

Назначение

Поиск

Соблюдает robots.txt

●Да Оператор сообщает, что бот соблюдает robots.txt.

Описан оператором

Да, на страницах самого оператора.

Опубликованный список IP-адресов

mistral.ai/mistralai-index-ips.json

Документация

docs.mistral.ai

Заблокировать MistralAI-Index на всём сайте

User-agent: MistralAI-Index
Disallow: /

Разрешить доступ, но закрыть приватные пути

User-agent: MistralAI-Index
Allow: /
Disallow: /admin/

Другие боты от Mistral

Добавить в генератор robots.txt →