MistralAI-Index là gì?

Crawler của Mistral dùng để xây dựng chỉ mục tìm kiếm. Crawler này tuân theo robots.txt và có danh sách IP được công bố.

Token robots.txt

MistralAI-Index

Nhà vận hành

Mistral

Mục đích

Tìm kiếm

Tuân theo robots.txt

●Có Nhà vận hành cho biết bot này tuân thủ robots.txt.

Có tài liệu từ nhà vận hành

Có, trên các trang của chính nhà vận hành.

Danh sách IP được công bố

mistral.ai/mistralai-index-ips.json

Tài liệu

docs.mistral.ai

Chặn MistralAI-Index trên toàn bộ trang web

User-agent: MistralAI-Index
Disallow: /

Cho phép bot này, nhưng không cho truy cập các đường dẫn riêng tư

User-agent: MistralAI-Index
Allow: /
Disallow: /admin/

Các bot khác của Mistral

Thêm bot này vào robots.txt trong trình tạo →