Что такое Timpibot?

Краулер Timpi, указанный в реестрах сообщества как средство для сбора данных для обучения. Соблюдает ли он robots.txt, неизвестно.

Токен robots.txt

Timpibot

Оператор

Timpi

Назначение

Обучение

Соблюдает robots.txt

?Не указано Оператор ничего об этом не сообщает.

Описан оператором

Нет. Токен известен только из списков сообщества, таких как ai.robots.txt.

Заблокировать Timpibot на всём сайте

User-agent: Timpibot
Disallow: /

Разрешить доступ, но закрыть приватные пути

User-agent: Timpibot
Allow: /
Disallow: /admin/

Добавить в генератор robots.txt →