Что такое YouBot?

Токен для поисковых функций You.com и функций на базе LLM, известный только по спискам сообщества. Соблюдает ли он robots.txt, неизвестно.

Токен robots.txt

YouBot

Оператор

You.com

Назначение

Поиск

Соблюдает robots.txt

?Не указано Оператор ничего об этом не сообщает.

Описан оператором

Нет. Токен известен только из списков сообщества, таких как ai.robots.txt.

Заблокировать YouBot на всём сайте

User-agent: YouBot
Disallow: /

Разрешить доступ, но закрыть приватные пути

User-agent: YouBot
Allow: /
Disallow: /admin/

Добавить в генератор robots.txt →