Что такое Bytespider?

Краулер ByteDance, указанный в реестрах сообщества как средство для сбора данных для обучения. У ByteDance нет официальной страницы с информацией о нём.

Токен robots.txt

Bytespider

Оператор

ByteDance

Назначение

Обучение

Соблюдает robots.txt

○Нет Оператор сообщает, что правила robots.txt могут не распространяться на бота, либо в сообществах сообщают, что бот их игнорирует.

Описан оператором

Нет. Токен известен только из списков сообщества, таких как ai.robots.txt.

По сообщениям сообщества, он не соблюдает robots.txt.

Заблокировать Bytespider на всём сайте

User-agent: Bytespider
Disallow: /

Разрешить доступ, но закрыть приватные пути

User-agent: Bytespider
Allow: /
Disallow: /admin/

Добавить в генератор robots.txt →