Bytespider이란?

커뮤니티 레지스트리에 학습용으로 등재된 ByteDance의 크롤러입니다. ByteDance는 이 크롤러에 대한 공식 페이지를 제공하지 않습니다.

robots.txt 토큰

Bytespider

운영자

ByteDance

목적

학습

robots.txt 준수

○아니요 운영자는 robots.txt가 적용되지 않을 수 있다고 밝히거나, 커뮤니티 보고에 따르면 이를 무시합니다.

운영자 문서

아니요. 이 토큰은 ai.robots.txt 같은 커뮤니티 목록에만 나와 있습니다.

커뮤니티 보고에 따르면 robots.txt를 따르지 않습니다.

사이트 전체에서 Bytespider 차단

User-agent: Bytespider
Disallow: /

허용하되 비공개 경로는 제외

User-agent: Bytespider
Allow: /
Disallow: /admin/

생성기의 robots.txt에 추가 →