Diffbot · 검색
Diffbot이란?
데이터 추출과 지식 그래프 구축을 위한 Diffbot의 크롤러입니다. 이 토큰은 Diffbot 자체 문서가 아닌 커뮤니티 목록에 나옵니다.
- robots.txt 토큰
Diffbot- 운영자
- Diffbot
- 목적
- 검색
- robots.txt 준수
- 언급 없음 운영자는 이에 대해 밝히지 않습니다.
- 운영자 문서
- 아니요. 이 토큰은 ai.robots.txt 같은 커뮤니티 목록에만 나와 있습니다.
커뮤니티 자료에 따르면 robots.txt를 따르는지는 Diffbot 사용자 설정에 달려 있습니다.
사이트 전체에서 Diffbot 차단
User-agent: Diffbot
Disallow: /
허용하되 비공개 경로는 제외
User-agent: Diffbot
Allow: /
Disallow: /admin/