dotsagent.io
언어:한국어
Cohere · 사용자 요청

cohere-ai이란?

커뮤니티 목록에서 Cohere의 사용자 요청 기반 페이지 가져오기에 사용되는 것으로 알려진 토큰입니다. Cohere는 학습을 위한 크롤링을 하지 않는다고 밝혔으며, 자체 문서에서는 예시 토큰으로 Coherebot을 사용합니다.

robots.txt 토큰
cohere-ai
운영자
Cohere
목적
사용자 요청
robots.txt 준수
언급 없음 운영자는 이에 대해 밝히지 않습니다.
운영자 문서
예, 운영자의 공식 페이지에 나와 있습니다.
문서
docs.cohere.com

cohere-training-data-crawler도 커뮤니티에서 Cohere의 토큰으로 보고한 사례가 있지만, Cohere는 둘 다 확인하지 않았습니다.

사이트 전체에서 cohere-ai 차단

robots.txt
User-agent: cohere-ai
Disallow: /

허용하되 비공개 경로는 제외

robots.txt
User-agent: cohere-ai
Allow: /
Disallow: /admin/

이 봇은 사용자를 위해 또는 사용자를 대신하는 에이전트를 위해 페이지를 가져옵니다. 일부 운영자는 이러한 요청에는 robots.txt가 적용되지 않을 수 있다고 밝히므로, 중요한 경우 위 내용을 확인하고 방화벽에서 차단하세요.

생성기의 robots.txt에 추가 →

출처

  1. docs.cohere.com/docs/cohere-web-crawlers
  2. github.com/ai-robots-txt/ai.robots.txt