Apple · 학습
Applebot-Extended이란?
크롤링을 수행하지 않는 제어 토큰입니다. 페이지는 Applebot이 가져오며, Applebot-Extended를 통해 Apple이 해당 페이지를 모델 학습에 사용해도 되는지 지정합니다.
- robots.txt 토큰
Applebot-Extended- 운영자
- Apple
- 목적
- 학습
- robots.txt 준수
- 예 운영자는 robots.txt를 준수한다고 밝힙니다.
- 운영자 문서
- 예, 운영자의 공식 페이지에 나와 있습니다.
- 문서
- support.apple.com
사이트 전체에서 Applebot-Extended 차단
User-agent: Applebot-Extended
Disallow: /
허용하되 비공개 경로는 제외
User-agent: Applebot-Extended
Allow: /
Disallow: /admin/