Meta · 학습
meta-externalagent이란?
AI 모델 학습 및 색인 작업을 위한 Meta의 크롤러입니다. robots.txt를 따릅니다.
- robots.txt 토큰
meta-externalagent- 운영자
- Meta
- 목적
- 학습
- robots.txt 준수
- 예 운영자는 robots.txt를 준수한다고 밝힙니다.
- 운영자 문서
- 예, 운영자의 공식 페이지에 나와 있습니다.
- 문서
- developers.facebook.com
두 용도에 같은 토큰을 사용하므로 학습을 위해 차단하면 색인도 중단됩니다. Meta는 IP 대역을 공개하지 않습니다.
사이트 전체에서 meta-externalagent 차단
User-agent: meta-externalagent
Disallow: /
허용하되 비공개 경로는 제외
User-agent: meta-externalagent
Allow: /
Disallow: /admin/