dotsagent.io
언어:한국어
Meta · 사용자 요청

facebookexternalhit이란?

Meta 앱에서 URL을 공유하면 링크 미리보기를 만들기 위해 페이지를 가져옵니다.

robots.txt 토큰
facebookexternalhit
운영자
Meta
목적
사용자 요청
robots.txt 준수
아니요 운영자는 robots.txt가 적용되지 않을 수 있다고 밝히거나, 커뮤니티 보고에 따르면 이를 무시합니다.
운영자 문서
예, 운영자의 공식 페이지에 나와 있습니다.
문서
developers.facebook.com

Meta는 무결성 및 보안 검사를 위해 robots.txt를 우회할 수 있다고 밝혔습니다.

사이트 전체에서 facebookexternalhit 차단

robots.txt
User-agent: facebookexternalhit
Disallow: /

허용하되 비공개 경로는 제외

robots.txt
User-agent: facebookexternalhit
Allow: /
Disallow: /admin/

이 봇은 사용자를 위해 또는 사용자를 대신하는 에이전트를 위해 페이지를 가져옵니다. 일부 운영자는 이러한 요청에는 robots.txt가 적용되지 않을 수 있다고 밝히므로, 중요한 경우 위 내용을 확인하고 방화벽에서 차단하세요.

Meta의 다른 봇

생성기의 robots.txt에 추가 →

출처

  1. developers.facebook.com/docs/sharing/webmasters/web-crawlers/