---
title: "meta-webindexer: 이 AI 크롤러 차단 또는 허용 · DotsAgent"
description: "meta-webindexer은(는) Meta에서 운영하며 검색 항목에 등록되어 있습니다. robots.txt 토큰, 규칙 준수 여부, IP 목록 및 제어 방법을 확인하세요."
url: https://dotsagent.io/ko/agent-ready/bots/meta-webindexer
---

Meta · 검색

# meta-webindexer이란?

Meta AI 검색을 위한 Meta의 크롤러입니다. robots.txt를 따르며, Meta는 이 크롤러의 IP 대역을 공개하지 않습니다.

- **robots.txt 토큰**: `meta-webindexer`
- **운영자**: Meta
- **목적**: 검색
- **robots.txt 준수**: 운영자는 robots.txt를 준수한다고 밝힙니다.
- **운영자 문서**: 예, 운영자의 공식 페이지에 나와 있습니다.
- **문서**: [developers.facebook.com](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)

## 사이트 전체에서 meta-webindexer 차단

`robots.txt`

```
User-agent: meta-webindexer
Disallow: /
```

## 허용하되 비공개 경로는 제외

`robots.txt`

```
User-agent: meta-webindexer
Allow: /
Disallow: /admin/
```

## Meta의 다른 봇

[meta-externalagent](https://dotsagent.io/ko/agent-ready/bots/meta-externalagent)

[meta-externalfetcher](https://dotsagent.io/ko/agent-ready/bots/meta-externalfetcher)

[meta-externalads](https://dotsagent.io/ko/agent-ready/bots/meta-externalads)

[facebookexternalhit](https://dotsagent.io/ko/agent-ready/bots/facebookexternalhit)

[Muse](https://dotsagent.io/ko/agent-ready/bots/muse)

[생성기의 robots.txt에 추가 →](https://dotsagent.io/ko/agent-ready/robots-txt)

## 출처

1. [developers.facebook.com](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)/docs/sharing/webmasters/web-crawlers/

AI 에이전트를 만드는 개발자를 위한 독립적인 참고 자료입니다. 여기에 언급된 어떤 업체와도 제휴 관계가 없습니다.

© 2026 DotsAgent · 정보 확인일: 2026년 10월 1일