---
title: "meta-webindexer: blokir atau izinkan crawler AI ini · DotsAgent"
description: "meta-webindexer dioperasikan oleh Meta dan tercantum untuk tujuan pencarian. Token robots.txt, kepatuhan terhadap aturan, daftar IP, dan cara mengendalikannya."
url: https://dotsagent.io/id/agent-ready/bots/meta-webindexer
---

Meta · Pencarian

# Apa itu meta-webindexer?

Crawler Meta untuk pencarian di Meta AI. Bot ini mematuhi robots.txt; Meta tidak memublikasikan rentang IP untuknya.

- **Token robots.txt**: `meta-webindexer`
- **Operator**: Meta
- **Tujuan**: Pencarian
- **Mematuhi robots.txt**: Operator menyatakan bahwa bot ini mematuhi robots.txt.
- **Didokumentasikan oleh operator**: Ya, di halaman milik operator sendiri.
- **Dokumentasi**: [developers.facebook.com](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)

## Blokir meta-webindexer dari seluruh situs Anda

`robots.txt`

```
User-agent: meta-webindexer
Disallow: /
```

## Izinkan bot, tetapi kecualikan path privat

`robots.txt`

```
User-agent: meta-webindexer
Allow: /
Disallow: /admin/
```

## Bot lain dari Meta

[meta-externalagent](https://dotsagent.io/id/agent-ready/bots/meta-externalagent)

[meta-externalfetcher](https://dotsagent.io/id/agent-ready/bots/meta-externalfetcher)

[meta-externalads](https://dotsagent.io/id/agent-ready/bots/meta-externalads)

[facebookexternalhit](https://dotsagent.io/id/agent-ready/bots/facebookexternalhit)

[Muse](https://dotsagent.io/id/agent-ready/bots/muse)

[Tambahkan ke robots.txt di generator →](https://dotsagent.io/id/agent-ready/robots-txt)

## Sumber

1. [developers.facebook.com](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)/docs/sharing/webmasters/web-crawlers/

Referensi independen bagi mereka yang membangun agen AI. Tidak berafiliasi dengan vendor mana pun yang disebutkan di sini.

© 2026 DotsAgent · Fakta diperiksa 1 Oktober 2026