---
title: "meta-externalfetcher: blokir atau izinkan crawler AI ini · DotsAgent"
description: "meta-externalfetcher dioperasikan oleh Meta dan tercantum untuk tujuan pengambilan oleh pengguna. Token robots.txt, kepatuhan terhadap aturan, daftar IP, dan cara mengendalikannya."
url: https://dotsagent.io/id/agent-ready/bots/meta-externalfetcher
---

Meta · Pengambilan oleh pengguna

# Apa itu meta-externalfetcher?

Mengambil halaman atas permintaan pengguna, termasuk untuk fitur agent Meta.

- **Token robots.txt**: `meta-externalfetcher`
- **Operator**: Meta
- **Tujuan**: Pengambilan oleh pengguna
- **Mematuhi robots.txt**: Operator menyatakan bahwa robots.txt mungkin tidak berlaku, atau laporan komunitas menyebutkan bahwa bot ini mengabaikannya.
- **Didokumentasikan oleh operator**: Ya, di halaman milik operator sendiri.
- **Dokumentasi**: [developers.facebook.com](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)

Meta menyatakan bahwa bot ini dapat melewati robots.txt dan tidak memublikasikan rentang IP, sehingga hanya ada sedikit cara untuk memblokirnya.

## Blokir meta-externalfetcher dari seluruh situs Anda

`robots.txt`

```
User-agent: meta-externalfetcher
Disallow: /
```

## Izinkan bot, tetapi kecualikan path privat

`robots.txt`

```
User-agent: meta-externalfetcher
Allow: /
Disallow: /admin/
```

Bot ini mengambil halaman untuk seseorang, atau untuk agent yang bertindak atas nama seseorang. Beberapa operator menyatakan bahwa robots.txt mungkin tidak berlaku untuk permintaan seperti ini, jadi periksa baris di atas dan blokir di firewall jika diperlukan.

## Bot lain dari Meta

[meta-externalagent](https://dotsagent.io/id/agent-ready/bots/meta-externalagent)

[meta-webindexer](https://dotsagent.io/id/agent-ready/bots/meta-webindexer)

[meta-externalads](https://dotsagent.io/id/agent-ready/bots/meta-externalads)

[facebookexternalhit](https://dotsagent.io/id/agent-ready/bots/facebookexternalhit)

[Muse](https://dotsagent.io/id/agent-ready/bots/muse)

[Tambahkan ke robots.txt di generator →](https://dotsagent.io/id/agent-ready/robots-txt)

## Sumber

1. [developers.facebook.com](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)/docs/sharing/webmasters/web-crawlers/

Referensi independen bagi mereka yang membangun agen AI. Tidak berafiliasi dengan vendor mana pun yang disebutkan di sini.

© 2026 DotsAgent · Fakta diperiksa 1 Oktober 2026