---
title: "meta-webindexer: diesen KI-Crawler blockieren oder zulassen · DotsAgent"
description: "meta-webindexer wird von Meta betrieben und ist dem Zweck suche zugeordnet. Der robots.txt-Token, ob sich der Bot an die Regeln hält, seine IP-Liste und Möglichkeiten, ihn zu steuern."
url: https://dotsagent.io/de/agent-ready/bots/meta-webindexer
---

Meta · Suche

# Was ist meta-webindexer?

Metas Crawler für die Suche in Meta AI. Er beachtet robots.txt; Meta veröffentlicht dafür keine IP-Bereiche.

- **robots.txt-Token**: `meta-webindexer`
- **Betreiber**: Meta
- **Zweck**: Suche
- **Hält sich an robots.txt**: Der Betreiber gibt an, dass der Bot robots.txt beachtet.
- **Vom Betreiber dokumentiert**: Ja, auf den Seiten des Betreibers.
- **Dokumentation**: [developers.facebook.com](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)

## meta-webindexer für Ihre gesamte Website sperren

`robots.txt`

```
User-agent: meta-webindexer
Disallow: /
```

## Zugriff erlauben, aber private Pfade ausschließen

`robots.txt`

```
User-agent: meta-webindexer
Allow: /
Disallow: /admin/
```

## Weitere Bots von Meta

[meta-externalagent](https://dotsagent.io/de/agent-ready/bots/meta-externalagent)

[meta-externalfetcher](https://dotsagent.io/de/agent-ready/bots/meta-externalfetcher)

[meta-externalads](https://dotsagent.io/de/agent-ready/bots/meta-externalads)

[facebookexternalhit](https://dotsagent.io/de/agent-ready/bots/facebookexternalhit)

[Muse](https://dotsagent.io/de/agent-ready/bots/muse)

[Im Generator zu robots.txt hinzufügen →](https://dotsagent.io/de/agent-ready/robots-txt)

## Quellen

1. [developers.facebook.com](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)/docs/sharing/webmasters/web-crawlers/

Unabhängige Referenz für alle, die KI-Agenten entwickeln. Wir sind mit keinem der hier genannten Anbieter verbunden.

© 2026 DotsAgent · Fakten geprüft am 1. Oktober 2026