Was ist meta-webindexer?

Metas Crawler für die Suche in Meta AI. Er beachtet robots.txt; Meta veröffentlicht dafür keine IP-Bereiche.

robots.txt-Token

meta-webindexer

Betreiber

Meta

Zweck

Suche

Hält sich an robots.txt

●Ja Der Betreiber gibt an, dass der Bot robots.txt beachtet.

Vom Betreiber dokumentiert

Ja, auf den Seiten des Betreibers.

Dokumentation

developers.facebook.com

meta-webindexer für Ihre gesamte Website sperren

User-agent: meta-webindexer
Disallow: /

Zugriff erlauben, aber private Pfade ausschließen

User-agent: meta-webindexer
Allow: /
Disallow: /admin/

Weitere Bots von Meta

Im Generator zu robots.txt hinzufügen →