dotsagent.io
Sprache:Deutsch
Meta · Nutzerabrufe

Was ist meta-externalfetcher?

Ruft Seiten auf Anfrage eines Nutzers ab, auch für Metas Agent-Funktionen.

robots.txt-Token
meta-externalfetcher
Betreiber
Meta
Zweck
Nutzerabrufe
Hält sich an robots.txt
Nein Der Betreiber gibt an, dass robots.txt möglicherweise nicht gilt, oder Community-Berichte besagen, dass der Bot robots.txt ignoriert.
Vom Betreiber dokumentiert
Ja, auf den Seiten des Betreibers.
Dokumentation
developers.facebook.com

Meta zufolge kann der Bot robots.txt umgehen. Da Meta keine IP-Bereiche veröffentlicht, gibt es kaum Möglichkeiten, ihn zu blockieren.

meta-externalfetcher für Ihre gesamte Website sperren

robots.txt
User-agent: meta-externalfetcher
Disallow: /

Zugriff erlauben, aber private Pfade ausschließen

robots.txt
User-agent: meta-externalfetcher
Allow: /
Disallow: /admin/

Dieser Bot ruft Seiten für eine Person oder für einen Agenten im Auftrag einer Person ab. Mehrere Betreiber geben an, dass robots.txt für solche Anfragen möglicherweise nicht gilt. Prüfen Sie daher den Hinweis oben und setzen Sie bei Bedarf eine Sperre an Ihrer Firewall durch.

Weitere Bots von Meta

Im Generator zu robots.txt hinzufügen →

Quellen

  1. developers.facebook.com/docs/sharing/webmasters/web-crawlers/