Was ist meta-externalagent?

Metas Crawler zum Trainieren von KI-Modellen und zur Indexierung. Er beachtet robots.txt.

robots.txt-Token

meta-externalagent

Betreiber

Meta

Zweck

Training

Hält sich an robots.txt

●Ja Der Betreiber gibt an, dass der Bot robots.txt beachtet.

Vom Betreiber dokumentiert

Ja, auf den Seiten des Betreibers.

Dokumentation

developers.facebook.com

Ein Token gilt für beide Zwecke. Wenn Sie es für das Training blockieren, wird also auch die Indexierung verhindert. Meta veröffentlicht keine IP-Bereiche.

meta-externalagent für Ihre gesamte Website sperren

User-agent: meta-externalagent
Disallow: /

Zugriff erlauben, aber private Pfade ausschließen

User-agent: meta-externalagent
Allow: /
Disallow: /admin/

Weitere Bots von Meta

Im Generator zu robots.txt hinzufügen →