Czym jest meta-webindexer?

Crawler Meta używany do wyszukiwania w Meta AI. Respektuje robots.txt, ale Meta nie publikuje jego zakresów adresów IP.

Token robots.txt

meta-webindexer

Operator

Meta

Cel

Wyszukiwanie

Przestrzega robots.txt

●Tak Operator informuje, że bot przestrzega robots.txt.

Udokumentowany przez operatora

Tak, na własnych stronach operatora.

Dokumentacja

developers.facebook.com

Zablokuj meta-webindexer w całej witrynie

User-agent: meta-webindexer
Disallow: /

Zezwól na dostęp, ale zablokuj ścieżki prywatne

User-agent: meta-webindexer
Allow: /
Disallow: /admin/

Inne boty od Meta

Dodaj do robots.txt w generatorze →