Meta · Trenowanie
Czym jest meta-externalagent?
Crawler Meta używany do trenowania modeli AI i indeksowania. Respektuje robots.txt.
- Token robots.txt
meta-externalagent- Operator
- Meta
- Cel
- Trenowanie
- Przestrzega robots.txt
- Tak Operator informuje, że bot przestrzega robots.txt.
- Udokumentowany przez operatora
- Tak, na własnych stronach operatora.
- Dokumentacja
- developers.facebook.com
Jeden token obejmuje oba zastosowania, więc zablokowanie go na potrzeby trenowania zatrzymuje również indeksowanie. Meta nie publikuje zakresów adresów IP.
Zablokuj meta-externalagent w całej witrynie
User-agent: meta-externalagent
Disallow: /
Zezwól na dostęp, ale zablokuj ścieżki prywatne
User-agent: meta-externalagent
Allow: /
Disallow: /admin/
Inne boty od Meta
Dodaj do robots.txt w generatorze →