Meta · Pobieranie przez użytkowników
Czym jest meta-externalfetcher?
Pobiera strony na żądanie użytkownika, również na potrzeby funkcji agentowych Meta.
- Token robots.txt
meta-externalfetcher- Operator
- Meta
- Cel
- Pobieranie przez użytkowników
- Przestrzega robots.txt
- Nie Operator informuje, że robots.txt może nie mieć zastosowania, lub zgłoszenia społeczności wskazują, że bot go ignoruje.
- Udokumentowany przez operatora
- Tak, na własnych stronach operatora.
- Dokumentacja
- developers.facebook.com
Meta informuje, że może omijać robots.txt i nie publikuje zakresów adresów IP, więc możliwości zablokowania tego crawlera są ograniczone.
Zablokuj meta-externalfetcher w całej witrynie
User-agent: meta-externalfetcher
Disallow: /
Zezwól na dostęp, ale zablokuj ścieżki prywatne
User-agent: meta-externalfetcher
Allow: /
Disallow: /admin/
Ten bot pobiera strony na żądanie użytkownika lub działającego w jego imieniu agenta. Kilku operatorów informuje, że robots.txt może nie mieć zastosowania do takich żądań. Sprawdź więc powyższy wiersz i, jeśli to ważne, wymuś blokadę na firewallu.
Inne boty od Meta
Dodaj do robots.txt w generatorze →