Meta · Requêtes utilisateur
Qu’est-ce que meta-externalfetcher ?
Récupère des pages à la demande d’un utilisateur, notamment pour les fonctionnalités d’agent de Meta.
- Token robots.txt
meta-externalfetcher- Opérateur
- Meta
- Objectif
- Requêtes utilisateur
- Respecte robots.txt
- Non L’opérateur indique que robots.txt peut ne pas s’appliquer, ou des signalements de la communauté indiquent que le bot l’ignore.
- Documenté par l’opérateur
- Oui, sur les pages de l’opérateur.
- Documentation
- developers.facebook.com
Meta indique qu’il peut contourner robots.txt et ne publie pas de plages d’adresses IP, ce qui laisse peu de moyens de le bloquer.
Bloquer meta-externalfetcher sur tout votre site
User-agent: meta-externalfetcher
Disallow: /
L’autoriser, mais exclure les chemins privés
User-agent: meta-externalfetcher
Allow: /
Disallow: /admin/
Ce bot récupère des pages pour une personne ou pour un agent agissant en son nom. Plusieurs opérateurs indiquent que robots.txt peut ne pas s’appliquer à ces requêtes. Vérifiez donc l’indication ci-dessus et bloquez-le au niveau de votre pare-feu si nécessaire.
Autres bots de Meta
L’ajouter à un robots.txt dans le générateur →