Meta · Entraînement
Qu’est-ce que meta-externalagent ?
Le crawler de Meta utilisé pour entraîner des modèles d’IA et indexer des pages. Il respecte robots.txt.
- Token robots.txt
meta-externalagent- Opérateur
- Meta
- Objectif
- Entraînement
- Respecte robots.txt
- Oui L’opérateur indique que le bot respecte robots.txt.
- Documenté par l’opérateur
- Oui, sur les pages de l’opérateur.
- Documentation
- developers.facebook.com
Un seul token couvre les deux usages : le bloquer pour l’entraînement empêche aussi l’indexation. Meta ne publie pas de plages d’adresses IP.
Bloquer meta-externalagent sur tout votre site
User-agent: meta-externalagent
Disallow: /
L’autoriser, mais exclure les chemins privés
User-agent: meta-externalagent
Allow: /
Disallow: /admin/
Autres bots de Meta
L’ajouter à un robots.txt dans le générateur →