Qu’est-ce que meta-webindexer ?

Le crawler de Meta pour les recherches dans Meta AI. Il respecte robots.txt ; Meta ne publie pas de plages d’adresses IP pour ce crawler.

Token robots.txt

meta-webindexer

Opérateur

Meta

Objectif

Recherche

Respecte robots.txt

●Oui L’opérateur indique que le bot respecte robots.txt.

Documenté par l’opérateur

Oui, sur les pages de l’opérateur.

Documentation

developers.facebook.com

Bloquer meta-webindexer sur tout votre site

User-agent: meta-webindexer
Disallow: /

L’autoriser, mais exclure les chemins privés

User-agent: meta-webindexer
Allow: /
Disallow: /admin/

Autres bots de Meta

L’ajouter à un robots.txt dans le générateur →