O que é meta-webindexer?

O crawler da Meta para buscas na Meta AI. Segue o robots.txt; a Meta não publica faixas de IP para ele.

Token para robots.txt

meta-webindexer

Operador

Meta

Finalidade

Busca

Obedece ao robots.txt

●Sim O operador informa que segue o robots.txt.

Documentado pelo operador

Sim, nas páginas do próprio operador.

Documentação

developers.facebook.com

Bloqueie meta-webindexer em todo o seu site

User-agent: meta-webindexer
Disallow: /

Permita o acesso, mas proteja os caminhos privados

User-agent: meta-webindexer
Allow: /
Disallow: /admin/

Outros bots de Meta

Adicione-o ao robots.txt no gerador →