O que é meta-externalagent?

O crawler da Meta para treinar modelos de IA e indexar conteúdo. Segue o robots.txt.

Token para robots.txt

meta-externalagent

Operador

Meta

Finalidade

Treinamento

Obedece ao robots.txt

●Sim O operador informa que segue o robots.txt.

Documentado pelo operador

Sim, nas páginas do próprio operador.

Documentação

developers.facebook.com

Um único token cobre os dois usos; portanto, bloqueá-lo para impedir o treinamento também interrompe a indexação, e a Meta não publica faixas de IP.

Bloqueie meta-externalagent em todo o seu site

User-agent: meta-externalagent
Disallow: /

Permita o acesso, mas proteja os caminhos privados

User-agent: meta-externalagent
Allow: /
Disallow: /admin/

Outros bots de Meta

Adicione-o ao robots.txt no gerador →