¿Qué es meta-webindexer?

El rastreador de Meta para las búsquedas en Meta AI. Sigue robots.txt; Meta no publica rangos de IP para este rastreador.

Token de robots.txt

meta-webindexer

Operador

Meta

Propósito

Búsqueda

Respeta robots.txt

●Sí El operador indica que respeta robots.txt.

Documentado por el operador

Sí, en las páginas oficiales del operador.

Documentación

developers.facebook.com

Bloquea meta-webindexer en todo tu sitio

User-agent: meta-webindexer
Disallow: /

Permítelo, pero excluye las rutas privadas

User-agent: meta-webindexer
Allow: /
Disallow: /admin/

Otros bots de Meta

Añádelo a un robots.txt en el generador →