Meta · Solicitudes de usuarios
¿Qué es meta-externalfetcher?
Obtiene páginas a petición de un usuario, también para las funciones de agente de Meta.
- Token de robots.txt
meta-externalfetcher- Operador
- Meta
- Propósito
- Solicitudes de usuarios
- Respeta robots.txt
- No El operador indica que robots.txt podría no aplicarse, o hay informes de la comunidad que dicen que lo ignora.
- Documentado por el operador
- Sí, en las páginas oficiales del operador.
- Documentación
- developers.facebook.com
Meta afirma que puede eludir robots.txt y no publica rangos de IP, por lo que hay pocas opciones para bloquearlo.
Bloquea meta-externalfetcher en todo tu sitio
User-agent: meta-externalfetcher
Disallow: /
Permítelo, pero excluye las rutas privadas
User-agent: meta-externalfetcher
Allow: /
Disallow: /admin/
Este bot obtiene páginas para una persona o para un agente que actúa en su nombre. Varios operadores indican que robots.txt podría no aplicarse a estas solicitudes, así que comprueba la información anterior y aplícalo en tu firewall si es importante.
Otros bots de Meta
Añádelo a un robots.txt en el generador →