Meta · Запросы пользователей
Что такое meta-externalfetcher?
Загружает страницы по запросу пользователя, в том числе для функций агентов Meta.
- Токен robots.txt
meta-externalfetcher- Оператор
- Meta
- Назначение
- Запросы пользователей
- Соблюдает robots.txt
- Нет Оператор сообщает, что правила robots.txt могут не распространяться на бота, либо в сообществах сообщают, что бот их игнорирует.
- Описан оператором
- Да, на страницах самого оператора.
- Документация
- developers.facebook.com
По словам Meta, он может обходить robots.txt. Meta не публикует диапазоны IP-адресов, поэтому заблокировать его трудно.
Заблокировать meta-externalfetcher на всём сайте
User-agent: meta-externalfetcher
Disallow: /
Разрешить доступ, но закрыть приватные пути
User-agent: meta-externalfetcher
Allow: /
Disallow: /admin/
Этот бот получает страницы по запросу пользователя или действующего от его имени агента. Несколько операторов сообщают, что правила robots.txt могут не распространяться на такие запросы. Проверьте примечание выше и, если это важно, настройте блокировку на межсетевом экране.
Другие боты от Meta
Добавить в генератор robots.txt →