Что такое meta-webindexer?

Краулер Meta для поиска в Meta AI. Соблюдает robots.txt; Meta не публикует диапазоны IP-адресов для него.

Токен robots.txt

meta-webindexer

Оператор

Meta

Назначение

Поиск

Соблюдает robots.txt

●Да Оператор сообщает, что бот соблюдает robots.txt.

Описан оператором

Да, на страницах самого оператора.

Документация

developers.facebook.com

Заблокировать meta-webindexer на всём сайте

User-agent: meta-webindexer
Disallow: /

Разрешить доступ, но закрыть приватные пути

User-agent: meta-webindexer
Allow: /
Disallow: /admin/

Другие боты от Meta

Добавить в генератор robots.txt →