Что такое meta-externalagent?

Краулер Meta для обучения моделей ИИ и индексирования. Соблюдает robots.txt.

Токен robots.txt

meta-externalagent

Оператор

Meta

Назначение

Обучение

Соблюдает robots.txt

●Да Оператор сообщает, что бот соблюдает robots.txt.

Описан оператором

Да, на страницах самого оператора.

Документация

developers.facebook.com

Для обеих задач используется один токен, поэтому блокировка обучения остановит и индексирование. Meta не публикует диапазоны IP-адресов.

Заблокировать meta-externalagent на всём сайте

User-agent: meta-externalagent
Disallow: /

Разрешить доступ, но закрыть приватные пути

User-agent: meta-externalagent
Allow: /
Disallow: /admin/

Другие боты от Meta

Добавить в генератор robots.txt →