Что такое Applebot?

Краулер Apple для поиска в Siri, Spotlight и Safari. По словам Apple, собранные данные могут использоваться для обучения моделей Apple.

Токен robots.txt

Applebot

Оператор

Apple

Назначение

Поиск

Соблюдает robots.txt

●Да Оператор сообщает, что бот соблюдает robots.txt.

Описан оператором

Да, на страницах самого оператора.

Опубликованный список IP-адресов

search.developer.apple.com/applebot.json

Документация

support.apple.com

Игнорирует Crawl-delay. Если в robots.txt нет группы Applebot, он применяет правила для Googlebot.

Заблокировать Applebot на всём сайте

User-agent: Applebot
Disallow: /

Разрешить доступ, но закрыть приватные пути

User-agent: Applebot
Allow: /
Disallow: /admin/

Другие боты от Apple

Добавить в генератор robots.txt →