Apple · Обучение

Что такое Applebot-Extended?

Управляющий токен, который ничего не сканирует: страницы загружает Applebot, а Applebot-Extended указывает Apple, можно ли использовать их для обучения моделей.

Токен robots.txt: Applebot-Extended
Оператор: Apple
Назначение: Обучение
Соблюдает robots.txt: Да Оператор сообщает, что бот соблюдает robots.txt.
Описан оператором: Да, на страницах самого оператора.
Документация: support.apple.com

Заблокировать Applebot-Extended на всём сайте

robots.txt

User-agent: Applebot-Extended
Disallow: /

Разрешить доступ, но закрыть приватные пути

robots.txt

User-agent: Applebot-Extended
Allow: /
Disallow: /admin/

Другие боты от Apple

Applebot

Добавить в генератор robots.txt →

Источники

support.apple.com/en-us/119829