Applebot-Extended 是什么？

这是一个不会执行抓取的控制 token：页面由 Applebot 抓取，而 Applebot-Extended 用于告知 Apple 是否可以将这些页面用于模型训练。

robots.txt token

Applebot-Extended

运营方

Apple

用途

训练

是否遵守 robots.txt

●是 运营方表示该爬虫遵守 robots.txt。

运营方是否提供文档

是，运营方在其自有页面上有相关说明。

文档

support.apple.com

在整个网站上屏蔽 Applebot-Extended

User-agent: Applebot-Extended
Disallow: /

允许访问，但屏蔽私有路径

User-agent: Applebot-Extended
Allow: /
Disallow: /admin/

Apple 的其他爬虫

在生成器中将其添加到 robots.txt →