Applebot 是什么？

Apple 用于 Siri、Spotlight 和 Safari 搜索的爬虫。Apple 表示，收集的数据可能用于帮助训练 Apple 模型。

robots.txt token

Applebot

运营方

Apple

用途

搜索

是否遵守 robots.txt

●是 运营方表示该爬虫遵守 robots.txt。

运营方是否提供文档

是，运营方在其自有页面上有相关说明。

公开的 IP 列表

search.developer.apple.com/applebot.json

文档

support.apple.com

它会忽略 Crawl-delay；如果 robots.txt 中没有 Applebot 分组，则会遵循 Googlebot 规则。

在整个网站上屏蔽 Applebot

User-agent: Applebot
Disallow: /

允许访问，但屏蔽私有路径

User-agent: Applebot
Allow: /
Disallow: /admin/

Apple 的其他爬虫

在生成器中将其添加到 robots.txt →