Applebot-Extendedとは？

クロールは行わない制御用トークンです。ページを取得するのはApplebotで、Applebot-Extendedは取得したページをモデルのトレーニングに使用できるかどうかをAppleに伝えます。

robots.txtトークン

Applebot-Extended

運営者

Apple

用途

学習

robots.txtへの準拠

●はい 運営者は、robots.txt に従うと明言しています。

運営者によるドキュメント

はい。運営者自身のページに記載されています。

ドキュメント

support.apple.com

サイト全体で Applebot-Extended をブロックする

User-agent: Applebot-Extended
Disallow: /

許可しつつ、非公開パスへのアクセスを防ぐ

User-agent: Applebot-Extended
Allow: /
Disallow: /admin/

Apple のその他の bot

ジェネレーターで robots.txt に追加 →