Diffbot · 検索
Diffbotとは？
データ抽出とナレッジグラフの構築に使われるDiffbotのクローラーです。このトークンはDiffbotの公式ドキュメントではなく、コミュニティのリストに掲載されています。
- robots.txtトークン
Diffbot- 運営者
- Diffbot
- 用途
- 検索
- robots.txtへの準拠
- 記載なし 運営者からの説明はありません。
- 運営者によるドキュメント
- いいえ。ai.robots.txt などのコミュニティのリストでのみ確認できます。
コミュニティの情報によると、robots.txtを尊重するかどうかはDiffbotのユーザーによって異なります。
サイト全体で Diffbot をブロックする
User-agent: Diffbot
Disallow: /
許可しつつ、非公開パスへのアクセスを防ぐ
User-agent: Diffbot
Allow: /
Disallow: /admin/