Diffbot · 搜索
Diffbot 是什么？
Diffbot 用于数据提取和构建知识图谱的爬虫。该 token 来自社区列表，而非 Diffbot 的官方文档。
- robots.txt token
Diffbot- 运营方
- Diffbot
- 用途
- 搜索
- 是否遵守 robots.txt
- 未说明 运营方未作说明。
- 运营方是否提供文档
- 否。只有 ai.robots.txt 等社区列表记录了此 token。
社区来源称，它是否遵守 robots.txt 取决于 Diffbot 的用户设置。
在整个网站上屏蔽 Diffbot
User-agent: Diffbot
Disallow: /
允许访问，但屏蔽私有路径
User-agent: Diffbot
Allow: /
Disallow: /admin/