Что такое Diffbot?

Краулер Diffbot для извлечения данных и построения графа знаний. Этот токен упоминается в списках сообщества, но не в документации Diffbot.

Токен robots.txt

Diffbot

Оператор

Diffbot

Назначение

Поиск

Соблюдает robots.txt

?Не указано Оператор ничего об этом не сообщает.

Описан оператором

Нет. Токен известен только из списков сообщества, таких как ai.robots.txt.

Согласно источникам сообщества, соблюдение robots.txt зависит от настроек самих пользователей Diffbot.

Заблокировать Diffbot на всём сайте

User-agent: Diffbot
Disallow: /

Разрешить доступ, но закрыть приватные пути

User-agent: Diffbot
Allow: /
Disallow: /admin/

Добавить в генератор robots.txt →