Google · Обучение

Что такое Google-Extended?

Это управляющий токен, а не краулер: страницы получает Googlebot, а Google-Extended определяет, можно ли использовать их содержимое для обучения Gemini и привязки к источникам.

Токен robots.txt: Google-Extended
Оператор: Google
Назначение: Обучение
Соблюдает robots.txt: Да Оператор сообщает, что бот соблюдает robots.txt.
Описан оператором: Да, на страницах самого оператора.
Документация: developers.google.com

У него нет собственного User-Agent, поэтому он никогда не появляется в журналах доступа.

Заблокировать Google-Extended на всём сайте

robots.txt

User-agent: Google-Extended
Disallow: /

Разрешить доступ, но закрыть приватные пути

robots.txt

User-agent: Google-Extended
Allow: /
Disallow: /admin/

Другие боты от Google

Googlebot Google-CloudVertexBot GoogleOther Google-Agent Google-GeminiNotebook Gemini Spark Gemini-Deep-Research GoogleAgent-Mariner

Добавить в генератор robots.txt →

Источники

developers.google.com/search/docs/crawling-indexing/google-common-crawlers