Google · Поиск
Что такое Googlebot?
Основной краулер Google для Google Search. Он соблюдает robots.txt, а Google публикует диапазоны своих IP-адресов.
- Токен robots.txt
Googlebot- Оператор
- Назначение
- Поиск
- Соблюдает robots.txt
- Да Оператор сообщает, что бот соблюдает robots.txt.
- Описан оператором
- Да, на страницах самого оператора.
- Опубликованный список IP-адресов
- developers.google.com/static/search/apis/ipranges/googlebot.json
- Документация
- developers.google.com
Чтобы запретить использование страниц для обучения Gemini, не отключая их в Search, запретите доступ Google-Extended, а не Googlebot.
Заблокировать Googlebot на всём сайте
User-agent: Googlebot
Disallow: /
Разрешить доступ, но закрыть приватные пути
User-agent: Googlebot
Allow: /
Disallow: /admin/
Другие боты от Google
Google-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-AgentGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
Добавить в генератор robots.txt →