Google · Tìm kiếm
Googlebot là gì?
Crawler chính của Google cho Google Search. Bot này tuân thủ robots.txt và Google công bố các dải IP của mình.
- Token robots.txt
Googlebot- Nhà vận hành
- Mục đích
- Tìm kiếm
- Tuân theo robots.txt
- Có Nhà vận hành cho biết bot này tuân thủ robots.txt.
- Có tài liệu từ nhà vận hành
- Có, trên các trang của chính nhà vận hành.
- Danh sách IP được công bố
- developers.google.com/static/search/apis/ipranges/googlebot.json
- Tài liệu
- developers.google.com
Để từ chối việc dùng dữ liệu huấn luyện Gemini mà không rời khỏi Search, hãy chặn Google-Extended thay vì Googlebot.
Chặn Googlebot trên toàn bộ trang web
User-agent: Googlebot
Disallow: /
Cho phép bot này, nhưng không cho truy cập các đường dẫn riêng tư
User-agent: Googlebot
Allow: /
Disallow: /admin/
Các bot khác của Google
Google-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-AgentGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
Thêm bot này vào robots.txt trong trình tạo →