Google · Agent
Google-Agent là gì?
Tải trang cho các agent chạy trên hạ tầng Google khi người dùng yêu cầu chúng thực hiện tác vụ. Google cho biết các trình tải trang do người dùng kích hoạt thường bỏ qua robots.txt.
- Token robots.txt
Google-Agent- Nhà vận hành
- Mục đích
- Agent
- Tuân theo robots.txt
- Không Nhà vận hành cho biết robots.txt có thể không áp dụng, hoặc cộng đồng báo cáo rằng bot này bỏ qua tệp đó.
- Có tài liệu từ nhà vận hành
- Có, trên các trang của chính nhà vận hành.
- Danh sách IP được công bố
- developers.google.com/static/crawling/ipranges/user-triggered-agents.json
- Tài liệu
- developers.google.com
Google đang thử nghiệm danh tính Web Bot Auth https://agent.bot.goog cho các yêu cầu này.
Chặn Google-Agent trên toàn bộ trang web
User-agent: Google-Agent
Disallow: /
Cho phép bot này, nhưng không cho truy cập các đường dẫn riêng tư
User-agent: Google-Agent
Allow: /
Disallow: /admin/
Bot này tải trang theo yêu cầu của một người hoặc một agent thay mặt họ. Một số nhà vận hành cho biết robots.txt có thể không áp dụng cho các yêu cầu như vậy, vì thế hãy kiểm tra dòng trên và chặn ở firewall nếu cần.
Các bot khác của Google
GooglebotGoogle-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner
Thêm bot này vào robots.txt trong trình tạo →