dotsagent.io
Ngôn ngữ:Tiếng Việt
Google · Huấn luyện

GoogleOther là gì?

Crawler đa dụng của Google, dùng để thu thập dữ liệu cho nghiên cứu và phát triển bên ngoài Search. Bot tuân theo robots.txt và dùng chung danh sách IP crawler.

Token robots.txt
GoogleOther
Nhà vận hành
Google
Mục đích
Huấn luyện
Tuân theo robots.txt
Có Nhà vận hành cho biết bot này tuân thủ robots.txt.
Có tài liệu từ nhà vận hành
Có, trên các trang của chính nhà vận hành.
Danh sách IP được công bố
developers.google.com/static/crawling/ipranges/common-crawlers.json
Tài liệu
developers.google.com

Chặn GoogleOther trên toàn bộ trang web

robots.txt
User-agent: GoogleOther
Disallow: /

Cho phép bot này, nhưng không cho truy cập các đường dẫn riêng tư

robots.txt
User-agent: GoogleOther
Allow: /
Disallow: /admin/

Các bot khác của Google

Thêm bot này vào robots.txt trong trình tạo →

Nguồn

  1. developers.google.com/search/docs/crawling-indexing/google-common-crawlers