Google-CloudVertexBot là gì?

Thu thập dữ liệu trang web khi chủ sở hữu yêu cầu Google thực hiện việc này để xây dựng Vertex AI Agents. Bot tuân theo robots.txt và sử dụng các dải IP crawler phổ biến của Google.

Token robots.txt

Google-CloudVertexBot

Nhà vận hành

Google

Mục đích

Tìm kiếm

Tuân theo robots.txt

●Có Nhà vận hành cho biết bot này tuân thủ robots.txt.

Có tài liệu từ nhà vận hành

Có, trên các trang của chính nhà vận hành.

Danh sách IP được công bố

developers.google.com/static/crawling/ipranges/common-crawlers.json

Tài liệu

developers.google.com

Chặn Google-CloudVertexBot trên toàn bộ trang web

User-agent: Google-CloudVertexBot
Disallow: /

Cho phép bot này, nhưng không cho truy cập các đường dẫn riêng tư

User-agent: Google-CloudVertexBot
Allow: /
Disallow: /admin/

Các bot khác của Google

Thêm bot này vào robots.txt trong trình tạo →