GPTBot là gì?

Crawler của OpenAI dùng để thu thập các trang công khai có thể được sử dụng để huấn luyện model. OpenAI cho biết bot này tuân thủ robots.txt và công bố các dải IP của mình.

Token robots.txt

GPTBot

Nhà vận hành

OpenAI

Mục đích

Huấn luyện

Tuân theo robots.txt

●Có Nhà vận hành cho biết bot này tuân thủ robots.txt.

Có tài liệu từ nhà vận hành

Có, trên các trang của chính nhà vận hành.

Danh sách IP được công bố

openai.com/gptbot.json

Tài liệu

platform.openai.com

Chặn GPTBot không ảnh hưởng đến ChatGPT search hoặc các yêu cầu tải trang theo yêu cầu của người dùng; những yêu cầu này đến từ OAI-SearchBot và ChatGPT-User.

Chặn GPTBot trên toàn bộ trang web

User-agent: GPTBot
Disallow: /

Cho phép bot này, nhưng không cho truy cập các đường dẫn riêng tư

User-agent: GPTBot
Allow: /
Disallow: /admin/

Các bot khác của OpenAI

Thêm bot này vào robots.txt trong trình tạo →