[{"data":1,"prerenderedAt":197},["ShallowReactive",2],{"copy:vi:site:":3,"copy:vi:agentweb:robots,ui":123,"copy:vi:site:common":195},{"common":4,"nav":16,"footer":44,"home":51,"error":116},{"skip":5,"menu":6,"language":7,"sections":8,"footer":9,"tool":10,"home":11,"breadcrumbs":12,"copy":13,"copied":14,"download":15},"Chuyển đến nội dung","Menu","Ngôn ngữ","Mục","Chân trang","công cụ","Trang chủ","Đường dẫn điều hướng","Sao chép","Đã sao chép","Tải xuống",{"groups":17,"items":25},{"build":18,"connect":19,"instruct":20,"run":21,"web":22,"secure":23,"track":24},"Xây dựng","Kết nối","Hướng dẫn","Chạy","Mở website của bạn","Bảo mật","Theo dõi",{"models":26,"cost":27,"frameworks":28,"mcp":29,"mcpConfig":30,"mcpClients":31,"agentsMd":32,"files":33,"openclaw":34,"agentReady":35,"llmsTxt":36,"robotsTxt":37,"apiCatalog":38,"bots":39,"security":40,"incidents":41,"checklist":42,"changelog":43},"Model và giá API","Máy tính chi phí agent","Framework và SDK","MCP server","Trình tạo cấu hình MCP","Client MCP","Trình tạo AGENTS.md","Tệp hướng dẫn","Tự host OpenClaw","Website sẵn sàng cho agent","Trình tạo llms.txt","robots.txt cho bot AI","Trình tạo danh mục API","Danh mục bot AI","Bảo mật agent","Nhật ký sự cố","Danh sách kiểm tra bảo mật","Nhật ký thay đổi",{"about":45,"privacy":46,"terms":47,"sitemap":48,"disclaimer":49,"checked":50},"Giới thiệu","Quyền riêng tư","Điều khoản","Sơ đồ trang","Tài liệu tham khảo độc lập dành cho những người xây dựng AI agent. Không liên kết với bất kỳ nhà cung cấp nào được nêu ở đây.","Dữ liệu được kiểm tra ngày {date}",{"seo":52,"eyebrow":55,"title":56,"lead":57,"ctaMcp":58,"ctaCost":59,"ctaAgents":60,"sheetLabel":61,"sheetTitle":62,"sheet":63,"sheetNote":70,"sectionsTitle":71,"sections":72,"latestTitle":99,"allChanges":100,"rulesTitle":101,"rules":102,"aboutLink":115},{"title":53,"description":54},"DotsAgent: tài liệu tham khảo và công cụ xây dựng AI agent","Giá API LLM, công cụ tính chi phí agent, cấu hình MCP cho 13 client, trình tạo AGENTS.md và llms.txt, cùng ghi chú về bảo mật agent. Miễn phí, có 18 ngôn ngữ.","Dành cho nhà phát triển xây dựng AI agent","Cẩm nang tra cứu cho người xây dựng agent","Giá cả, giao thức, tệp cấu hình và ghi chú bảo mật dành cho công việc với agent, tất cả đều được đối chiếu với tài liệu của nhà cung cấp. Tra cứu thông tin, tạo tệp bạn cần rồi quay lại với code.","Tạo cấu hình MCP","Tính giá tác vụ của agent","Soạn AGENTS.md","Số liệu hiện tại","Tình hình hệ sinh thái",{"mcp":64,"openclaw":65,"cheapest":66,"models":67,"servers":68,"bots":69},"Đặc tả MCP","OpenClaw","Model rẻ nhất, $\u002FM đầu vào\u002Fđầu ra","Model đã có giá","Máy chủ MCP","Bot AI được theo dõi","Mỗi số liệu đều được kiểm tra thủ công với tài liệu của nhà cung cấp.","Có gì trên trang",{"models":73,"mcp":77,"instructions":80,"frameworks":83,"openclaw":86,"agentReady":89,"security":92,"changelog":95},{"title":74,"body":75,"unit":76},"Model và giá","So sánh giá token đầu vào, đầu ra và token được cache trên mỗi triệu token, kèm công cụ tính chi phí cho toàn bộ lượt chạy của agent.","model",{"title":68,"body":78,"unit":79},"Danh mục máy chủ Model Context Protocol và công cụ tạo cấu hình, ghi đúng tệp cho từng client.","máy chủ",{"title":33,"body":81,"unit":82},"Tạo AGENTS.md và xem từng công cụ đọc CLAUDE.md, .cursor\u002Frules và các tệp tương tự như thế nào.","định dạng tệp",{"title":28,"body":84,"unit":85},"So sánh framework agent và SDK của nhà cung cấp theo ngôn ngữ, giấy phép, khả năng hỗ trợ MCP và tính năng đa agent.","framework",{"title":34,"body":87,"unit":88},"Cài đặt, cấu hình và cập nhật OpenClaw trên máy hoặc máy chủ của bạn theo từng bước.","bản phát hành hiện tại",{"title":35,"body":90,"unit":91},"Tạo llms.txt, quy tắc robots.txt cho crawler AI và api-catalog; tra cứu mọi bot bằng user agent.","bot được liệt kê",{"title":40,"body":93,"unit":94},"Các rủi ro OWASP đối với agent, nhật ký sự cố thực tế và checklist để bạn rà soát trước khi ra mắt.","sự cố được ghi nhận",{"title":96,"body":97,"unit":98},"Nhật ký thay đổi API","Các thay đổi có ghi ngày đối với API model, SDK và giao thức, mỗi mục đều liên kết đến thông báo của nhà cung cấp.","mục","Thay đổi mới nhất","Tất cả thay đổi","Cách chúng tôi đảm bảo độ chính xác",[103,106,109,112],{"title":104,"body":105},"Thông tin có nguồn.","Mỗi mức giá, phiên bản và flag đều liên kết đến trang của nhà cung cấp mà thông tin đó lấy từ đó, để bạn tự kiểm tra.",{"title":107,"body":108},"Kiểm tra có ghi ngày.","Mỗi trang cho biết thời điểm thông tin được kiểm tra lần cuối. Các mục đã cũ sẽ được kiểm tra lại hoặc gỡ bỏ.",{"title":110,"body":111},"Không trả phí để được ưu tiên.","Không ai phải trả tiền để được liệt kê, xếp hạng cao hơn hoặc mô tả ưu ái hơn.",{"title":113,"body":114},"Công cụ chạy trên trình duyệt của bạn.","Các công cụ tạo và máy tính chạy cục bộ; nội dung bạn nhập không được gửi đến máy chủ.","Giới thiệu về DotsAgent",{"title":117,"body":118,"home":119,"popular":120,"failed":121,"failedBody":122},"Không tìm thấy trang","Địa chỉ này không khớp với trang nào. Trang có thể đã được chuyển đi hoặc liên kết có thể bị sai.","Về trang chủ","Công cụ phổ biến","Đã xảy ra lỗi","Đã xảy ra lỗi khi tải trang từ phía chúng tôi. Hãy thử lại sau một phút hoặc bắt đầu từ trang chủ.",{"robots":124,"ui":187},{"seo":125,"crumb":37,"eyebrow":128,"title":129,"lead":130,"form":131,"presets":140,"purposeNotes":144,"comments":149,"signalNote":153,"limits":154,"botsLink":155,"explainTitle":156,"explain":157,"faqTitle":170,"faq":171},{"title":126,"description":127},"Tạo robots.txt cho crawler và agent AI","Tạo robots.txt để từ chối AI dùng dữ liệu huấn luyện nhưng vẫn cho phép tìm kiếm: 35 bot token được nhóm theo mục đích, các dòng Content-Signal, đường dẫn riêng tư và dòng sitemap.","Mở trang web · công cụ tạo","Tạo robots.txt cho bot AI","Chọn chính sách cho từng loại bot AI, đặt ngoại lệ cho từng crawler rồi sao chép tệp tuân thủ RFC 9309. Bot dùng để huấn luyện, tìm kiếm và tải nội dung theo yêu cầu của người dùng có token riêng, nên bạn có thể từ chối loại này và cho phép loại khác.",{"preset":132,"allow":133,"block":134,"tapHint":135,"unset":136,"disallow":137,"disallowHint":138,"sitemap":139},"Bắt đầu từ","Cho phép","Chặn","Nhấn vào bot để đổi thiết lập so với thiết lập của nhóm.","chưa đặt","Đường dẫn riêng tư","Mỗi dòng một đường dẫn. Các bot được phép và mọi crawler khác đều bị chặn khỏi những đường dẫn này.","URL sitemap",{"open":141,"noTraining":142,"closed":143},"Cho phép tất cả","Chỉ chặn huấn luyện","Chặn tất cả bot AI",{"training":145,"search":146,"user":147,"agent":148},"Chặn các bot này sẽ từ chối cho các đơn vị vận hành tương ứng dùng trang của bạn để huấn luyện model, đồng thời không ảnh hưởng đến kết quả tìm kiếm.","Chặn các bot này cũng chặn Googlebot và Applebot, khiến trang web của bạn không xuất hiện trong Google Search và kết quả của Siri, Spotlight và Safari của Apple.","Các bot này tải trang theo yêu cầu của người dùng. Một số nhà vận hành cho biết robots.txt có thể không áp dụng, vì vậy chặn tại đây chỉ là yêu cầu, không phải bảo đảm.","Google-Agent thường bỏ qua robots.txt và hầu hết agent duyệt web không có token riêng, nên nhóm này ít tạo khác biệt trong thực tế.",{"blocked":150,"allowed":151,"everyone":152},"Đã chặn crawler AI trên toàn bộ trang web","Cho phép crawler AI, ngoại trừ các đường dẫn riêng tư","Tất cả crawler khác","Content-Signal cho biết các trang được tải có thể được dùng như thế nào: search cho kết quả tìm kiếm, ai-input để tạo câu trả lời bằng AI và ai-train để huấn luyện model. Tín hiệu này dựa trên chính sách CC0 của Cloudflare, nêu rõ lựa chọn ưu tiên nhưng không chặn bất kỳ hoạt động nào.","robots.txt hoạt động theo nguyên tắc tự nguyện. ChatGPT-User, Perplexity-User và các bot khác được kích hoạt theo yêu cầu của người dùng cho biết các quy tắc có thể không áp dụng với họ; một số agent thậm chí không có token. Để thực thi việc chặn, hãy đối chiếu request với danh sách IP hoặc chữ ký đã công bố, rồi từ chối chúng tại firewall hoặc WAF.","Xem toàn bộ bot trong danh bạ","Cách tệp được tạo hoạt động",[158,161,164,167],{"title":159,"body":160},"Crawler tuân theo nhóm riêng","Crawler tìm thấy token của mình trong dòng User-agent sẽ tuân theo nhóm đó và bỏ qua các quy tắc bên dưới User-agent: *. Vì vậy, trình tạo lặp lại các đường dẫn riêng tư cho những bot được cho phép theo tên, đồng thời đặt một quy tắc Disallow: \u002F duy nhất cho các bot bị chặn.",{"title":162,"body":163},"Một số token không trực tiếp crawl","Google-Extended và Applebot-Extended không có user agent riêng. Googlebot và Applebot thực hiện việc tải trang; các token mở rộng cho Google và Apple biết liệu nội dung đó có thể được dùng để huấn luyện model hay không. Google cũng áp dụng Google-Extended cho việc grounding trong Gemini.",{"title":165,"body":166},"Hầu hết nhà vận hành tách riêng việc huấn luyện và tìm kiếm","OpenAI, Anthropic, Amazon và Mistral đều dùng token riêng cho việc huấn luyện và tìm kiếm, vì vậy preset No training vẫn cho phép nội dung xuất hiện trong các sản phẩm tìm kiếm của họ. Meta là ngoại lệ: meta-externalagent dùng cho cả huấn luyện lẫn lập chỉ mục.",{"title":168,"body":169},"Applebot dùng quy tắc của Googlebot nếu không có nhóm riêng","Apple cho biết nếu tệp của bạn không có nhóm Applebot, Applebot sẽ tuân theo quy tắc Googlebot. Applebot cũng bỏ qua Crawl-delay, tương tự Amazonbot, trong khi Anthropic cho biết ClaudeBot tuân thủ quy tắc này.","Câu hỏi về robots.txt và bot AI",[172,175,178,181,184],{"q":173,"a":174},"Làm cách nào chặn GPTBot mà vẫn xuất hiện trong tìm kiếm ChatGPT?","Đặt Disallow cho GPTBot và vẫn cho phép OAI-SearchBot. GPTBot thu thập dữ liệu huấn luyện, OAI-SearchBot lập chỉ mục trang cho tính năng tìm kiếm của ChatGPT, còn ChatGPT-User xử lý các lượt tải trang theo yêu cầu của người dùng. OpenAI mô tả cả ba trên cùng một trang, mỗi bot có danh sách IP riêng.",{"q":176,"a":177},"Chặn Google-Extended có khiến trang web của tôi biến mất khỏi Google Search không?","Google-Extended là token điều khiển, không có user agent riêng; Googlebot mới là bot crawl. Đặt Disallow cho token này sẽ yêu cầu Google không dùng nội dung của bạn để huấn luyện và grounding cho Gemini, còn quy tắc Googlebot sẽ quyết định những gì được crawl cho Search.",{"q":179,"a":180},"Crawler AI có tuân thủ Crawl-delay không?","Một số có. Anthropic cho biết ClaudeBot tuân thủ quy tắc này, còn Apple và Amazon cho biết Applebot và Amazonbot thì không. Giới hạn tốc độ ở máy chủ là lựa chọn đáng tin cậy hơn.",{"q":182,"a":183},"Tại sao ChatGPT-User vẫn truy cập sau khi tôi chặn bot này?","OpenAI cho biết quy tắc robots.txt có thể không áp dụng với ChatGPT-User vì bot này tải trang theo yêu cầu của người dùng. Perplexity-User, Amzn-User và meta-externalfetcher cũng có lưu ý tương tự. Nếu nhà vận hành công bố danh sách IP, hãy đối chiếu request với danh sách đó và chặn tại firewall.",{"q":185,"a":186},"Content-Signal trong robots.txt có tác dụng gì?","Nội dung này nêu cách sử dụng nội dung sau khi được truy xuất, thông qua ba tín hiệu: search, ai-input và ai-train, mỗi tín hiệu được đặt thành yes hoặc no. Đây chỉ là lựa chọn ưu tiên, không chặn bất cứ điều gì. Cloudflare's Markdown for Agents mặc định thêm ai-train=yes, search=yes, ai-input=yes, vì vậy hãy kiểm tra kết quả nếu bạn dùng tính năng này.",{"crumb":35,"purposes":188,"sources":194},{"training":189,"search":190,"user":191,"agent":192,"ads":193},"Huấn luyện","Tìm kiếm","Lượt tải từ người dùng","Agent","Quảng cáo","Nguồn",{"common":196},{"skip":5,"menu":6,"language":7,"sections":8,"footer":9,"tool":10,"home":11,"breadcrumbs":12,"copy":13,"copied":14,"download":15},1790863392804]