[{"data":1,"prerenderedAt":200},["ShallowReactive",2],{"copy:id:site:":3,"copy:id:agentweb:robots,ui":125,"copy:id:site:common":198},{"common":4,"nav":16,"footer":44,"home":51,"error":118},{"skip":5,"menu":6,"language":7,"sections":8,"footer":9,"tool":10,"home":11,"breadcrumbs":12,"copy":13,"copied":14,"download":15},"Lewati ke konten","Menu","Bahasa","Bagian","Footer","alat","Beranda","Breadcrumb","Salin","Disalin","Unduh",{"groups":17,"items":25},{"build":18,"connect":19,"instruct":20,"run":21,"web":22,"secure":23,"track":24},"Bangun","Hubungkan","Beri instruksi","Jalankan","Buka situs Anda","Amankan","Lacak",{"models":26,"cost":27,"frameworks":28,"mcp":29,"mcpConfig":30,"mcpClients":31,"agentsMd":32,"files":33,"openclaw":34,"agentReady":35,"llmsTxt":36,"robotsTxt":37,"apiCatalog":38,"bots":39,"security":40,"incidents":41,"checklist":42,"changelog":43},"Model dan harga API","Kalkulator biaya agent","Framework dan SDK","Server MCP","Generator konfigurasi MCP","Klien MCP","Generator AGENTS.md","File instruksi","Self-host OpenClaw","Situs web siap untuk agent","Generator llms.txt","robots.txt untuk bot AI","Generator katalog API","Direktori bot AI","Keamanan agen","Log insiden","Daftar periksa keamanan","Log perubahan",{"about":45,"privacy":46,"terms":47,"sitemap":48,"disclaimer":49,"checked":50},"Tentang","Privasi","Ketentuan","Peta situs","Referensi independen bagi mereka yang membangun agen AI. Tidak berafiliasi dengan vendor mana pun yang disebutkan di sini.","Fakta diperiksa {date}",{"seo":52,"eyebrow":55,"title":56,"lead":57,"ctaMcp":58,"ctaCost":59,"ctaAgents":60,"sheetLabel":61,"sheetTitle":62,"sheet":63,"sheetNote":69,"sectionsTitle":70,"sections":71,"latestTitle":101,"allChanges":102,"rulesTitle":103,"rules":104,"aboutLink":117},{"title":53,"description":54},"DotsAgent: referensi dan alat untuk membangun agen AI","Harga API LLM, kalkulator biaya agen, konfigurasi MCP untuk 13 klien, generator AGENTS.md dan llms.txt, serta catatan keamanan agen. Gratis, tersedia dalam 18 bahasa.","Untuk developer yang membangun agen AI","Referensi praktis untuk pembuat agen","Harga, protokol, file konfigurasi, dan catatan keamanan untuk pekerjaan agen, semuanya diverifikasi berdasarkan dokumentasi vendor. Cari fakta, buat file yang Anda perlukan, lalu kembali ke kode Anda.","Buat konfigurasi MCP","Hitung biaya tugas agen","Tulis AGENTS.md","Angka terkini","Kondisi stack",{"mcp":64,"openclaw":65,"cheapest":66,"models":67,"servers":29,"bots":68},"Spesifikasi MCP","OpenClaw","Model termurah, $\u002FM masuk\u002Fkeluar","Model dengan harga","Bot AI yang dipantau","Setiap angka diperiksa secara manual berdasarkan dokumentasi vendor.","Isi situs",{"models":72,"mcp":76,"instructions":79,"frameworks":82,"openclaw":85,"agentReady":89,"security":93,"changelog":97},{"title":73,"body":74,"unit":75},"Model dan harga","Harga token input, output, dan cache per sejuta token, ditampilkan berdampingan, dengan kalkulator untuk menghitung seluruh proses agent.","model",{"title":29,"body":77,"unit":78},"Katalog server Model Context Protocol dan generator konfigurasi yang membuat file yang tepat untuk setiap klien.","server",{"title":33,"body":80,"unit":81},"Tulis AGENTS.md dan lihat cara setiap tool membaca CLAUDE.md, .cursor\u002Frules, dan file serupa.","format file",{"title":28,"body":83,"unit":84},"Bandingkan framework agent dan SDK vendor berdasarkan bahasa, lisensi, dukungan MCP, dan fitur multi-agent.","framework",{"title":86,"body":87,"unit":88},"Host OpenClaw sendiri","Instal, konfigurasi, dan perbarui OpenClaw di komputer atau server Anda sendiri, langkah demi langkah.","rilis terbaru",{"title":90,"body":91,"unit":92},"Situs yang siap untuk agent","Buat llms.txt, aturan robots.txt untuk crawler AI, dan api-catalog, serta cari bot apa pun berdasarkan user agent.","bot terdaftar",{"title":94,"body":95,"unit":96},"Keamanan agent","Risiko OWASP untuk agent, catatan insiden nyata, dan checklist yang dapat Anda centang sebelum peluncuran.","insiden tercatat",{"title":98,"body":99,"unit":100},"Changelog API","Perubahan bertanggal pada API model, SDK, dan protokol, masing-masing ditautkan ke pengumuman vendor.","entri","Perubahan terbaru","Semua perubahan","Cara kami menjaga keakuratan",[105,108,111,114],{"title":106,"body":107},"Fakta bersumber.","Setiap harga, versi, dan flag tertaut ke halaman vendor sebagai sumbernya, sehingga Anda bisa memeriksanya sendiri.",{"title":109,"body":110},"Pemeriksaan bertanggal.","Setiap halaman menampilkan kapan faktanya terakhir diperiksa. Entri yang sudah usang akan diperiksa ulang atau dihapus.",{"title":112,"body":113},"Tanpa penempatan berbayar.","Tidak ada yang membayar agar tercantum, mendapat peringkat lebih tinggi, atau dideskripsikan dengan lebih baik.",{"title":115,"body":116},"Tool berjalan di browser Anda.","Generator dan kalkulator bekerja secara lokal, dan apa yang Anda ketik tidak dikirim ke server.","Tentang DotsAgent",{"title":119,"body":120,"home":121,"popular":122,"failed":123,"failedBody":124},"Halaman tidak ditemukan","Alamat ini tidak cocok dengan halaman mana pun. Halamannya mungkin sudah dipindahkan, atau tautannya mungkin salah ketik.","Buka halaman beranda","Tool populer","Terjadi kesalahan","Halaman gagal dimuat di sisi kami. Coba lagi sebentar lagi, atau mulai dari halaman beranda.",{"robots":126,"ui":189},{"seo":127,"crumb":37,"eyebrow":130,"title":131,"lead":132,"form":133,"presets":142,"purposeNotes":146,"comments":151,"signalNote":155,"limits":156,"botsLink":157,"explainTitle":158,"explain":159,"faqTitle":172,"faq":173},{"title":128,"description":129},"Generator robots.txt untuk crawler dan agen AI","Buat robots.txt yang menolak pelatihan AI tetapi tetap mengizinkan pencarian: 35 token bot dikelompokkan berdasarkan tujuan, baris Content-Signal, path privat, dan baris sitemap.","Buka situs Anda · generator","Generator robots.txt untuk bot AI","Pilih kebijakan untuk tiap jenis bot AI, atur pengecualian untuk crawler tertentu, lalu salin file yang sesuai dengan RFC 9309. Pelatihan, pencarian, dan pengambil konten atas permintaan pengguna menggunakan token yang berbeda, jadi Anda bisa menolak satu jenis dan mengizinkan jenis lainnya.",{"preset":134,"allow":135,"block":136,"tapHint":137,"unset":138,"disallow":139,"disallowHint":140,"sitemap":141},"Mulai dari","Izinkan","Blokir","Ketuk bot untuk membalik statusnya dibandingkan dengan setelan grup.","belum diatur","Path privat","Satu path per baris. Bot yang diizinkan dan semua crawler lainnya tidak dapat mengakses path ini.","URL sitemap",{"open":143,"noTraining":144,"closed":145},"Izinkan semuanya","Blokir pelatihan saja","Blokir semua bot AI",{"training":147,"search":148,"user":149,"agent":150},"Dengan memblokir bot ini, Anda mengecualikan halaman dari pelatihan model oleh operator tersebut tanpa memengaruhi hasil pencarian.","Memblokir bot ini juga memblokir Googlebot dan Applebot, sehingga situs Anda tidak muncul di Google Search maupun hasil Siri, Spotlight, dan Safari dari Apple.","Bot ini mengambil halaman atas permintaan seseorang. Beberapa operator menyatakan bahwa robots.txt mungkin tidak berlaku, jadi pemblokiran di sini merupakan permintaan, bukan jaminan.","Google-Agent umumnya mengabaikan robots.txt dan sebagian besar agen penjelajah tidak memiliki token sama sekali, jadi grup ini tidak banyak berpengaruh dalam praktiknya.",{"blocked":152,"allowed":153,"everyone":154},"Crawler AI yang diblokir dari seluruh situs","Crawler AI yang diizinkan, tidak termasuk path privat","Semua crawler lainnya","Content-Signal menyatakan cara halaman yang diambil boleh digunakan: search untuk hasil pencarian, ai-input untuk menghasilkan jawaban AI, dan ai-train untuk melatih model. Kebijakan ini berasal dari Cloudflare dan berlisensi CC0. Content-Signal menyatakan preferensi tanpa memblokir apa pun.","robots.txt bersifat sukarela. ChatGPT-User, Perplexity-User, dan pengambil halaman lain yang dipicu pengguna menyatakan bahwa aturan ini mungkin tidak berlaku bagi mereka, dan beberapa agen sama sekali tidak memiliki token. Untuk memastikan pemblokiran, cocokkan permintaan dengan daftar IP atau signature yang dipublikasikan, lalu tolak permintaan tersebut di firewall atau WAF.","Lihat semua bot di direktori","Cara kerja file yang dihasilkan",[160,163,166,169],{"title":161,"body":162},"Crawler mengikuti grupnya sendiri","Crawler yang menemukan tokennya di baris User-agent akan mengikuti grup tersebut dan mengabaikan aturan di bawah User-agent: *. Karena itu, generator mengulang path privat untuk bot yang Anda izinkan berdasarkan namanya, dan memberikan satu Disallow: \u002F untuk bot yang diblokir.",{"title":164,"body":165},"Sebagian token tidak melakukan crawling","Google-Extended dan Applebot-Extended tidak memiliki user agent sendiri. Googlebot dan Applebot yang mengambil halaman, sedangkan token extended memberi tahu Google dan Apple apakah konten tersebut boleh digunakan untuk melatih model mereka. Google juga menerapkan Google-Extended untuk grounding Gemini.",{"title":167,"body":168},"Sebagian besar operator memisahkan pelatihan dan pencarian","OpenAI, Anthropic, Amazon, dan Mistral masing-masing menggunakan token terpisah untuk pelatihan dan pencarian, sehingga preset Tanpa pelatihan tetap memungkinkan Anda muncul di produk pencarian mereka. Meta menjadi pengecualian: meta-externalagent mencakup pelatihan dan pengindeksan.",{"title":170,"body":171},"Applebot menggunakan aturan Googlebot jika tidak ada aturan khusus","Jika file Anda tidak memiliki grup Applebot, Apple menyatakan bahwa Applebot akan mengikuti aturan Googlebot. Applebot juga mengabaikan Crawl-delay, begitu pula Amazonbot, sedangkan Anthropic menyatakan bahwa ClaudeBot mematuhinya.","Pertanyaan tentang robots.txt dan bot AI",[174,177,180,183,186],{"q":175,"a":176},"Bagaimana cara memblokir GPTBot tetapi tetap muncul di pencarian ChatGPT?","Tambahkan Disallow untuk GPTBot dan biarkan OAI-SearchBot tetap diizinkan. GPTBot mengumpulkan data pelatihan, OAI-SearchBot mengindeks halaman untuk pencarian ChatGPT, dan ChatGPT-User menangani pengambilan halaman atas permintaan seseorang. OpenAI mendokumentasikan ketiganya di satu halaman, masing-masing dengan daftar IP sendiri.",{"q":178,"a":179},"Apakah memblokir Google-Extended akan menghapus situs saya dari Google Search?","Google-Extended adalah token kontrol yang tidak memiliki user agent sendiri; Googlebot yang melakukan crawling. Menambahkan Disallow untuknya memberi tahu Google agar tidak menggunakan konten Anda untuk pelatihan dan grounding Gemini, sedangkan aturan Googlebot menentukan halaman yang di-crawl untuk Search.",{"q":181,"a":182},"Apakah crawler AI mematuhi Crawl-delay?","Sebagian mematuhinya. Anthropic menyatakan bahwa ClaudeBot mematuhi Crawl-delay, sedangkan Apple dan Amazon menyatakan bahwa Applebot dan Amazonbot tidak mematuhinya. Pembatasan laju di server Anda adalah opsi yang dapat diandalkan.",{"q":184,"a":185},"Mengapa ChatGPT-User masih mengunjungi situs saya setelah saya memblokirnya?","OpenAI menyatakan bahwa aturan robots.txt mungkin tidak berlaku untuk ChatGPT-User karena halaman tersebut diminta oleh seseorang. Perplexity-User, Amzn-User, dan meta-externalfetcher memiliki pengecualian serupa. Jika operator memublikasikan daftar IP, cocokkan permintaan dengan daftar tersebut dan blokirnya di firewall.",{"q":187,"a":188},"Apa fungsi Content-Signal di robots.txt?","Ini menyatakan bagaimana konten boleh digunakan setelah diambil, melalui tiga sinyal: search, ai-input, dan ai-train, yang masing-masing bernilai yes atau no. Sinyal ini menyatakan preferensi dan tidak memblokir apa pun. Markdown for Agents dari Cloudflare menambahkan ai-train=yes, search=yes, ai-input=yes secara default. Jadi, periksa hasilnya jika Anda menggunakan fitur tersebut.",{"crumb":190,"purposes":191,"sources":197},"Situs yang siap digunakan agen",{"training":192,"search":193,"user":194,"agent":195,"ads":196},"Pelatihan","Pencarian","Pengambilan oleh pengguna","Agen","Iklan","Sumber",{"common":199},{"skip":5,"menu":6,"language":7,"sections":8,"footer":9,"tool":10,"home":11,"breadcrumbs":12,"copy":13,"copied":14,"download":15},1790863389969]