[{"data":1,"prerenderedAt":193},["ShallowReactive",2],{"copy:id:site:":3,"copy:id:agentweb:bots,ui":125,"copy:id:site:common":191},{"common":4,"nav":16,"footer":44,"home":51,"error":118},{"skip":5,"menu":6,"language":7,"sections":8,"footer":9,"tool":10,"home":11,"breadcrumbs":12,"copy":13,"copied":14,"download":15},"Lewati ke konten","Menu","Bahasa","Bagian","Footer","alat","Beranda","Breadcrumb","Salin","Disalin","Unduh",{"groups":17,"items":25},{"build":18,"connect":19,"instruct":20,"run":21,"web":22,"secure":23,"track":24},"Bangun","Hubungkan","Beri instruksi","Jalankan","Buka situs Anda","Amankan","Lacak",{"models":26,"cost":27,"frameworks":28,"mcp":29,"mcpConfig":30,"mcpClients":31,"agentsMd":32,"files":33,"openclaw":34,"agentReady":35,"llmsTxt":36,"robotsTxt":37,"apiCatalog":38,"bots":39,"security":40,"incidents":41,"checklist":42,"changelog":43},"Model dan harga API","Kalkulator biaya agent","Framework dan SDK","Server MCP","Generator konfigurasi MCP","Klien MCP","Generator AGENTS.md","File instruksi","Self-host OpenClaw","Situs web siap untuk agent","Generator llms.txt","robots.txt untuk bot AI","Generator katalog API","Direktori bot AI","Keamanan agen","Log insiden","Daftar periksa keamanan","Log perubahan",{"about":45,"privacy":46,"terms":47,"sitemap":48,"disclaimer":49,"checked":50},"Tentang","Privasi","Ketentuan","Peta situs","Referensi independen bagi mereka yang membangun agen AI. Tidak berafiliasi dengan vendor mana pun yang disebutkan di sini.","Fakta diperiksa {date}",{"seo":52,"eyebrow":55,"title":56,"lead":57,"ctaMcp":58,"ctaCost":59,"ctaAgents":60,"sheetLabel":61,"sheetTitle":62,"sheet":63,"sheetNote":69,"sectionsTitle":70,"sections":71,"latestTitle":101,"allChanges":102,"rulesTitle":103,"rules":104,"aboutLink":117},{"title":53,"description":54},"DotsAgent: referensi dan alat untuk membangun agen AI","Harga API LLM, kalkulator biaya agen, konfigurasi MCP untuk 13 klien, generator AGENTS.md dan llms.txt, serta catatan keamanan agen. Gratis, tersedia dalam 18 bahasa.","Untuk developer yang membangun agen AI","Referensi praktis untuk pembuat agen","Harga, protokol, file konfigurasi, dan catatan keamanan untuk pekerjaan agen, semuanya diverifikasi berdasarkan dokumentasi vendor. Cari fakta, buat file yang Anda perlukan, lalu kembali ke kode Anda.","Buat konfigurasi MCP","Hitung biaya tugas agen","Tulis AGENTS.md","Angka terkini","Kondisi stack",{"mcp":64,"openclaw":65,"cheapest":66,"models":67,"servers":29,"bots":68},"Spesifikasi MCP","OpenClaw","Model termurah, $\u002FM masuk\u002Fkeluar","Model dengan harga","Bot AI yang dipantau","Setiap angka diperiksa secara manual berdasarkan dokumentasi vendor.","Isi situs",{"models":72,"mcp":76,"instructions":79,"frameworks":82,"openclaw":85,"agentReady":89,"security":93,"changelog":97},{"title":73,"body":74,"unit":75},"Model dan harga","Harga token input, output, dan cache per sejuta token, ditampilkan berdampingan, dengan kalkulator untuk menghitung seluruh proses agent.","model",{"title":29,"body":77,"unit":78},"Katalog server Model Context Protocol dan generator konfigurasi yang membuat file yang tepat untuk setiap klien.","server",{"title":33,"body":80,"unit":81},"Tulis AGENTS.md dan lihat cara setiap tool membaca CLAUDE.md, .cursor\u002Frules, dan file serupa.","format file",{"title":28,"body":83,"unit":84},"Bandingkan framework agent dan SDK vendor berdasarkan bahasa, lisensi, dukungan MCP, dan fitur multi-agent.","framework",{"title":86,"body":87,"unit":88},"Host OpenClaw sendiri","Instal, konfigurasi, dan perbarui OpenClaw di komputer atau server Anda sendiri, langkah demi langkah.","rilis terbaru",{"title":90,"body":91,"unit":92},"Situs yang siap untuk agent","Buat llms.txt, aturan robots.txt untuk crawler AI, dan api-catalog, serta cari bot apa pun berdasarkan user agent.","bot terdaftar",{"title":94,"body":95,"unit":96},"Keamanan agent","Risiko OWASP untuk agent, catatan insiden nyata, dan checklist yang dapat Anda centang sebelum peluncuran.","insiden tercatat",{"title":98,"body":99,"unit":100},"Changelog API","Perubahan bertanggal pada API model, SDK, dan protokol, masing-masing ditautkan ke pengumuman vendor.","entri","Perubahan terbaru","Semua perubahan","Cara kami menjaga keakuratan",[105,108,111,114],{"title":106,"body":107},"Fakta bersumber.","Setiap harga, versi, dan flag tertaut ke halaman vendor sebagai sumbernya, sehingga Anda bisa memeriksanya sendiri.",{"title":109,"body":110},"Pemeriksaan bertanggal.","Setiap halaman menampilkan kapan faktanya terakhir diperiksa. Entri yang sudah usang akan diperiksa ulang atau dihapus.",{"title":112,"body":113},"Tanpa penempatan berbayar.","Tidak ada yang membayar agar tercantum, mendapat peringkat lebih tinggi, atau dideskripsikan dengan lebih baik.",{"title":115,"body":116},"Tool berjalan di browser Anda.","Generator dan kalkulator bekerja secara lokal, dan apa yang Anda ketik tidak dikirim ke server.","Tentang DotsAgent",{"title":119,"body":120,"home":121,"popular":122,"failed":123,"failedBody":124},"Halaman tidak ditemukan","Alamat ini tidak cocok dengan halaman mana pun. Halamannya mungkin sudah dipindahkan, atau tautannya mungkin salah ketik.","Buka halaman beranda","Tool populer","Terjadi kesalahan","Halaman gagal dimuat di sisi kami. Coba lagi sebentar lagi, atau mulai dari halaman beranda.",{"bots":126,"ui":182},{"seo":127,"crumb":39,"eyebrow":130,"title":131,"lead":132,"purposeFilter":133,"all":134,"search":135,"operator":136,"anyOperator":137,"cols":138,"noToken":144,"marks":145,"signed":149,"ips":150,"empty":151,"purposesTitle":152,"purposeHelp":153,"verifyTitle":159,"verify":160,"toGenerator":164,"faqTitle":165,"faq":166},{"title":128,"description":129},"Direktori bot AI: 40 crawler, token, dan daftar IP","40 crawler dan agen AI dari OpenAI, Anthropic, Google, Apple, Meta, Amazon, dan lainnya, lengkap dengan token robots.txt, tujuan, kepatuhan, dan daftar IP.","{n} crawler dan agen","Direktori crawler dan agen AI","Setiap bot AI yang berhasil kami konfirmasi, beserta token yang digunakan di robots.txt, tujuan pengambilan datanya, apakah operatornya menyatakan bahwa bot tersebut mematuhi aturan, dan cara memeriksa apakah permintaan benar-benar berasal darinya. Token yang hanya diketahui dari registry ai.robots.txt komunitas ditandai di halaman masing-masing.","Filter berdasarkan tujuan","Semua","Cari berdasarkan nama, token, atau operator","Operator","Operator apa pun",{"bot":139,"token":140,"purpose":141,"robots":142,"verify":143},"Bot","Token","Tujuan","Mematuhi robots.txt","Verifikasi","Tanpa token",{"yes":146,"no":147,"unknown":148},"Ya","Tidak","Tidak disebutkan","Permintaan bertanda tangan","Daftar IP","Tidak ada bot yang cocok dengan filter ini.","Arti setiap tujuan",{"training":154,"search":155,"user":156,"agent":157,"ads":158},"Mengumpulkan halaman untuk melatih model atau melakukan crawling riset umum. Google-Extended dan Applebot-Extended adalah token kontrol yang tidak pernah mengambil data sendiri.","Mengindeks halaman untuk produk pencarian, mulai dari Google Search hingga mesin jawaban AI seperti ChatGPT search, Perplexity, dan DuckAssist. Memblokirnya membuat situs Anda tidak muncul di produk tersebut.","Mengambil halaman atas permintaan seseorang di chat atau tool. Beberapa operator menyatakan bahwa robots.txt mungkin tidak berlaku untuk permintaan ini.","Menjelajah dan bertindak atas nama pengguna, sering kali melalui browser lengkap. Banyak yang tidak memiliki token dan hanya dapat dikenali lewat tanda tangan, jika bisa dikenali sama sekali.","Memeriksa halaman landing iklan yang dikirimkan pengiklan. Bot ini tidak disertakan dalam generator robots.txt.","Pastikan bot benar-benar sesuai identitasnya",[161,162,163],"String user-agent mudah dipalsukan. Sebagian besar operator besar menerbitkan rentang IP yang digunakan bot mereka dalam file JSON, ditandai sebagai daftar IP di tabel. Bandingkan alamat request dengan daftar untuk token tersebut. Jika hanya namanya yang cocok, anggap bot belum terverifikasi.","Sebagian operator juga mendokumentasikan reverse DNS. Misalnya, Common Crawl menyebutkan bahwa host CCBot mengarah ke *.crawl.commoncrawl.org; pastikan hostname tersebut mengarah kembali ke alamat yang sama sebelum memercayainya.","Agen semakin sering menandatangani request dengan HTTP Message Signatures (RFC 9421) berdasarkan draf Web Bot Auth. Request mencantumkan operatornya di Signature-Agent, lalu Anda dapat memverifikasinya menggunakan kunci publik di \u002F.well-known\u002Fhttp-message-signatures-directory pada domain tersebut. Tanda tangan yang valid membuktikan identitas operator, bukan identitas pengguna di baliknya atau tindakan yang boleh dilakukan pengguna itu.","Buat robots.txt dari daftar ini","Pertanyaan tentang crawler AI",[167,170,173,176,179],{"q":168,"a":169},"Crawler AI mana yang mengabaikan robots.txt?","Menurut dokumentasi operator masing-masing, ChatGPT-User, Perplexity-User, Google-Agent, Google-GeminiNotebook, Amzn-User, meta-externalfetcher, dan facebookexternalhit mungkin tidak mematuhinya, terutama karena pengambilan data dipicu oleh pengguna. Menurut laporan komunitas, Bytespider tidak mematuhinya.",{"q":171,"a":172},"Apa perbedaan GPTBot, OAI-SearchBot, dan ChatGPT-User?","GPTBot mengumpulkan halaman untuk melatih model OpenAI, OAI-SearchBot mengindeks halaman untuk pencarian ChatGPT, dan ChatGPT-User mengambil halaman saat seseorang memintanya. Dua bot pertama mematuhi robots.txt; OpenAI menyatakan bahwa aturannya mungkin tidak berlaku untuk bot ketiga.",{"q":174,"a":175},"Agen AI mana yang tidak memiliki token robots.txt?","ChatGPT agent, Gemini Spark, dan Muse dari Meta. ChatGPT agent dapat diverifikasi melalui tanda tangan Web Bot Auth dari https:\u002F\u002Fchatgpt.com. Dalam mode Chrome lokal, Gemini Spark terlihat seperti browser pengguna sendiri, sedangkan Muse tidak memiliki user-agent yang dipublikasikan.",{"q":177,"a":178},"Bagaimana cara memastikan request benar-benar berasal dari Googlebot?","Google menerbitkan rentang IP Googlebot dalam file JSON yang ditautkan dari entri Googlebot di direktori ini. Cocokkan alamat request dengan rentang tersebut, jangan hanya memercayai string user-agent.",{"q":180,"a":181},"Dari mana daftar bot AI ini berasal?","Setiap entri menautkan ke dokumentasi operator jika tersedia. Token yang tidak didokumentasikan oleh operator berasal dari registry komunitas ai.robots.txt. Kami tidak menyertakan DeepSeekBot, Kimi-User, Manus-User, NovaAct, Devin, dan PetalBot karena tidak menemukan dokumentasi dari operatornya. Daftar ini diperiksa pada 1 October 2026.",{"crumb":183,"purposes":184,"sources":190},"Situs yang siap digunakan agen",{"training":185,"search":186,"user":187,"agent":188,"ads":189},"Pelatihan","Pencarian","Pengambilan oleh pengguna","Agen","Iklan","Sumber",{"common":192},{"skip":5,"menu":6,"language":7,"sections":8,"footer":9,"tool":10,"home":11,"breadcrumbs":12,"copy":13,"copied":14,"download":15},1790863389996]