Direktori crawler dan agen AI
Setiap bot AI yang berhasil kami konfirmasi, beserta token yang digunakan di robots.txt, tujuan pengambilan datanya, apakah operatornya menyatakan bahwa bot tersebut mematuhi aturan, dan cara memeriksa apakah permintaan benar-benar berasal darinya. Token yang hanya diketahui dari registry ai.robots.txt komunitas ditandai di halaman masing-masing.
| Bot | Token | Tujuan | Mematuhi robots.txt | Verifikasi |
|---|---|---|---|---|
| GPTBot | GPTBot | Pelatihan | Ya | Daftar IP |
| OAI-SearchBot | OAI-SearchBot | Pencarian | Ya | Daftar IP |
| ChatGPT-User | ChatGPT-User | Pengambilan oleh pengguna | Tidak | Daftar IP |
| OAI-AdsBot | OAI-AdsBot | Iklan | Tidak disebutkan | Daftar IP |
| ChatGPT agent | Tanpa token | Agen | Tidak disebutkan | Permintaan bertanda tangan |
| ClaudeBot | ClaudeBot | Pelatihan | Ya | Daftar IP |
| Claude-SearchBot | Claude-SearchBot | Pencarian | Ya | Daftar IP |
| Claude-User | Claude-User | Pengambilan oleh pengguna | Ya | Daftar IP |
| Googlebot | Googlebot | Pencarian | Ya | Daftar IP |
| Google-Extended | Google-Extended | Pelatihan | Ya | — |
| Google-CloudVertexBot | Google-CloudVertexBot | Pencarian | Ya | Daftar IP |
| GoogleOther | GoogleOther | Pelatihan | Ya | Daftar IP |
| Google-Agent | Google-Agent | Agen | Tidak | Daftar IP |
| Google-GeminiNotebook | Google-GeminiNotebook | Pengambilan oleh pengguna | Tidak | Daftar IP |
| Gemini Spark | Tanpa token | Agen | Tidak disebutkan | — |
| Gemini-Deep-Research | Gemini-Deep-Research | Pengambilan oleh pengguna | Tidak disebutkan | — |
| GoogleAgent-Mariner | GoogleAgent-Mariner | Agen | Tidak disebutkan | — |
| Applebot | Applebot | Pencarian | Ya | Daftar IP |
| Applebot-Extended | Applebot-Extended | Pelatihan | Ya | — |
| PerplexityBot | PerplexityBot | Pencarian | Ya | Daftar IP |
| Perplexity-User | Perplexity-User | Pengambilan oleh pengguna | Tidak | Daftar IP |
| meta-externalagent | meta-externalagent | Pelatihan | Ya | — |
| meta-webindexer | meta-webindexer | Pencarian | Ya | — |
| meta-externalfetcher | meta-externalfetcher | Pengambilan oleh pengguna | Tidak | — |
| meta-externalads | meta-externalads | Iklan | Ya | — |
| facebookexternalhit | facebookexternalhit | Pengambilan oleh pengguna | Tidak | — |
| Muse | Tanpa token | Agen | Tidak disebutkan | — |
| Amazonbot | Amazonbot | Pelatihan | Ya | Daftar IP |
| Amzn-SearchBot | Amzn-SearchBot | Pencarian | Ya | Daftar IP |
| Amzn-User | Amzn-User | Pengambilan oleh pengguna | Tidak | Daftar IP |
| DuckAssistBot | DuckAssistBot | Pencarian | Ya | Daftar IP |
| MistralAI-User | MistralAI-User | Pengambilan oleh pengguna | Ya | Daftar IP |
| MistralAI-Index | MistralAI-Index | Pencarian | Ya | Daftar IP |
| MistralAI-Training | MistralAI-Training | Pelatihan | Ya | — |
| CCBot | CCBot | Pelatihan | Ya | Daftar IP |
| cohere-ai | cohere-ai | Pengambilan oleh pengguna | Tidak disebutkan | — |
| Bytespider | Bytespider | Pelatihan | Tidak | — |
| YouBot | YouBot | Pencarian | Tidak disebutkan | — |
| Diffbot | Diffbot | Pencarian | Tidak disebutkan | — |
| Timpibot | Timpibot | Pelatihan | Tidak disebutkan | — |
Arti setiap tujuan
- Pelatihan
- Mengumpulkan halaman untuk melatih model atau melakukan crawling riset umum. Google-Extended dan Applebot-Extended adalah token kontrol yang tidak pernah mengambil data sendiri.
- Pencarian
- Mengindeks halaman untuk produk pencarian, mulai dari Google Search hingga mesin jawaban AI seperti ChatGPT search, Perplexity, dan DuckAssist. Memblokirnya membuat situs Anda tidak muncul di produk tersebut.
- Pengambilan oleh pengguna
- Mengambil halaman atas permintaan seseorang di chat atau tool. Beberapa operator menyatakan bahwa robots.txt mungkin tidak berlaku untuk permintaan ini.
- Agen
- Menjelajah dan bertindak atas nama pengguna, sering kali melalui browser lengkap. Banyak yang tidak memiliki token dan hanya dapat dikenali lewat tanda tangan, jika bisa dikenali sama sekali.
- Iklan
- Memeriksa halaman landing iklan yang dikirimkan pengiklan. Bot ini tidak disertakan dalam generator robots.txt.
Pastikan bot benar-benar sesuai identitasnya
String user-agent mudah dipalsukan. Sebagian besar operator besar menerbitkan rentang IP yang digunakan bot mereka dalam file JSON, ditandai sebagai daftar IP di tabel. Bandingkan alamat request dengan daftar untuk token tersebut. Jika hanya namanya yang cocok, anggap bot belum terverifikasi.
Sebagian operator juga mendokumentasikan reverse DNS. Misalnya, Common Crawl menyebutkan bahwa host CCBot mengarah ke *.crawl.commoncrawl.org; pastikan hostname tersebut mengarah kembali ke alamat yang sama sebelum memercayainya.
Agen semakin sering menandatangani request dengan HTTP Message Signatures (RFC 9421) berdasarkan draf Web Bot Auth. Request mencantumkan operatornya di Signature-Agent, lalu Anda dapat memverifikasinya menggunakan kunci publik di /.well-known/http-message-signatures-directory pada domain tersebut. Tanda tangan yang valid membuktikan identitas operator, bukan identitas pengguna di baliknya atau tindakan yang boleh dilakukan pengguna itu.
Buat robots.txt dari daftar ini →
Pertanyaan tentang crawler AI
Crawler AI mana yang mengabaikan robots.txt?
Menurut dokumentasi operator masing-masing, ChatGPT-User, Perplexity-User, Google-Agent, Google-GeminiNotebook, Amzn-User, meta-externalfetcher, dan facebookexternalhit mungkin tidak mematuhinya, terutama karena pengambilan data dipicu oleh pengguna. Menurut laporan komunitas, Bytespider tidak mematuhinya.
Apa perbedaan GPTBot, OAI-SearchBot, dan ChatGPT-User?
GPTBot mengumpulkan halaman untuk melatih model OpenAI, OAI-SearchBot mengindeks halaman untuk pencarian ChatGPT, dan ChatGPT-User mengambil halaman saat seseorang memintanya. Dua bot pertama mematuhi robots.txt; OpenAI menyatakan bahwa aturannya mungkin tidak berlaku untuk bot ketiga.
Agen AI mana yang tidak memiliki token robots.txt?
ChatGPT agent, Gemini Spark, dan Muse dari Meta. ChatGPT agent dapat diverifikasi melalui tanda tangan Web Bot Auth dari https://chatgpt.com. Dalam mode Chrome lokal, Gemini Spark terlihat seperti browser pengguna sendiri, sedangkan Muse tidak memiliki user-agent yang dipublikasikan.
Bagaimana cara memastikan request benar-benar berasal dari Googlebot?
Google menerbitkan rentang IP Googlebot dalam file JSON yang ditautkan dari entri Googlebot di direktori ini. Cocokkan alamat request dengan rentang tersebut, jangan hanya memercayai string user-agent.
Dari mana daftar bot AI ini berasal?
Setiap entri menautkan ke dokumentasi operator jika tersedia. Token yang tidak didokumentasikan oleh operator berasal dari registry komunitas ai.robots.txt. Kami tidak menyertakan DeepSeekBot, Kimi-User, Manus-User, NovaAct, Devin, dan PetalBot karena tidak menemukan dokumentasi dari operatornya. Daftar ini diperiksa pada 1 October 2026.