AI crawler ve agent dizini
Doğrulayabildiğimiz tüm AI botları: robots.txt içinde kullanmanız gereken token, hangi amaçla veri çektiği, operatörünün kurallara uyduğunu belirtip belirtmediği ve bir isteğin gerçekten o bottan geldiğini nasıl kontrol edeceğiniz. Yalnızca topluluk tarafından tutulan ai.robots.txt kayıt defterinde yer alan token'lar, ilgili bot sayfalarında bu şekilde belirtilir.
| Bot | Token | Amaç | robots.txt kurallarına uyuyor | Doğrula |
|---|---|---|---|---|
| GPTBot | GPTBot | Eğitim | Evet | IP listesi |
| OAI-SearchBot | OAI-SearchBot | Arama | Evet | IP listesi |
| ChatGPT-User | ChatGPT-User | Kullanıcı istekleri | Hayır | IP listesi |
| OAI-AdsBot | OAI-AdsBot | Reklamlar | Belirtilmemiş | IP listesi |
| ChatGPT agent | Token yok | Agent'lar | Belirtilmemiş | İmzalı istekler |
| ClaudeBot | ClaudeBot | Eğitim | Evet | IP listesi |
| Claude-SearchBot | Claude-SearchBot | Arama | Evet | IP listesi |
| Claude-User | Claude-User | Kullanıcı istekleri | Evet | IP listesi |
| Googlebot | Googlebot | Arama | Evet | IP listesi |
| Google-Extended | Google-Extended | Eğitim | Evet | — |
| Google-CloudVertexBot | Google-CloudVertexBot | Arama | Evet | IP listesi |
| GoogleOther | GoogleOther | Eğitim | Evet | IP listesi |
| Google-Agent | Google-Agent | Agent'lar | Hayır | IP listesi |
| Google-GeminiNotebook | Google-GeminiNotebook | Kullanıcı istekleri | Hayır | IP listesi |
| Gemini Spark | Token yok | Agent'lar | Belirtilmemiş | — |
| Gemini-Deep-Research | Gemini-Deep-Research | Kullanıcı istekleri | Belirtilmemiş | — |
| GoogleAgent-Mariner | GoogleAgent-Mariner | Agent'lar | Belirtilmemiş | — |
| Applebot | Applebot | Arama | Evet | IP listesi |
| Applebot-Extended | Applebot-Extended | Eğitim | Evet | — |
| PerplexityBot | PerplexityBot | Arama | Evet | IP listesi |
| Perplexity-User | Perplexity-User | Kullanıcı istekleri | Hayır | IP listesi |
| meta-externalagent | meta-externalagent | Eğitim | Evet | — |
| meta-webindexer | meta-webindexer | Arama | Evet | — |
| meta-externalfetcher | meta-externalfetcher | Kullanıcı istekleri | Hayır | — |
| meta-externalads | meta-externalads | Reklamlar | Evet | — |
| facebookexternalhit | facebookexternalhit | Kullanıcı istekleri | Hayır | — |
| Muse | Token yok | Agent'lar | Belirtilmemiş | — |
| Amazonbot | Amazonbot | Eğitim | Evet | IP listesi |
| Amzn-SearchBot | Amzn-SearchBot | Arama | Evet | IP listesi |
| Amzn-User | Amzn-User | Kullanıcı istekleri | Hayır | IP listesi |
| DuckAssistBot | DuckAssistBot | Arama | Evet | IP listesi |
| MistralAI-User | MistralAI-User | Kullanıcı istekleri | Evet | IP listesi |
| MistralAI-Index | MistralAI-Index | Arama | Evet | IP listesi |
| MistralAI-Training | MistralAI-Training | Eğitim | Evet | — |
| CCBot | CCBot | Eğitim | Evet | IP listesi |
| cohere-ai | cohere-ai | Kullanıcı istekleri | Belirtilmemiş | — |
| Bytespider | Bytespider | Eğitim | Hayır | — |
| YouBot | YouBot | Arama | Belirtilmemiş | — |
| Diffbot | Diffbot | Arama | Belirtilmemiş | — |
| Timpibot | Timpibot | Eğitim | Belirtilmemiş | — |
Amaçlar ne anlama geliyor?
- Eğitim
- Model eğitimi veya genel araştırma amaçlı tarama için sayfaları toplar. Google-Extended ve Applebot-Extended, kendi başlarına hiçbir şeyi getirmeyen kontrol token'larıdır.
- Arama
- Google Search'ten ChatGPT arama, Perplexity ve DuckAssist gibi AI yanıt motorlarına kadar arama ürünleri için sayfaları dizine ekler. Engellerseniz ilgili üründe görünmezsiniz.
- Kullanıcı istekleri
- Bir kişi sohbet veya araç üzerinden istediği için sayfayı getirir. Bazı operatörler, robots.txt kurallarının bu istekler için geçerli olmayabileceğini belirtiyor.
- Agent'lar
- Kullanıcı adına, çoğu zaman tam özellikli bir tarayıcıda gezinir ve işlem yapar. Birçoğunun token'ı yoktur; varsa imza üzerinden tanımlanabilir.
- Reklamlar
- Reklamverenlerin gönderdiği reklam açılış sayfalarını kontrol eder. Bunlar robots.txt oluşturucusuna dahil edilmez.
Bir botun gerçekten söylediği kişi olduğunu doğrulayın
User-agent string'ini taklit etmek çok kolaydır. Büyük operatörlerin çoğu, botlarının kullandığı IP aralıklarını JSON dosyaları olarak yayımlar; tabloda IP listesi olarak işaretlenir. İsteğin adresini ilgili token'ın listesiyle karşılaştırın ve yalnızca adın eşleşmesini doğrulanmış kabul etmeyin.
Bazı operatörler ters DNS kayıtlarını da belgeler. Örneğin Common Crawl, CCBot sunucularının *.crawl.commoncrawl.org adresine çözümlendiğini belirtir; güvenmeden önce ana makine adının aynı adrese geri çözümlendiğini doğrulayın.
Ajanlar, Web Bot Auth taslağı kapsamındaki HTTP Message Signatures (RFC 9421) ile istekleri giderek daha fazla imzalıyor. İstek, operatörünü Signature-Agent içinde belirtir. İmzayı, ilgili alan adının /.well-known/http-message-signatures-directory adresindeki açık anahtarlarla doğrulayabilirsiniz. Geçerli bir imza operatörü kanıtlar; isteğin arkasındaki kullanıcıyı veya kullanıcının ne yapabileceğini değil.
Bu listeden bir robots.txt oluşturun →
AI crawler'ları hakkında sorular
Hangi AI crawler'ları robots.txt kurallarını yok sayıyor?
Operatörlerinin kendi belgelerine göre ChatGPT-User, Perplexity-User, Google-Agent, Google-GeminiNotebook, Amzn-User, meta-externalfetcher ve facebookexternalhit bu kurallara uymayabilir; bunun başlıca nedeni, isteği kullanıcının başlatmasıdır. Topluluk kaynaklarına göre Bytespider da bu kurallara uymuyor.
GPTBot, OAI-SearchBot ve ChatGPT-User arasındaki fark nedir?
GPTBot, OpenAI modellerini eğitmek için sayfaları toplar; OAI-SearchBot, ChatGPT araması için sayfaları dizine ekler; ChatGPT-User ise bir kişi istediğinde sayfayı getirir. İlk ikisi robots.txt kurallarına uyar; OpenAI, bu kuralların üçüncüsü için geçerli olmayabileceğini söylüyor.
Hangi AI ajanlarının robots.txt token'ı yok?
ChatGPT agent, Gemini Spark ve Meta'nın Muse ürünü. ChatGPT agent, https://chatgpt.com adresinden gelen Web Bot Auth imzasıyla doğrulanabilir. Gemini Spark, yerel Chrome modunda kullanıcının kendi tarayıcısı gibi görünür; Muse içinse yayımlanmış bir user agent yoktur.
Bir isteğin gerçekten Googlebot'tan geldiğini nasıl doğrularım?
Google, Googlebot'un IP aralıklarını JSON dosyası olarak yayımlar; bağlantı bu dizindeki Googlebot kaydında bulunur. User-agent string'ine güvenmek yerine isteğin adresini bu aralıklarla karşılaştırın.
Bu AI botları listesi nereden geliyor?
Her kayıt, varsa operatörün belgelerine bağlantı verir; belgesi olmayan token'lar ise topluluğun ai.robots.txt kayıt defterinden alınmıştır. Operatör belgelerine ulaşamadığımız için DeepSeekBot, Kimi-User, Manus-User, NovaAct, Devin ve PetalBot'u listeye eklemedik. Liste 1 October 2026 tarihinde kontrol edildi.