--- title: "AI bot dizini: 40 crawler, token ve IP listesi · DotsAgent" description: "OpenAI, Anthropic, Google, Apple, Meta, Amazon ve diğer şirketlerden 40 AI crawler ve agent; robots.txt token'ları, amaçları, uyumluluk durumları ve IP listeleriyle." url: https://dotsagent.io/tr/agent-ready/bots --- 40 crawler ve agent # AI crawler ve agent dizini Doğrulayabildiğimiz tüm AI botları: robots.txt içinde kullanmanız gereken token, hangi amaçla veri çektiği, operatörünün kurallara uyduğunu belirtip belirtmediği ve bir isteğin gerçekten o bottan geldiğini nasıl kontrol edeceğiniz. Yalnızca topluluk tarafından tutulan ai.robots.txt kayıt defterinde yer alan token'lar, ilgili bot sayfalarında bu şekilde belirtilir. | Bot | Token | Amaç | robots.txt kurallarına uyuyor | Doğrula | | --- | --- | --- | --- | --- | | [GPTBot](https://dotsagent.io/tr/agent-ready/bots/gptbot)OpenAI | `GPTBot` | Eğitim | — | IP listesi | | [OAI-SearchBot](https://dotsagent.io/tr/agent-ready/bots/oai-searchbot)OpenAI | `OAI-SearchBot` | Arama | — | IP listesi | | [ChatGPT-User](https://dotsagent.io/tr/agent-ready/bots/chatgpt-user)OpenAI | `ChatGPT-User` | Kullanıcı istekleri | — | IP listesi | | [OAI-AdsBot](https://dotsagent.io/tr/agent-ready/bots/oai-adsbot)OpenAI | `OAI-AdsBot` | Reklamlar | — | IP listesi | | [ChatGPT agent](https://dotsagent.io/tr/agent-ready/bots/chatgpt-agent)OpenAI | Token yok | Agent'lar | — | İmzalı istekler | | [ClaudeBot](https://dotsagent.io/tr/agent-ready/bots/claudebot)Anthropic | `ClaudeBot` | Eğitim | — | IP listesi | | [Claude-SearchBot](https://dotsagent.io/tr/agent-ready/bots/claude-searchbot)Anthropic | `Claude-SearchBot` | Arama | — | IP listesi | | [Claude-User](https://dotsagent.io/tr/agent-ready/bots/claude-user)Anthropic | `Claude-User` | Kullanıcı istekleri | — | IP listesi | | [Googlebot](https://dotsagent.io/tr/agent-ready/bots/googlebot)Google | `Googlebot` | Arama | — | IP listesi | | [Google-Extended](https://dotsagent.io/tr/agent-ready/bots/google-extended)Google | `Google-Extended` | Eğitim | — | — | | [Google-CloudVertexBot](https://dotsagent.io/tr/agent-ready/bots/google-cloudvertexbot)Google | `Google-CloudVertexBot` | Arama | — | IP listesi | | [GoogleOther](https://dotsagent.io/tr/agent-ready/bots/googleother)Google | `GoogleOther` | Eğitim | — | IP listesi | | [Google-Agent](https://dotsagent.io/tr/agent-ready/bots/google-agent)Google | `Google-Agent` | Agent'lar | — | IP listesi | | [Google-GeminiNotebook](https://dotsagent.io/tr/agent-ready/bots/google-gemininotebook)Google | `Google-GeminiNotebook` | Kullanıcı istekleri | — | IP listesi | | [Gemini Spark](https://dotsagent.io/tr/agent-ready/bots/gemini-spark)Google | Token yok | Agent'lar | — | — | | [Gemini-Deep-Research](https://dotsagent.io/tr/agent-ready/bots/gemini-deep-research)Google | `Gemini-Deep-Research` | Kullanıcı istekleri | — | — | | [GoogleAgent-Mariner](https://dotsagent.io/tr/agent-ready/bots/googleagent-mariner)Google | `GoogleAgent-Mariner` | Agent'lar | — | — | | [Applebot](https://dotsagent.io/tr/agent-ready/bots/applebot)Apple | `Applebot` | Arama | — | IP listesi | | [Applebot-Extended](https://dotsagent.io/tr/agent-ready/bots/applebot-extended)Apple | `Applebot-Extended` | Eğitim | — | — | | [PerplexityBot](https://dotsagent.io/tr/agent-ready/bots/perplexitybot)Perplexity | `PerplexityBot` | Arama | — | IP listesi | | [Perplexity-User](https://dotsagent.io/tr/agent-ready/bots/perplexity-user)Perplexity | `Perplexity-User` | Kullanıcı istekleri | — | IP listesi | | [meta-externalagent](https://dotsagent.io/tr/agent-ready/bots/meta-externalagent)Meta | `meta-externalagent` | Eğitim | — | — | | [meta-webindexer](https://dotsagent.io/tr/agent-ready/bots/meta-webindexer)Meta | `meta-webindexer` | Arama | — | — | | [meta-externalfetcher](https://dotsagent.io/tr/agent-ready/bots/meta-externalfetcher)Meta | `meta-externalfetcher` | Kullanıcı istekleri | — | — | | [meta-externalads](https://dotsagent.io/tr/agent-ready/bots/meta-externalads)Meta | `meta-externalads` | Reklamlar | — | — | | [facebookexternalhit](https://dotsagent.io/tr/agent-ready/bots/facebookexternalhit)Meta | `facebookexternalhit` | Kullanıcı istekleri | — | — | | [Muse](https://dotsagent.io/tr/agent-ready/bots/muse)Meta | Token yok | Agent'lar | — | — | | [Amazonbot](https://dotsagent.io/tr/agent-ready/bots/amazonbot)Amazon | `Amazonbot` | Eğitim | — | IP listesi | | [Amzn-SearchBot](https://dotsagent.io/tr/agent-ready/bots/amzn-searchbot)Amazon | `Amzn-SearchBot` | Arama | — | IP listesi | | [Amzn-User](https://dotsagent.io/tr/agent-ready/bots/amzn-user)Amazon | `Amzn-User` | Kullanıcı istekleri | — | IP listesi | | [DuckAssistBot](https://dotsagent.io/tr/agent-ready/bots/duckassistbot)DuckDuckGo | `DuckAssistBot` | Arama | — | IP listesi | | [MistralAI-User](https://dotsagent.io/tr/agent-ready/bots/mistralai-user)Mistral | `MistralAI-User` | Kullanıcı istekleri | — | IP listesi | | [MistralAI-Index](https://dotsagent.io/tr/agent-ready/bots/mistralai-index)Mistral | `MistralAI-Index` | Arama | — | IP listesi | | [MistralAI-Training](https://dotsagent.io/tr/agent-ready/bots/mistralai-training)Mistral | `MistralAI-Training` | Eğitim | — | — | | [CCBot](https://dotsagent.io/tr/agent-ready/bots/ccbot)Common Crawl | `CCBot` | Eğitim | — | IP listesi | | [cohere-ai](https://dotsagent.io/tr/agent-ready/bots/cohere-ai)Cohere | `cohere-ai` | Kullanıcı istekleri | — | — | | [Bytespider](https://dotsagent.io/tr/agent-ready/bots/bytespider)ByteDance | `Bytespider` | Eğitim | — | — | | [YouBot](https://dotsagent.io/tr/agent-ready/bots/youbot)You.com | `YouBot` | Arama | — | — | | [Diffbot](https://dotsagent.io/tr/agent-ready/bots/diffbot)Diffbot | `Diffbot` | Arama | — | — | | [Timpibot](https://dotsagent.io/tr/agent-ready/bots/timpibot)Timpi | `Timpibot` | Eğitim | — | — | ## Amaçlar ne anlama geliyor? - **Eğitim**: Model eğitimi veya genel araştırma amaçlı tarama için sayfaları toplar. Google-Extended ve Applebot-Extended, kendi başlarına hiçbir şeyi getirmeyen kontrol token'larıdır. - **Arama**: Google Search'ten ChatGPT arama, Perplexity ve DuckAssist gibi AI yanıt motorlarına kadar arama ürünleri için sayfaları dizine ekler. Engellerseniz ilgili üründe görünmezsiniz. - **Kullanıcı istekleri**: Bir kişi sohbet veya araç üzerinden istediği için sayfayı getirir. Bazı operatörler, robots.txt kurallarının bu istekler için geçerli olmayabileceğini belirtiyor. - **Agent'lar**: Kullanıcı adına, çoğu zaman tam özellikli bir tarayıcıda gezinir ve işlem yapar. Birçoğunun token'ı yoktur; varsa imza üzerinden tanımlanabilir. - **Reklamlar**: Reklamverenlerin gönderdiği reklam açılış sayfalarını kontrol eder. Bunlar robots.txt oluşturucusuna dahil edilmez. ## Bir botun gerçekten söylediği kişi olduğunu doğrulayın User-agent string'ini taklit etmek çok kolaydır. Büyük operatörlerin çoğu, botlarının kullandığı IP aralıklarını JSON dosyaları olarak yayımlar; tabloda IP listesi olarak işaretlenir. İsteğin adresini ilgili token'ın listesiyle karşılaştırın ve yalnızca adın eşleşmesini doğrulanmış kabul etmeyin. Bazı operatörler ters DNS kayıtlarını da belgeler. Örneğin Common Crawl, CCBot sunucularının *.crawl.commoncrawl.org adresine çözümlendiğini belirtir; güvenmeden önce ana makine adının aynı adrese geri çözümlendiğini doğrulayın. Ajanlar, Web Bot Auth taslağı kapsamındaki HTTP Message Signatures (RFC 9421) ile istekleri giderek daha fazla imzalıyor. İstek, operatörünü Signature-Agent içinde belirtir. İmzayı, ilgili alan adının /.well-known/http-message-signatures-directory adresindeki açık anahtarlarla doğrulayabilirsiniz. Geçerli bir imza operatörü kanıtlar; isteğin arkasındaki kullanıcıyı veya kullanıcının ne yapabileceğini değil. [Bu listeden bir robots.txt oluşturun →](https://dotsagent.io/tr/agent-ready/robots-txt) ## AI crawler'ları hakkında sorular ### Hangi AI crawler'ları robots.txt kurallarını yok sayıyor? Operatörlerinin kendi belgelerine göre ChatGPT-User, Perplexity-User, Google-Agent, Google-GeminiNotebook, Amzn-User, meta-externalfetcher ve facebookexternalhit bu kurallara uymayabilir; bunun başlıca nedeni, isteği kullanıcının başlatmasıdır. Topluluk kaynaklarına göre Bytespider da bu kurallara uymuyor. ### GPTBot, OAI-SearchBot ve ChatGPT-User arasındaki fark nedir? GPTBot, OpenAI modellerini eğitmek için sayfaları toplar; OAI-SearchBot, ChatGPT araması için sayfaları dizine ekler; ChatGPT-User ise bir kişi istediğinde sayfayı getirir. İlk ikisi robots.txt kurallarına uyar; OpenAI, bu kuralların üçüncüsü için geçerli olmayabileceğini söylüyor. ### Hangi AI ajanlarının robots.txt token'ı yok? ChatGPT agent, Gemini Spark ve Meta'nın Muse ürünü. ChatGPT agent, https://chatgpt.com adresinden gelen Web Bot Auth imzasıyla doğrulanabilir. Gemini Spark, yerel Chrome modunda kullanıcının kendi tarayıcısı gibi görünür; Muse içinse yayımlanmış bir user agent yoktur. ### Bir isteğin gerçekten Googlebot'tan geldiğini nasıl doğrularım? Google, Googlebot'un IP aralıklarını JSON dosyası olarak yayımlar; bağlantı bu dizindeki Googlebot kaydında bulunur. User-agent string'ine güvenmek yerine isteğin adresini bu aralıklarla karşılaştırın. ### Bu AI botları listesi nereden geliyor? Her kayıt, varsa operatörün belgelerine bağlantı verir; belgesi olmayan token'lar ise topluluğun ai.robots.txt kayıt defterinden alınmıştır. Operatör belgelerine ulaşamadığımız için DeepSeekBot, Kimi-User, Manus-User, NovaAct, Devin ve PetalBot'u listeye eklemedik. Liste 1 October 2026 tarihinde kontrol edildi. AI agent geliştirenler için bağımsız bir başvuru kaynağıdır. Burada adı geçen hiçbir sağlayıcıyla bağlantısı yoktur. © 2026 DotsAgent · Bilgiler 1 Ekim 2026 tarihinde kontrol edildi