--- title: "Yapay zekâ crawler ve ajanları için robots.txt oluşturucu · DotsAgent" description: "Arama motorlarını engellemeden yapay zekâ eğitimini engelleyen bir robots.txt oluşturun: amaca göre gruplandırılmış 35 bot token'ı, Content-Signal satırları, özel yollar ve bir sitemap satırı." url: https://dotsagent.io/tr/agent-ready/robots-txt --- Sitenizi açın · oluşturucu # Yapay zekâ botları için robots.txt oluşturucu Her tür yapay zekâ botu için bir politika seçin, tek tek crawler'lar için bu politikayı değiştirin ve RFC 9309'a uygun bir dosya kopyalayın. Eğitim, arama ve kullanıcı tarafından tetiklenen fetch işlemleri ayrı token'lar kullanır; böylece birini engelleyip diğerine izin verebilirsiniz. `/robots.txt` ``` # Tüm site için engellenen AI crawler'ları User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: GoogleOther User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: Amazonbot User-agent: MistralAI-Training User-agent: CCBot User-agent: Bytespider User-agent: Timpibot Disallow: / # İzin verilen AI crawler'ları; özel yollar hariç User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: Googlebot User-agent: Google-CloudVertexBot User-agent: Google-Agent User-agent: Google-GeminiNotebook User-agent: Gemini-Deep-Research User-agent: GoogleAgent-Mariner User-agent: Applebot User-agent: PerplexityBot User-agent: Perplexity-User User-agent: meta-webindexer User-agent: meta-externalfetcher User-agent: facebookexternalhit User-agent: Amzn-SearchBot User-agent: Amzn-User User-agent: DuckAssistBot User-agent: MistralAI-User User-agent: MistralAI-Index User-agent: cohere-ai User-agent: YouBot User-agent: Diffbot Disallow: /admin/ Disallow: /api/ # Diğer tüm crawler'lar User-agent: * Content-Signal: search=yes, ai-input=yes, ai-train=no Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml ``` robots.txt isteğe bağlıdır. ChatGPT-User, Perplexity-User ve kullanıcı isteğiyle çalışan diğer fetcher'lar kuralların kendileri için geçerli olmayabileceğini söylüyor; bazı ajanların ise hiç token'ı yok. Engellemeyi uygulamak için istekleri yayımlanmış IP listeleriyle veya imzalarla eşleştirin ve güvenlik duvarınızda ya da WAF'ınızda reddedin. [Dizindeki tüm botları görün →](https://dotsagent.io/tr/agent-ready/bots) ## Oluşturulan dosya nasıl çalışır? ### Crawler kendi grubundaki kuralları izler User-agent satırında kendi token'ını bulan bir crawler o gruptaki kuralları izler ve User-agent: * altındaki kuralları atlar. Bu nedenle oluşturucu, ada göre izin verdiğiniz botlar için özel yolları tekrarlar ve engellenen botlara tek bir Disallow: / kuralı verir. ### Bazı token'lar hiç tarama yapmaz Google-Extended ve Applebot-Extended'ın kendilerine ait bir user agent'ı yoktur. Sayfaları Googlebot ve Applebot getirir; genişletilmiş token'lar ise Google'a ve Apple'a bu içeriğin modellerini eğitmek için kullanılıp kullanılamayacağını bildirir. Google, Google-Extended'ı Gemini'ye dayanak sağlamak için de kullanır. ### Çoğu operatör eğitim ve aramayı ayrı tutar OpenAI, Anthropic, Amazon ve Mistral eğitim ve arama için ayrı token'lar kullanır. Bu nedenle No training ön ayarı, içeriklerinizin bu şirketlerin arama ürünlerinde kullanılmasına izin verir. İstisna Meta'dır: meta-externalagent hem eğitim hem de indeksleme için kullanılır. ### Applebot, Googlebot kurallarını yedek olarak kullanır Dosyanızda Applebot grubu yoksa Apple, Applebot'un bunun yerine Googlebot kurallarını izlediğini söylüyor. Applebot da Amazonbot gibi Crawl-delay kuralını yok sayar; Anthropic ise ClaudeBot'un bu kurala uyduğunu belirtiyor. ## robots.txt ve AI botları hakkında sorular ### ChatGPT aramasında kalırken GPTBot'u nasıl engellerim? GPTBot için Disallow kullanın ve OAI-SearchBot'a izin verin. GPTBot eğitim verisi toplar, OAI-SearchBot ChatGPT araması için sayfaları indeksler, ChatGPT-User ise bir kişinin istediği sayfaları getirir. OpenAI, her birinin kendi IP listesiyle birlikte üçünü de tek bir sayfada açıklıyor. ### Google-Extended'ı engellemek sitemi Google Arama'dan çıkarır mı? Google-Extended, kendine ait bir user agent'ı olmayan bir kontrol token'ıdır; taramayı Googlebot yapar. Google-Extended için Disallow kullanmak, Google'a içeriğinizi Gemini eğitimi ve Gemini'ye dayanak sağlamak için kullanmamasını söyler. Google Arama için nelerin taranacağını ise Googlebot kurallarınız belirler. ### AI crawler'ları Crawl-delay kuralına uyar mı? Bazıları uyar. Anthropic, ClaudeBot'un bu kurala uyduğunu söylüyor; Apple ve Amazon ise Applebot ve Amazonbot'un uymadığını belirtiyor. Güvenilir seçenek, sunucunuzda hız sınırlaması uygulamaktır. ### ChatGPT-User'ı engellediğim hâlde neden sitemi ziyaret ediyor? OpenAI, sayfayı bir kişi istediği için robots.txt kurallarının ChatGPT-User için geçerli olmayabileceğini söylüyor. Perplexity-User, Amzn-User ve meta-externalfetcher için de benzer uyarılar var. Operatör bir IP listesi yayımlıyorsa istekleri bu listeyle eşleştirin ve güvenlik duvarınızda engelleyin. ### robots.txt içindeki Content-Signal ne işe yarar? İçeriğin alındıktan sonra nasıl kullanılabileceğini üç sinyalle belirtir: search, ai-input ve ai-train; her biri yes veya no olarak ayarlanır. Bir tercihi ifade eder ve hiçbir şeyi engellemez. Cloudflare'ın Markdown for Agents özelliği varsayılan olarak ai-train=yes, search=yes, ai-input=yes değerlerini ekler; bu özelliği kullanıyorsanız çıktısını kontrol edin. ## Kaynaklar 1. [rfc-editor.org](https://www.rfc-editor.org/rfc/rfc9309)/rfc/rfc9309 2. [contentsignals.org](https://contentsignals.org/)/ 3. [developers.google.com](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)/search/docs/crawling-indexing/google-common-crawlers AI agent geliştirenler için bağımsız bir başvuru kaynağıdır. Burada adı geçen hiçbir sağlayıcıyla bağlantısı yoktur. © 2026 DotsAgent · Bilgiler 1 Ekim 2026 tarihinde kontrol edildi