Yapay zekâ botları için robots.txt oluşturucu
Her tür yapay zekâ botu için bir politika seçin, tek tek crawler'lar için bu politikayı değiştirin ve RFC 9309'a uygun bir dosya kopyalayın. Eğitim, arama ve kullanıcı tarafından tetiklenen fetch işlemleri ayrı token'lar kullanır; böylece birini engelleyip diğerine izin verebilirsiniz.
# Tüm site için engellenen AI crawler'ları
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: GoogleOther
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: CCBot
User-agent: Bytespider
User-agent: Timpibot
Disallow: /
# İzin verilen AI crawler'ları; özel yollar hariç
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Googlebot
User-agent: Google-CloudVertexBot
User-agent: Google-Agent
User-agent: Google-GeminiNotebook
User-agent: Gemini-Deep-Research
User-agent: GoogleAgent-Mariner
User-agent: Applebot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: facebookexternalhit
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: cohere-ai
User-agent: YouBot
User-agent: Diffbot
Disallow: /admin/
Disallow: /api/
# Diğer tüm crawler'lar
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Disallow: /admin/
Disallow: /api/
Sitemap: https://example.com/sitemap.xml
robots.txt isteğe bağlıdır. ChatGPT-User, Perplexity-User ve kullanıcı isteğiyle çalışan diğer fetcher'lar kuralların kendileri için geçerli olmayabileceğini söylüyor; bazı ajanların ise hiç token'ı yok. Engellemeyi uygulamak için istekleri yayımlanmış IP listeleriyle veya imzalarla eşleştirin ve güvenlik duvarınızda ya da WAF'ınızda reddedin.
Oluşturulan dosya nasıl çalışır?
Crawler kendi grubundaki kuralları izler
User-agent satırında kendi token'ını bulan bir crawler o gruptaki kuralları izler ve User-agent: * altındaki kuralları atlar. Bu nedenle oluşturucu, ada göre izin verdiğiniz botlar için özel yolları tekrarlar ve engellenen botlara tek bir Disallow: / kuralı verir.
Bazı token'lar hiç tarama yapmaz
Google-Extended ve Applebot-Extended'ın kendilerine ait bir user agent'ı yoktur. Sayfaları Googlebot ve Applebot getirir; genişletilmiş token'lar ise Google'a ve Apple'a bu içeriğin modellerini eğitmek için kullanılıp kullanılamayacağını bildirir. Google, Google-Extended'ı Gemini'ye dayanak sağlamak için de kullanır.
Çoğu operatör eğitim ve aramayı ayrı tutar
OpenAI, Anthropic, Amazon ve Mistral eğitim ve arama için ayrı token'lar kullanır. Bu nedenle No training ön ayarı, içeriklerinizin bu şirketlerin arama ürünlerinde kullanılmasına izin verir. İstisna Meta'dır: meta-externalagent hem eğitim hem de indeksleme için kullanılır.
Applebot, Googlebot kurallarını yedek olarak kullanır
Dosyanızda Applebot grubu yoksa Apple, Applebot'un bunun yerine Googlebot kurallarını izlediğini söylüyor. Applebot da Amazonbot gibi Crawl-delay kuralını yok sayar; Anthropic ise ClaudeBot'un bu kurala uyduğunu belirtiyor.
robots.txt ve AI botları hakkında sorular
ChatGPT aramasında kalırken GPTBot'u nasıl engellerim?
GPTBot için Disallow kullanın ve OAI-SearchBot'a izin verin. GPTBot eğitim verisi toplar, OAI-SearchBot ChatGPT araması için sayfaları indeksler, ChatGPT-User ise bir kişinin istediği sayfaları getirir. OpenAI, her birinin kendi IP listesiyle birlikte üçünü de tek bir sayfada açıklıyor.
Google-Extended'ı engellemek sitemi Google Arama'dan çıkarır mı?
Google-Extended, kendine ait bir user agent'ı olmayan bir kontrol token'ıdır; taramayı Googlebot yapar. Google-Extended için Disallow kullanmak, Google'a içeriğinizi Gemini eğitimi ve Gemini'ye dayanak sağlamak için kullanmamasını söyler. Google Arama için nelerin taranacağını ise Googlebot kurallarınız belirler.
AI crawler'ları Crawl-delay kuralına uyar mı?
Bazıları uyar. Anthropic, ClaudeBot'un bu kurala uyduğunu söylüyor; Apple ve Amazon ise Applebot ve Amazonbot'un uymadığını belirtiyor. Güvenilir seçenek, sunucunuzda hız sınırlaması uygulamaktır.
ChatGPT-User'ı engellediğim hâlde neden sitemi ziyaret ediyor?
OpenAI, sayfayı bir kişi istediği için robots.txt kurallarının ChatGPT-User için geçerli olmayabileceğini söylüyor. Perplexity-User, Amzn-User ve meta-externalfetcher için de benzer uyarılar var. Operatör bir IP listesi yayımlıyorsa istekleri bu listeyle eşleştirin ve güvenlik duvarınızda engelleyin.
robots.txt içindeki Content-Signal ne işe yarar?
İçeriğin alındıktan sonra nasıl kullanılabileceğini üç sinyalle belirtir: search, ai-input ve ai-train; her biri yes veya no olarak ayarlanır. Bir tercihi ifade eder ve hiçbir şeyi engellemez. Cloudflare'ın Markdown for Agents özelliği varsayılan olarak ai-train=yes, search=yes, ai-input=yes değerlerini ekler; bu özelliği kullanıyorsanız çıktısını kontrol edin.