Sitenizi AI ajanlarının okuyabileceği hâle getirin
AI crawler'ları ve ajanları sitenizi insanlardan farklı biçimde okur. Aşağıdaki araçlar, aradıkları dosyaları oluşturur. Araçların ardından gelen başvuru kaynağı ise hangi kuralların standart, hangilerinin taslak olduğunu ve bunları gerçekte kaç istemcinin kullandığını açıklar.
llms.txt oluşturucu
Bir ad, özet ve bağlantı bölümleri girin; llmstxt.org biçiminde bir dosya oluşturup kopyalayın.
AI botları için robots.txt
Her bot amacı için bir politika belirleyin, crawler'ları tek tek açıp kapatın, Content-Signal ekleyin ve sonucu indirin.
API kataloğu
API'lerinizi OpenAPI dosyaları ve dokümantasyonlarıyla listeleyin; sunmak üzere bir RFC 9727 linkset'i ve nginx bloğu alın.
AI bot dizini
Token'ları, amaçları, robots.txt davranışları ve yayımlanmış IP listeleriyle 40 crawler ve ajan.
Kurallar ve ne kadar yerleşik oldukları
Ekim 2026 itibarıyla durum. Her madde, spesifikasyona veya dayanak kanıtlara bağlantı verir; böylece siteniz için harcanacak emeğe değip değmeyeceğine karar verebilirsiniz.
robots.txt Standart
Sitenizin kök dizinindeki bu dosya, crawler'ları token'larına göre tanımlar ve her birinin atlaması gereken yolları listeler; RFC 9309 ile standartlaştırılmıştır. AI operatörleri artık eğitim, arama ve kullanıcı tarafından başlatılan getirme işlemleri için ayrı token'lar yayımlıyor. Böylece tek bir dosyayla eğitimi reddederken aramaya izin verebilirsiniz. Kurallara uymak isteğe bağlıdır ve kullanıcı tarafından başlatılan bazı veri getiriciler bu kuralların kendileri için geçerli olmayabileceğini belirtiyor.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /Content-Signal Yaygın olarak kullanılıyor
Alınan içeriğin nasıl kullanılabileceğini belirten tek bir robots.txt satırı: search, ai-input ve ai-train değerlerinin her biri yes veya no olarak ayarlanır. Cloudflare bunu Eylül 2025'te CC0 politikası olarak yayımladı ve yönetilen robots.txt dosyası aracılığıyla yaklaşık 3.8 million alan adında sunuyor. Buna karşılık gelen IETF taslağının süresi 4 April 2026 tarihinde doldu; IETF AIPREF çalışma grubu ise bir söz varlığı taslağı üzerinde çalışmaya devam ediyor.
User-agent: *
Content-Signal: ai-train=no, search=yes, ai-input=yes
Allow: /llms.txt Öneri
H1 başlık olarak bir ad, blockquote biçiminde bir özet ve bağlantıların yer aldığı H2 bölümlerinden oluşan /llms.txt konumundaki Markdown dosyası; böylece bir agent, gezinme menüsünü ayrıştırmadan önemli sayfalarınıza ulaşabilir. llmstxt.org'daki spesifikasyon 10 August 2026 tarihinde güncellendi; llms-full.txt spesifikasyonun parçası değil. Büyük crawler'ların bu dosyayı okuduğunu belirten herhangi bir operatör açıklaması yok.
# Acme API
> Card payments for small online shops.
## Docs
- [Quickstart](https://example.com/docs/quickstart.md): first requestSayfaların Markdown sürümleri Kısmi benimsenme
Her sayfanın Markdown kopyasını page.md veya page.html.md konumunda yayımlayın ya da Accept başlığında text/markdown isteyen isteklere Markdown yanıtı verin. Checkly'nin February 2026 testinde Claude Code, Cursor ve OpenCode bu başlığı gönderirken Codex, Gemini CLI, GitHub Copilot ve Windsurf göndermedi. AnswerShare, frontier crawler'lardan gelen 1,277,965 isteği saydı ve bunların hiçbirinde Markdown istenmedi.
GET /docs/quickstart HTTP/1.1
Host: example.com
Accept: text/markdownAPI kataloğu Standart
June 2025'te yayımlanan RFC 9727, herkese açık API'lerinizin listesini barındırmak üzere /.well-known/api-catalog konumunu ayırır. Listedeki her API; makine tarafından okunabilir açıklamasına, dokümantasyonuna ve durum sayfasına bağlantı verir. Yanıtın application/linkset+json olması gerekir; diğer sayfalar da api-catalog link relation'ı ile bu kataloğa işaret edebilir.
{
"linkset": [
{
"anchor": "https://api.example.com/v1",
"service-desc": [{ "href": "https://api.example.com/v1/openapi.json" }]
}
]
}İmzalı agent istekleri (Web Bot Auth) Taslak
Agent'lar her isteği HTTP Message Signatures (RFC 9421) ile imzalar ve Signature-Agent başlığında operatörlerini belirtir. İmzayı, operatörün /.well-known/http-message-signatures-directory konumunda yayımladığı anahtarlarla doğrularsınız. IETF çalışma grubu taslağı 1 September 2026 tarihli; ChatGPT agent şimdiden https://chatgpt.com olarak imza atıyor, Google ise https://agent.bot.goog ile denemeler yapıyor.
Signature-Agent: "https://chatgpt.com"NLWeb Durakladı
Microsoft'un NLWeb'i, agent'ların doğal dille sorgulayabileceği /ask ve /mcp endpoint'leri sunuyor; spesifikasyonun sürümü 0.55. Lumar, nlweb.ai sertifikasının 4 August 2026 tarihinde süresinin dolduğunu ve deponun June ayından beri etkin olmadığını bildiriyor. Bu nedenle üzerine bir şey inşa etmeden önce bekleyin.
Kendini tanıtmayan agent'lar
Bazı agent'lar robots.txt token'ı yayımlamaz ve kullanıcı gibi gezinir; bu nedenle hiçbir User-agent kuralı onlara ulaşamaz. ChatGPT agent, isteklerini Web Bot Auth ile imzalar ve Signature-Agent: "https://chatgpt.com" başlığını gönderir. Bu imzayı OpenAI'ın anahtar dizinine göre doğrulayabilirsiniz. Cloudflare bu trafiği chatgpt-agent olarak etiketler. Yerel Chrome modundaki Gemini Spark ve Meta'nın Muse'u için belgelenmiş herhangi bir sinyal yoktur.
Agent'lara hazır siteler hakkında sorular
Bir web sitesini agent'lara hazır yapan nedir?
Bunu tanımlayan tek bir standart yok. Uygulamada, AI botlarını amaçlarına göre belirten bir robots.txt, isteğe bağlı llms.txt ve API kataloğu gibi dosyalar, önemli sayfaların Markdown sürümleri ve sitenize kabul ettiğiniz agent'ları doğrulama yöntemi anlamına gelir. Bunlardan yalnızca robots.txt ve API kataloğu yayımlanmış RFC'lerdir.
AI crawler'ları llms.txt dosyasını okur mu?
Dizinimizdeki herhangi bir crawler'ın bu dosyayı getirdiğini belirten bir operatör belgesi bulamadık. Lighthouse dosyanın mevcut olup olmadığını kontrol eder; dosyayı gösterdiğiniz bir agent da diğer sayfalar gibi okuyabilir. llms.txt'yi arama özelliği olarak değil, agent'lara kolaylık sağlayan bir dosya olarak değerlendirin.
Sitemde AI crawler'larını engellemeli miyim?
Hepsini birden engellemek yerine, amaca göre karar verin. GPTBot, ClaudeBot ve Google-Extended gibi eğitim token'larını engellemek, aramayı etkilemez. OAI-SearchBot veya PerplexityBot gibi arama token'larını engellerseniz bu ürünlerde hiç görünmezsiniz.
ChatGPT agent'ı robots.txt ile engelleyebilir miyim?
Hayır; çünkü bir token yayımlamaz. Onu https://chatgpt.com adresinden gelen Web Bot Auth imzasıyla tanıyabilir ve sunucunuzda veya CDN'inizde izin verebilir ya da engelleyebilirsiniz. Geçerli bir imza isteği hangi operatörün gönderdiğini doğrular; kullanıcının kim olduğunu veya neler yapabileceğini değil.
Content-Signal resmi bir standart mı?
Hayır. Cloudflare tarafından yayımlanan, CC0 lisanslı bir politikadır. September 2025'te kullanıma sunulmuş ve Cloudflare'ın yönetilen robots.txt özelliği üzerinden yaklaşık 3.8 million alan adında yayımlanmıştır. IETF taslağının süresi 4 April 2026 tarihinde doldu; AIPREF çalışma grubu ise hâlâ ortak bir söz varlığı üzerinde çalışıyor.