اجعل موقعك مقروءًا لوكلاء الذكاء الاصطناعي
تقرأ زواحف ووكلاء الذكاء الاصطناعي موقعك بطريقة تختلف عن قراءة الأشخاص له. تنشئ الأدوات أدناه الملفات التي يبحثون عنها، ويوضح المرجع التالي أي الأعراف معايير وأيها مسودات، وعدد العملاء الذين يستخدمونها فعليًا.
مولّد llms.txt
أدخل اسمًا وملخصًا وأقسامًا للروابط، ثم انسخ ملفًا بتنسيق llmstxt.org.
robots.txt لروبوتات الذكاء الاصطناعي
حدّد سياسة لكل غرض من أغراض الروبوتات، وفعّل زواحف بعينها أو أوقفها، وأضف Content-Signal، ثم نزّل النتيجة.
فهرس API
أدرج واجهات API مع ملفات OpenAPI والوثائق الخاصة بها، واحصل على linkset وفق RFC 9727 وكتلة إعداد nginx لتقديمه.
دليل روبوتات الذكاء الاصطناعي
40 زاحفًا ووكيلًا مع رموزها وأغراضها وسلوكها تجاه robots.txt وقوائم عناوين IP المنشورة.
الأعراف ومدى رسوخ كل منها
الحالة حتى أكتوبر 2026. يرتبط كل بند بالمواصفة أو بالأدلة ذات الصلة، لتتمكن من تقدير ما يستحق الجهد على موقعك.
robots.txt معيار
يسمّي الملف الموجود في جذر موقعك الزواحف بحسب الرمز، ويسرد المسارات التي ينبغي لكل زاحف تخطيها؛ وهو موحّد في RFC 9309. تنشر الجهات المشغّلة لأنظمة الذكاء الاصطناعي الآن رموزًا منفصلة للتدريب والبحث والجلب بطلب من المستخدم، لذا يمكن لملف واحد رفض التدريب مع السماح بالبحث. الالتزام طوعي، وتذكر عدة أدوات جلب بطلب من المستخدم أن هذه القواعد قد لا تنطبق عليها.
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /Content-Signal مستخدم على نطاق واسع
سطر إضافي واحد في robots.txt يوضح كيفية استخدام المحتوى الذي جرى جلبه: search وai-input وai-train، وتُضبط قيمة كل منها على yes أو no. أصدرت Cloudflare هذا السطر كسياسة بترخيص CC0 في سبتمبر 2025، وتقدمه على نحو 3.8 مليون نطاق من خلال ملف robots.txt المُدار لديها. انتهت صلاحية مسودة IETF المقابلة في 4 أبريل 2026، بينما تواصل مجموعة عمل AIPREF التابعة لـ IETF العمل على مسودة للمفردات.
User-agent: *
Content-Signal: ai-train=no, search=yes, ai-input=yes
Allow: /llms.txt مقترح
ملف Markdown في /llms.txt يتضمن اسمًا في عنوان H1، وملخصًا ضمن اقتباس، وأقسامًا بعناوين H2 تحتوي على روابط، كي يتمكن الوكيل من الوصول إلى صفحاتك الأساسية من دون تحليل عناصر التنقل. نُقّحت المواصفة في llmstxt.org بتاريخ 10 أغسطس 2026، ولا يشملها llms-full.txt. لا نملك تصريحًا من أي مشغّل يؤكد أن أيًّا من برامج الزحف الرئيسية يقرأ هذا الملف.
# Acme API
> Card payments for small online shops.
## Docs
- [Quickstart](https://example.com/docs/quickstart.md): first requestنسخ Markdown من الصفحات اعتماد جزئي
انشر نسخة Markdown من كل صفحة في page.md أو page.html.md، أو قدّم Markdown لأي طلب يطلب فيه ترويسة Accept النوع text/markdown. في اختبار Checkly الذي أُجري في فبراير 2026، أرسلت Claude Code وCursor وOpenCode تلك الترويسة، بينما لم ترسلها Codex وGemini CLI وGitHub Copilot وWindsurf. أحصى AnswerShare عدد 1,277,965 طلبًا من برامج الزحف المتقدمة، ولم يطلب أيٌّ منها Markdown.
GET /docs/quickstart HTTP/1.1
Host: example.com
Accept: text/markdownفهرس واجهات API معيار
تخصص RFC 9727، المنشورة في يونيو 2025، المسار /.well-known/api-catalog لقائمة بواجهات API العامة، مع رابط لكل واجهة إلى وصفها القابل للقراءة آليًا ووثائقها وصفحة حالتها. يجب أن يكون نوع الاستجابة application/linkset+json، ويمكن للصفحات الأخرى الإشارة إليها بعلاقة الرابط api-catalog.
{
"linkset": [
{
"anchor": "https://api.example.com/v1",
"service-desc": [{ "href": "https://api.example.com/v1/openapi.json" }]
}
]
}طلبات الوكلاء الموقّعة (Web Bot Auth) مسودة
يوقّع الوكلاء كل طلب باستخدام HTTP Message Signatures (RFC 9421)، ويحدّدون مشغّلهم في ترويسة Signature-Agent. تحقّق من صحة التوقيع باستخدام المفاتيح التي ينشرها ذلك المشغّل ضمن /.well-known/http-message-signatures-directory. تعود مسودة مجموعة عمل IETF إلى 1 سبتمبر 2026؛ ويوقّع ChatGPT agent بالفعل باسم https://chatgpt.com، فيما تختبر Google https://agent.bot.goog.
Signature-Agent: "https://chatgpt.com"NLWeb متوقف
يوفّر NLWeb من Microsoft للمواقع نقطتي النهاية /ask و/mcp، اللتين تتيحان للوكلاء إرسال استعلامات باللغة الطبيعية، وقد وصلت مواصفته إلى الإصدار 0.55. تفيد Lumar بأن شهادة nlweb.ai انتهت صلاحيتها في 4 August 2026، وأن المستودع لم يشهد نشاطًا منذ June؛ لذا انتظر قبل الاعتماد عليه.
وكلاء لا يعلنون عن أنفسهم
بعض الوكلاء لا ينشرون رمزًا في robots.txt، ويتصفحون كما يفعل المستخدم؛ لذلك لا يمكن لأي قاعدة User-agent الوصول إليهم. يوقّع وكيل ChatGPT طلباته باستخدام Web Bot Auth، ويرسل Signature-Agent: "https://chatgpt.com"، ويمكنك التحقق من ذلك باستخدام دليل المفاتيح لدى OpenAI؛ وتُصنّف Cloudflare حركة المرور هذه على أنها chatgpt-agent. أما Gemini Spark في وضع Chrome المحلي وMuse من Meta، فلا توجد لهما أي إشارة موثّقة.
أسئلة حول المواقع الجاهزة للوكلاء
ما الذي يجعل الموقع جاهزًا للوكلاء؟
لا يوجد معيار واحد يحدّد ذلك. عمليًا، يعني هذا وجود ملف robots.txt يذكر روبوتات الذكاء الاصطناعي بحسب الغرض، وملفات اختيارية مثل llms.txt وكتالوج API، ونسخ Markdown للصفحات الأساسية، وطريقة للتحقق من الوكلاء الذين تسمح لهم بالدخول. من بين هذه العناصر، لا يوجد سوى robots.txt وكتالوج API منشورين بوصفهما RFC.
هل تقرأ زواحف الذكاء الاصطناعي llms.txt؟
لا تتوفر لدينا وثائق من أي مشغّل تفيد بأن زاحفًا في دليلنا يجلب هذا الملف. يتحقق Lighthouse من وجود الملف، ويمكن لوكيل توجّهه إليه قراءته كأي صفحة أخرى. تعامل معه على أنه وسيلة تيسير للوكلاء، لا ميزة للبحث.
هل ينبغي أن أحظر زواحف الذكاء الاصطناعي على موقعي؟
اتخذ القرار بحسب الغرض، لا بحظرها جميعًا دفعة واحدة. يمكنك رفض رموز التدريب مثل GPTBot وClaudeBot وGoogle-Extended من دون التأثير في البحث. أما حظر رموز البحث مثل OAI-SearchBot أو PerplexityBot فيُخرج موقعك من تلك المنتجات بالكامل.
هل يمكنني حظر وكيل ChatGPT باستخدام robots.txt؟
لا، لأنه لا ينشر رمزًا. يمكنك التعرّف عليه من خلال توقيع Web Bot Auth الصادر عن https://chatgpt.com، والسماح له أو منعه على خادمك أو شبكة CDN. يثبت التوقيع الصحيح هوية المشغّل الذي أرسل الطلب، لا هوية المستخدم أو ما يُسمح له بفعله.
هل Content-Signal معيار رسمي؟
لا. إنها سياسة CC0 من Cloudflare، أُطلقت في September 2025 وتُقدَّم على نحو 3.8 مليون نطاق عبر ملف robots.txt المُدار من Cloudflare. انتهت صلاحية مسودة IETF الخاصة بها في 4 April 2026، ولا تزال مجموعة عمل AIPREF تصوغ مفردات مشتركة.