دليل برامج زحف الذكاء الاصطناعي ووكلائه
كل روبوت ذكاء اصطناعي تمكّنا من التحقق منه، مع الرمز المستخدم في robots.txt، والغرض الذي يجلب الصفحات من أجله، وما إذا كان مشغّله يصرّح بالتزامه بالقواعد، وكيفية التحقق من أن الطلب صادر عنه بالفعل. نوضّح في الصفحات المخصّصة لها الرموز المعروفة فقط من سجل المجتمع ai.robots.txt.
| الروبوت | الرمز | الغرض | يلتزم بـ robots.txt | التحقّق |
|---|---|---|---|---|
| GPTBot | GPTBot | التدريب | نعم | قائمة عناوين IP |
| OAI-SearchBot | OAI-SearchBot | البحث | نعم | قائمة عناوين IP |
| ChatGPT-User | ChatGPT-User | جلب المستخدم | لا | قائمة عناوين IP |
| OAI-AdsBot | OAI-AdsBot | الإعلانات | غير مذكور | قائمة عناوين IP |
| ChatGPT agent | لا يوجد رمز | الوكلاء | غير مذكور | طلبات موقّعة |
| ClaudeBot | ClaudeBot | التدريب | نعم | قائمة عناوين IP |
| Claude-SearchBot | Claude-SearchBot | البحث | نعم | قائمة عناوين IP |
| Claude-User | Claude-User | جلب المستخدم | نعم | قائمة عناوين IP |
| Googlebot | Googlebot | البحث | نعم | قائمة عناوين IP |
| Google-Extended | Google-Extended | التدريب | نعم | — |
| Google-CloudVertexBot | Google-CloudVertexBot | البحث | نعم | قائمة عناوين IP |
| GoogleOther | GoogleOther | التدريب | نعم | قائمة عناوين IP |
| Google-Agent | Google-Agent | الوكلاء | لا | قائمة عناوين IP |
| Google-GeminiNotebook | Google-GeminiNotebook | جلب المستخدم | لا | قائمة عناوين IP |
| Gemini Spark | لا يوجد رمز | الوكلاء | غير مذكور | — |
| Gemini-Deep-Research | Gemini-Deep-Research | جلب المستخدم | غير مذكور | — |
| GoogleAgent-Mariner | GoogleAgent-Mariner | الوكلاء | غير مذكور | — |
| Applebot | Applebot | البحث | نعم | قائمة عناوين IP |
| Applebot-Extended | Applebot-Extended | التدريب | نعم | — |
| PerplexityBot | PerplexityBot | البحث | نعم | قائمة عناوين IP |
| Perplexity-User | Perplexity-User | جلب المستخدم | لا | قائمة عناوين IP |
| meta-externalagent | meta-externalagent | التدريب | نعم | — |
| meta-webindexer | meta-webindexer | البحث | نعم | — |
| meta-externalfetcher | meta-externalfetcher | جلب المستخدم | لا | — |
| meta-externalads | meta-externalads | الإعلانات | نعم | — |
| facebookexternalhit | facebookexternalhit | جلب المستخدم | لا | — |
| Muse | لا يوجد رمز | الوكلاء | غير مذكور | — |
| Amazonbot | Amazonbot | التدريب | نعم | قائمة عناوين IP |
| Amzn-SearchBot | Amzn-SearchBot | البحث | نعم | قائمة عناوين IP |
| Amzn-User | Amzn-User | جلب المستخدم | لا | قائمة عناوين IP |
| DuckAssistBot | DuckAssistBot | البحث | نعم | قائمة عناوين IP |
| MistralAI-User | MistralAI-User | جلب المستخدم | نعم | قائمة عناوين IP |
| MistralAI-Index | MistralAI-Index | البحث | نعم | قائمة عناوين IP |
| MistralAI-Training | MistralAI-Training | التدريب | نعم | — |
| CCBot | CCBot | التدريب | نعم | قائمة عناوين IP |
| cohere-ai | cohere-ai | جلب المستخدم | غير مذكور | — |
| Bytespider | Bytespider | التدريب | لا | — |
| YouBot | YouBot | البحث | غير مذكور | — |
| Diffbot | Diffbot | البحث | غير مذكور | — |
| Timpibot | Timpibot | التدريب | غير مذكور | — |
معاني الأغراض
- التدريب
- يجمع الصفحات لتدريب النماذج أو للزحف البحثي العام. Google-Extended وApplebot-Extended رمزان للتحكّم، ولا يجلبان أي محتوى بنفسيهما.
- البحث
- يفهرس الصفحات لمنتج بحث، بدءًا من Google Search وصولًا إلى محركات الإجابة بالذكاء الاصطناعي مثل بحث ChatGPT وPerplexity وDuckAssist. حظره يمنع ظهور موقعك في ذلك المنتج.
- جلب المستخدم
- يجلب صفحةً استجابةً لطلب شخص عبر محادثة أو أداة. ويشير عدد من المشغّلين إلى أن robots.txt قد لا ينطبق على هذه الطلبات.
- الوكلاء
- يتصفّح وينفّذ المهام نيابةً عن المستخدم، غالبًا باستخدام متصفح كامل. لا تملك روبوتات كثيرة منها رمزًا، وقد لا يمكن التعرّف عليها إلا عبر التوقيع، إن أمكن ذلك أصلًا.
- الإعلانات
- يتحقق من الصفحات المقصودة للإعلانات التي يقدّمها المعلنون. لا تُدرج هذه الروبوتات في مولّد robots.txt.
تحقّق من هوية البوت
من السهل تزوير سلسلة User-Agent. ينشر معظم مشغّلي البوتات الكبار نطاقات IP التي تستخدمها بوتاتهم في ملفات JSON، ويُشار إليها في الجدول بعبارة «قائمة IP». قارِن عنوان الطلب بالقائمة الخاصة بذلك الرمز، ولا تعتبر تطابق الاسم وحده دليلاً موثوقاً على الهوية.
يوثّق بعض المشغّلين أيضاً نظام DNS العكسي. على سبيل المثال، توضح Common Crawl أن مضيفات CCBot تُحلّ إلى *.crawl.commoncrawl.org؛ فتحقّق من أن اسم المضيف يُحلّ مجدداً إلى العنوان نفسه قبل الوثوق به.
بدأت الوكلاء توقّع الطلبات بشكل متزايد باستخدام HTTP Message Signatures (RFC 9421) بموجب مسودة Web Bot Auth. يحدّد الطلب المشغّل في Signature-Agent، ويمكنك التحقّق منه باستخدام المفاتيح العامة الموجودة في /.well-known/http-message-signatures-directory على نطاق ذلك المشغّل. يثبت التوقيع الصحيح هوية المشغّل، لا هوية المستخدم الذي يقف وراء الطلب ولا ما يُسمح لذلك المستخدم بفعله.
أنشئ robots.txt من هذه القائمة →
أسئلة عن زواحف الذكاء الاصطناعي
أي زواحف الذكاء الاصطناعي تتجاهل robots.txt؟
وفقاً لوثائق مشغّليها، قد لا تلتزم ChatGPT-User وPerplexity-User وGoogle-Agent وGoogle-GeminiNotebook وAmzn-User وmeta-externalfetcher وfacebookexternalhit به، وغالباً لأن المستخدم هو من طلب جلب الصفحة. وتشير تقارير المجتمع إلى أن Bytespider لا يحترمه.
ما الفرق بين GPTBot وOAI-SearchBot وChatGPT-User؟
يجمع GPTBot الصفحات لتدريب نماذج OpenAI، ويفهرس OAI-SearchBot الصفحات لاستخدامها في البحث عبر ChatGPT، بينما يجلب ChatGPT-User صفحةً عندما يطلبها شخص ما. يلتزم الأولان بـ robots.txt؛ وتقول OpenAI إن قواعده قد لا تنطبق على الثالث.
أي وكلاء الذكاء الاصطناعي ليس لديهم رمز robots.txt؟
ChatGPT agent وGemini Spark وMuse من Meta. يمكن التحقّق من ChatGPT agent عبر توقيع Web Bot Auth الخاص به من https://chatgpt.com. أما Gemini Spark في وضع Chrome المحلي فيبدو كأنه متصفح المستخدم نفسه، وليس لدى Muse سلسلة User-Agent منشورة.
كيف أتحقّق من أن الطلب صادر فعلاً عن Googlebot؟
تنشر Google نطاقات IP الخاصة بـ Googlebot في ملف JSON مرتبط من مدخله في هذا الدليل. تحقّق من عنوان الطلب بمقارنته بهذه النطاقات بدلاً من الوثوق بسلسلة User-Agent.
ما مصدر قائمة بوتات الذكاء الاصطناعي هذه؟
يرتبط كل إدخال بوثائق المشغّل متى توفرت، أما الرموز التي لا توثيق لها فمن سجل المجتمع ai.robots.txt. استبعدنا DeepSeekBot وKimi-User وManus-User وNovaAct وDevin وPetalBot لعدم عثورنا على وثائق من مشغّليها. راجعنا القائمة في 1 October 2026.