OpenAI
OAI-SearchBotاكتشاف البحثقابل للتحكم
زاحف بحث من OpenAI لإظهار المواقع وربطها في بحث ChatGPT.
مستقل عن GPTBot؛ السماح به لا يسمح بالزحف للتدريب.
سياسة ROBOTS · مصفوفة المصادر الرسمية
حدّد كيف يتعامل robots.txt مع زواحف الذكاء الاصطناعي.
افصل بين الاكتشاف عبر البحث وتدريب النماذج والاسترجاع بطلب المستخدم. لا نولّد إلا المجموعات التي تصفها الوثائق الحالية بأنها قابلة للتحكم.
ابدأ بموقف تشغيلي
يملأ الإعداد المسبق كل الرموز القابلة للتحكم، ويمكن تعديل كل توجيه قبل النسخ.
مصفوفة التحكم
قرار صريح لكل رمز
لا تدخل المسودة إلا الصفوف القابلة للتحكم. تشرح الصفوف الإرشادية سلوك طلبات المستخدم ولا تنشئ قواعد مضللة.
الرمزالغرضتوجيهك
OpenAI
GPTBotتدريب النموذجقابل للتحكم
زاحف OpenAI لمحتوى قد يُستخدم في تدريب النماذج الأساسية.
المنع إشارة للمحتوى المستقبلي وهو منفصل عن الظهور في بحث ChatGPT.
OpenAI
ChatGPT-Userاسترجاع المستخدمللمعلومة فقط
عامل OpenAI يعمل بطلب المستخدم وليس زاحف ويب آلياً.
تقول OpenAI إن robots.txt قد لا ينطبق؛ لذلك لا نولّد مجموعة له.
للمعلومة فقط
Anthropic
ClaudeBotتدريب النموذجقابل للتحكم
زاحف Anthropic لمحتوى ويب قد يساهم في التدريب.
تذكر Anthropic حالياً أن bots التابعة لها تحترم robots.txt.
Anthropic
Claude-SearchBotاكتشاف البحثقابل للتحكم
زاحف بحث من Anthropic لتحسين جودة النتائج.
اتخذ قراره منفصلاً عن وصول ClaudeBot للتدريب.
Anthropic
Claude-Userاسترجاع المستخدمقابل للتحكم
عامل Anthropic يعمل استجابة لطلب المستخدم.
توثق Anthropic التحكم عبر robots.txt؛ وقد يقلل منعه الاسترجاع الذي يطلبه المستخدم.
Google
Google-Extendedرمز تحكم وليس HTTP User-Agentالتدريب + groundingقابل للتحكم
رمز Google للتحكم في تدريب Gemini وgrounding عبر Google Search.
لا يملك HTTP User-Agent مستقلاً ولا يؤثر في إدراج Google Search أو ترتيبه.
Perplexity
PerplexityBotاكتشاف البحثقابل للتحكم
زاحف بحث من Perplexity لإظهار المواقع وربطها.
تقول Perplexity إنه لا يُستخدم لتدريب النماذج الأساسية.
Perplexity
Perplexity-Userاسترجاع المستخدمللمعلومة فقط
عامل Perplexity بطلب المستخدم وليس bot للزحف أو التدريب.
تقول Perplexity إنه يتجاهل robots.txt عادةً؛ لذلك لا نولّد مجموعة له.
للمعلومة فقط
تاريخ مراجعة الحقائق · 2026-08-12
ملاحظات التحكم الرسمية
افتح أحدث وثائق المورد قبل النشر. قد تتغير المنتجات وسلوك الزواحف بعد هذه المراجعة.
OpenAI
ضوابط مستقلة لـ OAI-SearchBot وGPTBot وسلوك ChatGPT-User بطلب المستخدم.
فتح المصدر الرسميAnthropic
إرشادات robots لـ ClaudeBot وClaude-SearchBot وClaude-User.
فتح المصدر الرسميGoogle
وثائق Google-Extended بوصفه رمز تحكم.
فتح المصدر الرسميPerplexity
أدوار PerplexityBot وPerplexity-User وسلوكهما مع robots.
فتح المصدر الرسميحدود النشر
النص الناتج محدود عمداً. استخدمه للمراجعة لا بديلاً كاملاً للملف.
- 01ادمجه في robots.txt الحالي؛ فقد يمحو استبدال الملف توجيهات بحث أخرى.
- 02راجع المصادر مرة أخرى قبل النشر؛ قد تتغير الأسماء والأغراض وسلوك robots.
- 03قد يمنع WAF أو CDN أو المضيف أو حظر IP زاحفاً يسمح به robots.txt.
- 04لا يضمن robots.txt الوصول أو الفهرسة أو الظهور أو الذكر أو الاستشهاد. تختلف عوامل المستخدم في سلوكها.
قبل النشر
هل يضمن Allow وصول محرك ذكاء اصطناعي أو استشهاده؟
لا. robots.txt إشارة لتفضيل الزحف. تبقى الشبكة وأنظمة المورد والصلة وسلوك المنتج عوامل مستقلة.
لماذا لا تُنشأ مجموعتا ChatGPT-User وPerplexity-User؟
تصف وثائقهما طلبات مستخدم قد لا ينطبق عليها robots.txt أو يُتجاهل عادةً. إنشاء قاعدة سيبالغ في قدرة التحكم.
هل أستبدل robots.txt الحالي بهذه النتيجة؟
لا. ادمج المجموعات المراجعة فقط، واحتفظ بقواعد البحث والأصول، ثم اختبر الاستجابة المنشورة.