استراتيجية تقسيم robots.txt
احجب التدريب، أبقِ الاسترجاع
قبل تعديل robots.txt، ميّز بين التدريب وفهرسة البحث والجلب بطلب المستخدم. يشرح الدليل ضوابط كل مزوّد وGoogle-Extended وفحوص CDN وقالب الفصل بين الأغراض. السماح بالوصول لا يضمن الاستشهاد أو الزيارات المُحالة.
v1.0 · يونيو 2026 · Tenten GEO Research
CH.01
ثمن الحجب الشامل: ما تحجبه ليس الزاحف، بل حركة العودة
قد يمنع الحظر الشامل زواحف البحث مع زواحف التدريب. حدّد أغراض التدريب والبحث والجلب بطلب المستخدم لدى كل مزوّد قبل اختيار ما تسمح به؛ فالضوابط والاستثناءات تختلف.
يحجب معظم الناس زواحف الذكاء الاصطناعي بحجة «لا أريد أن يؤخذ محتواي للتدريب». الحجة نفسها صحيحة، والخطأ في التنفيذ: يكتبون في robots.txt السطر User-agent: * ثم Disallow: /، أو يضغطون زر «Block AI Bots» في Cloudflare ظنًّا أن ذلك يحجب التدريب فقط. لكنك في الواقع تحجب معه «زاحف الاسترجاع» الذي يُشغّل الاستشهادات في إجابات ChatGPT وPerplexity وClaude — وهو بالذات النوع الذي يُعيد حركة الزيارات إلى موقعك.
افرد النِّسب أمامك وستفهم لماذا الضربة الواحدة هدر. تُظهر ملاحظات Cloudflare في مايو 2026 أن 51.8% من طلبات زواحف الذكاء الاصطناعي هي تدريب صرف، و35.7% مختلطة الاستخدام، وفقط 9.3% استرجاع صرف. ما تريد حجبه فعلًا — حركة التدريب — يتجاوز النصف؛ وما يُمنَع عليك حجبه قطعًا — الاسترجاع الصرف — لا يبلغ العُشر. الحجب الشامل بضربة واحدة يعني أنك، كي تطرد أكثر من نصف الزوار، تُقفل الباب أيضًا في وجه ذلك الأقل من العُشر، وهو الزائر الوحيد الذي يُعيد إليك المال.
تركيبة طلبات زواحف الذكاء الاصطناعي: تدريب مقابل مختلط مقابل استرجاع
Cloudflare (2026.5) ملاحظات حركة زواحف الذكاء الاصطناعي
المصدر: Cloudflare (2026.5). الاسترجاع الصرف 9.3% فقط — وهو بالذات النوع الذي يُعيد المستخدم إلى موقعك، ومع ذلك يُقتَل خطأً في الغالب ضمن الضربة الواحدة. هذا الرسم البياني متاح للعموم بالكامل، ونرحّب بالاقتباس مع ذكر المصدر: Tenten GEO «احجب التدريب، أبقِ الاسترجاع».
كم يبلغ الثمن؟ 87.4%
يُشغّل ChatGPT 87.4% من حركة الإحالة من الذكاء الاصطناعي (Conductor). حجب زاحف الاسترجاع الخاص به يعني أنك بيدك تُغلق أكبر صنبور لحركة الذكاء الاصطناعي في هذه المرحلة. ما تُوفّره من عرض نطاق التدريب يُحسَب بالكيلوبايت، وما تخسره من حركة العودة يُحسَب بالإيراد — وأنّى حسبتَها فأنت الخاسر.
للتدريب والبحث ضوابط منفصلة. تميّز OpenAI بين GPTBot وOAI-SearchBot، وAnthropic بين ClaudeBot وClaude-SearchBot. يتحكم Google-Extended في تدريب Gemini وبعض استخدامات grounding، دون التأثير في الإدراج أو الترتيب في Google Search. هذه الفروق لا تثبت ضمانًا عامًا للترتيب أو الاستشهاد.
CH.02
الزواحف: الأغراض والضوابط
قد يستخدم المزوّد وكلاء مختلفين للتدريب وفهرسة البحث والجلب بطلب المستخدم. راجع الغرض والضابط الموثّق لكل اسم؛ الانتماء إلى الشركة نفسها لا يجعل القواعد قابلة للتبادل.
يجمع GPTBot محتوى قد يُستخدم في التدريب، بينما يدعم OAI-SearchBot بحث ChatGPT. يتولى ChatGPT-User بعض الزيارات بطلب المستخدم ولا يحدد الإدراج في Search. تميّز Anthropic بين ClaudeBot وClaude-SearchBot وClaude-User للتدريب والبحث وطلبات المستخدم. وصول البحث يساعد على اكتشاف المحتوى، لكنه لا يضمن رابط مصدر في كل إجابة.
| اسم الـ Bot | الغرض | أبقِ / احجب | المحرك التابع له / الغرض |
|---|---|---|---|
| GPTBot | تدريب | احجب | جمع OpenAI لمحتوى قد يُستخدم في تدريب النماذج الأساسية |
| OAI-SearchBot | استرجاع | أبقِ | يدعم بحث ChatGPT؛ منفصل عن زيارات ChatGPT-User بطلب المستخدم |
| ChatGPT-User | استرجاع (فوري) | أبقِ | وصول بطلب المستخدم؛ قد لا تنطبق قواعد robots.txt |
| ClaudeBot | تدريب | احجب | تدريب نماذج Anthropic (NoHacks / Rankry) |
| Claude-SearchBot | استرجاع | أبقِ | فهرسة المحتوى لبحث Claude؛ يتولى Claude-User طلبات المستخدم |
| CCBot | تدريب | احجب | Common Crawl، يُغذّي تدريب نماذج متعددة |
| PerplexityBot | استرجاع | أبقِ | نتائج بحث Perplexity وروابطها؛ ليس لتدريب النماذج الأساسية |
| Googlebot | استرجاع / ترتيب | أبقِ | زحف Google Search؛ تتطلب روابط الذكاء الاصطناعي الفهرسة وأهلية المقتطفات، دون ضمان الظهور |
| Google-Extended | ضبط التدريب / Grounding | حسب الحاجة | رمز تحكم robots لتدريب Gemini وبعض استخدامات grounding في Gemini/Vertex، وليس user-agent مستقلًا في HTTP؛ لا يؤثر في الإدراج أو الترتيب في Google Search |
| Bingbot | استرجاع / ترتيب | أبقِ | بحث Bing وMicrosoft Copilot |
تختلف أغراض التدريب والبحث وطلبات المستخدم لدى المزوّدين. يتحكم Google-Extended أيضًا في grounding؛ وصول البحث وحده لا يضمن الاستشهاد.
خلاصة الفصل
اعتمد على الوكيل والغرض الموثّقين رسميًا، لا على تخمين الاسم. يمنع رفض OAI-SearchBot المحتوى من الظهور في إجابات بحث ChatGPT، مع احتمال بقاء روابط التنقل. للجلب بطلب المستخدم قواعد مختلفة؛ وجود Search أو User في الاسم لا يثبت سلوكًا متطابقًا.
CH.03
إعداد تقسيم دقيق: كتابة robots.txt سطرًا سطرًا
حدّد مجموعة robots.txt المطابقة لـ product token الخاص بالزاحف. وفق RFC 9309 تُدمج المجموعات المطابقة، وتُستخدم مجموعة * عند غياب المطابقة. داخل المجموعة المطبّقة تُستخدم قاعدة المسار الأطول المطابق؛ وإذا تكافأت Allow وDisallow تُفضّل Allow.
يمكن لمجموعة مسمّاة تتضمن Allow: / أن تسمح بزاحف بحث حتى لو احتوت المجموعة الافتراضية User-agent: * على Disallow: /. حذف المجموعة المسمّاة لا يعني السماح، فقد يطبّق الزاحف قيد wildcard. تحقّق من المجموعة والمسار المطبّقين، لا من ترتيب السطور.
- →سياسة التدريب: لتقييد GPTBot وClaudeBot وCCBot، أنشئ مجموعات User-agent منفصلة مع Disallow: /. قرّر بشأن Google-Extended على حدة؛ إذ يقيّد Disallow أيضًا استخدامات grounding المشمولة، لا التدريب وحده.
- →وصول البحث: يمكن ضبط User-agent: OAI-SearchBot مع Allow: / وفحص Claude-SearchBot وPerplexityBot كلٌّ على حدة. يعمل ChatGPT-User بطلب المستخدم وقد لا تنطبق عليه robots.txt؛ ويتجاهلها Perplexity-User عادةً. تقول Anthropic إن وكلاءها الثلاثة يحترمون robots.txt.
- →محركات البحث — أبقِها مسموحةً حتمًا: حافظ على Googlebot وBingbot قابلَين للزحف بالكامل، ولا تخلطهما بزواحف تدريب الذكاء الاصطناعي
- →افحص قاعدة wildcard الافتراضية: قد يمنع User-agent: * مع Disallow: / وكلاء بلا مجموعة مسمّاة مطابقة، لكنه لا يتجاوز تلقائيًا المجموعات المطابقة الصريحة. robots.txt تعليمات زحف، وليس تحكمًا إلزاميًا في الوصول.
سقف robots.txt
robots.txt تعليمات زحف وليست قفلًا للخادم. تقول Anthropic إن وكلاءها يحترمونها؛ وتحذّر OpenAI من احتمال عدم تطبيقها على ChatGPT-User، وتقول Perplexity إن Perplexity-User يتجاهلها عادةً. استخدم ضوابط الاستضافة أو CDN عند الحاجة إلى إنفاذ المنع، وتحقّق من هوية الوكيل بدل الثقة باسمه وحده.
CH.04
التحكم على طبقة CDN: الجدار الذي يحجب فعلًا
لنبدأ بالخلاصة: robots.txt طلبٌ، وCDN تنفيذٌ. إن كنت تحتاج «حجبًا مضمونًا» لا «رجاءً مهذبًا»، فيجب وضع التحكم بالوصول على طبقة الخادم أو CDN، بقاعدة user-agent تردّ بـ 403، لا الاكتفاء بكتابته في robots.txt.
لماذا؟ لأن robots.txt بلا قوة إلزام. زاحفٌ ينتحل user-agent أو يتجاهل القواعد ببساطة يظل قادرًا على سحب الدليل الذي وضعت عليه Disallow. وحين يكون هدفك أمرًا له مصلحة فعلية مثل «ألّا أُستخدم في التدريب»، فاللوحة وحدها لا تكفي — تحتاج أن يعترضه CDN/WAF بحسب user-agent مباشرةً قبل أن يصل الطلب إلى المحتوى.
| طبقة التحكم | الآلية | ما يصلح لها | القيد |
|---|---|---|---|
| robots.txt | إعلان توجيهي (التزام طوعي) | تقسيم التدريب/الاسترجاع للزواحف الرئيسية المنضبطة | بلا قوة إلزام، يُتجاهَل أو يُلتفّ عليه بالانتحال |
| قواعد CDN / WAF | ردّ 403 / اعتراض بحسب user-agent | حجب زواحف التدريب قسرًا، حجب «يصمد فعلًا» | تحتاج صيانة صحيحة للقائمة، دون إيذاء زواحف الاسترجاع |
| حجب Cloudflare بضغطة | قاعدة مُدارة بزر Block AI Bots واحد | توفير الجهد | غالبًا يحجب زواحف الاسترجاع معًا، ضربة واحدة عالية الخطورة |
مقارنة طبقات التحكم الثلاث بالوصول — robots.txt يتولّى إعلان التقسيم، وCDN/WAF يتولّى التنفيذ القسري، والحجب الشامل بضغطة هو الأسهل والأخطر
الحل الصحيح بدمج الطبقتين
اكتب في robots.txt نيّة التقسيم بوضوح (أبقِ الاسترجاع، احجب التدريب)، ودع CDN/WAF يضيف الاعتراض القسري لزواحف التدريب «التي يجب حجبها». إياك ثم إياك أن تستخدم في CDN قاعدة مُدارة تقول «احجب كل زواحف الذكاء الاصطناعي» — فتلك طريق مختصرة لتُغلق بيدك حركة العودة البالغة 87.4% الواردة في الفصل الأول (Conductor). وعند ضبط القواعد، أدرِج صراحةً OAI-SearchBot وClaude-SearchBot وPerplexityBot وسائر زواحف الاسترجاع في القائمة البيضاء المسموح بها.
CH.05
التحقق من السريان: تأكّد أن زاحف الاسترجاع ما زال يدخل
لنبدأ بالخلاصة: أن تنتهي من الإعداد لا يعني أنك أصبتَه. أخطر فشل في التقسيم هو «الحجب الخاطئ بصمت» — تظن أنك حجبت التدريب فقط، بينما حجبت الاسترجاع أيضًا، دون أي رسالة خطأ. عليك التحقق بفعالية، لا الافتراض.
هدف التحقق واحد فقط: تأكيد أن «زواحف التدريب التي يجب حجبها محجوبة، وزواحف الاسترجاع التي يجب إبقاؤها سالكة». افحص الطرفين معًا — أن تفحص حجب التدريب فقط دون فحص سماح الاسترجاع يعني أنك تحققت من نصف العمل. الخطوات الخمس التالية تُنجَز جولة منها في غضون نصف ساعة.
STEP 1
افحص سجلّ وصول الخادم
قارن استجابات 200 أو 403 أو 429 لطلبات الزواحف التي تحققت من هويتها بالسياسة المقصودة. لا ينتج Disallow في robots.txt استجابة 403 بنفسه؛ فهذا يتطلب قاعدة إنفاذ في الاستضافة أو CDN. افحص قيود التدريب ووصول البحث بصورة منفصلة.
STEP 2
اختبر فعليًا بانتحال user-agent عبر curl
استخدم curl -A لفحص استجابة الاستضافة أو CDN لسلسلة وكيل محددة. توقّع 403 للتدريب فقط عند وجود قاعدة منع نافذة. يختبر ذلك القاعدة، لا هوية زاحف حقيقي أو سلوكه؛ وقارن الطلبات الفعلية بنطاقات IP وسجلات المزوّد.
STEP 3
طابِق تحليل robots.txt
أدخِل كل user-agent واحدًا تلو الآخر في أداة اختبار robots.txt، وتأكّد أن OAI-SearchBot/Claude-SearchBot/PerplexityBot تُقيَّم Allowed، وأن GPTBot/ClaudeBot/CCBot تُقيَّم Disallowed. وافحص خصوصًا ألّا يكون قد بقي User-agent: * مع Disallow: / يؤذي زواحف الاسترجاع خطأً.
STEP 4
اختبر فعليًا بالسؤال داخل محركات الذكاء الاصطناعي
اسأل ChatGPT وPerplexity عن علامتك وموضوعاتك، وسجّل عناوين URL المستشهد بها كملاحظات على الإجابات. قد يأتي الاستشهاد من فهرس قائم؛ وجوده لا يثبت جلبًا جديدًا، وغيابه وحده لا يثبت حظر الوصول.
STEP 5
راقب حركة العودة من الذكاء الاصطناعي
تابع الزيارات من chatgpt.com وperplexity.ai كملاحظات على النتائج. تغيير الوصول لا يضمن ثبات الزيارات أو ارتفاعها. عند حدوث تغير، افحص السجلات وسياسة الزحف والأسباب الأخرى قبل نسبته إلى زاحف محظور.
خلاصة الفصل
ترتيب التحقق هو «الآلة أولًا، الإجابة ثانيًا»: أكّد أولًا سلاسة طبقة الزاحف عبر السجلّ وcurl (STEP 1–3)، ثم أكّد الأثر بالسؤال الفعلي وحركة العودة (STEP 4–5). إن قفزت طبقة الآلة ونظرت إلى الإجابة مباشرةً، فستحسب «الفهرسة لم تُحدَّث بعد» على أنه «فشل في الإعداد»، ثم تتخبّط فتُصلِح المكان الخطأ.
CH.06
قالب إعداد التقسيم: انسخ، الصق، انتهيت
لنبدأ بالخلاصة: لا داعي للكتابة من الصفر. قالب robots.txt التالي قد حجب لك التدريب وأبقى الاسترجاع — اشرحه سطرًا بسطر، غيّر النطاق إلى نطاقك، ويصبح جاهزًا للنشر.
طريقة الاستخدام: اكتب أوامر الجدول أدناه بالترتيب في ملف /robots.txt بجذر موقعك. كل زاحف تدريب كتلة مستقلة (سطر User-agent، سطر Disallow)؛ وزواحف الاسترجاع لها Allow صريح؛ وفي الختام أبقِ Sitemap. وتذكّر أن تقرنه بالفصل الرابع — أضِف هذه الزواحف «التي يجب حجبها» بالتزامن إلى قواعد الاعتراض القسري في CDN/WAF.
| User-agent | الأمر | الشرح |
|---|---|---|
| GPTBot | Disallow: / | يقيّد وصول GPTBot للتدريب؛ يُضبط OAI-SearchBot بصورة منفصلة |
| ClaudeBot | Disallow: / | احجب تدريب Anthropic |
| CCBot | Disallow: / | احجب Common Crawl (مصدر تدريب لنماذج متعددة) |
| Google-Extended | Disallow: / | رمز تحكم robots لتدريب Gemini وبعض استخدامات grounding في Gemini/Vertex، وليس user-agent مستقلًا في HTTP؛ لا يؤثر في الإدراج أو الترتيب في Google Search |
| OAI-SearchBot | Allow: / | يدعم بحث ChatGPT؛ منفصل عن زيارات ChatGPT-User بطلب المستخدم |
| ChatGPT-User | Allow: / | وصول بطلب المستخدم؛ قد لا تنطبق قواعد robots.txt |
| Claude-SearchBot | Allow: / | فهرسة المحتوى لبحث Claude؛ يتولى Claude-User طلبات المستخدم |
| PerplexityBot | Allow: / | أبقِه — فهرسة إجابات Perplexity |
| Googlebot | Allow: / | زحف Google Search؛ تتطلب روابط الذكاء الاصطناعي الفهرسة وأهلية المقتطفات، دون ضمان الظهور |
| Bingbot | Allow: / | أبقِه — Bing وCopilot |
| (نهاية الملف) | Sitemap: https://نطاقك/sitemap.xml | ليجد كل زاحف مسموح قائمة المحتوى الكاملة |
قالب سياسة توضيحي: أربع مجموعات Disallow وست مجموعات Allow. يقيّد Google-Extended أيضًا grounding المشمول؛ وتعبر Allow لـ ChatGPT-User عن النية. راجع نطاق كل مزوّد وسياسة موقعك قبل الاستخدام.
الكلمة الأخيرة
في 2026، ثمن حجب user-agent واحد بالخطأ هو أن تُحذَف بصمت من أكبر بوابة لحركة الذكاء الاصطناعي في العالم (ChatGPT، 87.4% من حركة الإحالة من الذكاء الاصطناعي، Conductor) — ودون أي رسالة خطأ تنبّهك. احجب التدريب، أبقِ الاسترجاع. ليست مسألة اختيارٍ بين الفعل وتركه، بل مسألة حياة أو موت لما إن كنت لا تزال تريد أن يُستشهد بك.
المصادر والمنهجية
تُنسب نسب الطلبات المذكورة 51.8% / 35.7% / 9.3% إلى Cloudflare (مايو 2026)، ونسبة الزيارات المُحالة بالذكاء الاصطناعي 87.4% إلى Conductor. تختلف المقاييس ولا ينبغي جمعها. روجعت أغراض الزواحف واستثناءاتها في 5 أكتوبر 2026 وفق الوثائق الرسمية: https://developers.openai.com/api/docs/bots ; https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler ; https://docs.perplexity.ai/docs/resources/perplexity-crawlers ; https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers . تتبع قواعد مجموعات robots.txt ومساراتها RFC 9309: https://www.rfc-editor.org/rfc/rfc9309 . القوالب أمثلة لسياسات يجب التحقق منها وفق بنية موقعك، وليست وصفًا لسياسة هذا الموقع المنشورة أو ضمانًا للترتيب أو الاستشهاد أو الإيرادات.
© 2026 Tenten GEO · نرحّب باقتباس محتوى هذه الورقة البيضاء، مع ذكر المصدر.
ناقش أولوياتك في البحث بالذكاء الاصطناعي
اطلب تفسيرًا للمعيار المقارن في 30 دقيقةأرسل طلب الحجز، وسنؤكد الموعد عبر البريد الإلكتروني خلال 24 ساعة.