إذا لم تجد موقعك في نتائج البحث بالذكاء الاصطناعي، فربما لا تكمن المشكلة في جودة المحتوى، بل في أن برامج الزحف لا تستطيع قراءة الصفحة أصلًا. قد يحظر robots.txt برنامج GPTBot، أو يكون النص مخفيًا داخل عنصر لا يظهر إلا عبر JavaScript، أو تخلو الصفحة بالكامل من البيانات المنظَّمة. يكفي تحقق واحد من هذه الاحتمالات الثلاثة ليصبح المقال، مهما بلغت جودة صياغته، غير موجود بالنسبة إلى محرك الذكاء الاصطناعي. ولا تحتاج إلى انتظار تدقيق شامل يستغرق ثلاثين يومًا لاكتشاف مشكلة كهذه؛ يمكنك التحقق منها بنفسك في ثلاث خطوات وخلال خمس دقائق.
لنوضح الأمر أولًا: برامج زحف الذكاء الاصطناعي ليست Googlebot
يرسل كل محرك ذكاء اصطناعي برنامج الزحف الخاص به لجمع البيانات، ولكل برنامج معرّف user-agent وسلوك مختلفان عن Googlebot. والفارق الأهم أن Googlebot مستعد لتنفيذ JavaScript على الصفحة لأغراض التصنيف، بينما تكتفي معظم برامج زحف الذكاء الاصطناعي بجلب HTML الأصلي لتقليل الوقت والتكلفة، ولا تشغّل JavaScript إلا بشكل محدود أو لا تشغّله إطلاقًا. لذلك، لا تعني عبارة «الفهرسة في Google تعمل بصورة طبيعية» أن ChatGPT وPerplexity وClaude تستطيع قراءة موقعك. ينبغي إجراء الفحص من منظور برنامج زحف الذكاء الاصطناعي تحديدًا، لا بالاعتماد على قائمة SEO التقليدية.
الدقيقة الأولى: افتح robots.txt وتحقق مما إذا كان يحظر برامج زحف الذكاء الاصطناعي
أضف /robots.txt إلى نهاية نطاق موقعك وافتح الملف مباشرة. استخدم Ctrl+F للبحث عن الأسماء التالية، ثم تحقق مما إذا كانت محظورة بتوجيه Disallow أو غير مذكورة أصلًا؛ وعدم الذكر يعني عادةً السماح بالوصول. تحظر مواقع كثيرة برامج زحف الذكاء الاصطناعي «من دون قصد»، إذ قد تطبق شركة الأمن الخارجية أو خدمة CDN أو إحدى الإضافات قواعد افتراضية تمنع كل برنامج زحف عدا Googlebot، فتغلق الباب أيضًا أمام محركات الذكاء الاصطناعي.
- GPTBot: برنامج زحف تستخدمه OpenAI لجمع بيانات التدريب والاسترجاع. إذا حظرته، فلن يتمكن ChatGPT من الوصول إلى محتواك.
- OAI-SearchBot وChatGPT-User: يرتبطان ببحث ChatGPT والوصول الفوري إلى الصفحات عندما يطرح المستخدمون أسئلتهم.
- ClaudeBot: برنامج زحف يستخدمه Claude من Anthropic لجمع صفحات الويب واسترجاعها.
- PerplexityBot وPerplexity-User: يستخدمهما Perplexity لإنشاء الفهارس وقراءة الصفحات مباشرة.
- Google-Extended: يتحكم في السماح باستخدام المحتوى بواسطة Gemini. لن يؤثر حظره في ترتيبك المعتاد على Google، لكنه سيمنع ظهورك ضمن إجابات Gemini.
من الدقيقة 2 إلى 3: عطّل JavaScript وتحقق من بقاء المحتوى ظاهرًا
تختبر هذه الخطوة مسألة واحدة: هل النص «موجود فعلًا داخل HTML»، أم أنه لا يظهر إلا بعد أن يشغّل المتصفح JavaScript؟ أسرع طريقة هي تعطيل JavaScript من Chrome DevTools ثم إعادة تحميل الصفحة. ويمكنك إجراء اختبار مباشر أكثر بإضافة view-source: قبل عنوان URL، ثم فتح الشيفرة المصدرية واستخدام Ctrl+F للبحث عن جملة كاملة من مقالك. إذا لم تجد العنوان أو النص أو السعر، فهذه العناصر تُعرض من الواجهة الأمامية، وسيحصل برنامج الزحف الذي لا يقرأ سوى HTML على غلاف فارغ. انظر إلى الصفحة كما لو كنت تتصفحها نصيًا فقط: ما يراه برنامج الزحف هو وحده ما يستطيع الذكاء الاصطناعي اقتباسه.
من الدقيقة 4 إلى 5: تحقق من وجود Schema وصحتها
استخدم view-source كالمعتاد، وابحث هذه المرة عن application/ld+json لمعرفة ما إذا كانت الصفحة تتضمن بيانات منظَّمة وما إذا كان نوعها صحيحًا. ينبغي أن تتضمن صفحة المقال Article، وصفحة الشركة Organization، وصفحة الأسئلة والأجوبة FAQPage، وصفحة المنتج Product. لا ترفع Schema ترتيبك مباشرة؛ وظيفتها أن تمكّن الذكاء الاصطناعي من التحقق بأقل تكلفة من موضوع الصفحة، وهوية كاتبها، ومدى موثوقيتها. وهنا فخ شائع: Schema الخاطئة أسوأ من غيابها. فإذا زعمت الصفحة أنها من نوع FAQPage من دون أن تعرض الأسئلة والأجوبة المقابلة، أو لم يتطابق المؤلف أو التاريخ أو محتوى الوسم مع محتوى الصفحة، فقد يعدّ الذكاء الاصطناعي معلوماتها غير موثوقة ويصبح أقل استعدادًا للاستشهاد بها.
دليل مختصر في صفحة واحدة: ما الذي ينبغي أن تجده خلال خمس دقائق؟
- robots.txt: لا يحظر توجيه Disallow أيًا من برامج زحف الذكاء الاصطناعي المذكورة أعلاه، ولا يوجد حظر شامل للموقع يجمع بين User-agent: * وDisallow: /.
- العرض: بعد تعطيل JavaScript، يظل العنوان والنص الأساسي والأرقام المهمة، مثل السعر والمواصفات، مقروءة في HTML الأصلي.
- Schema: تتضمن الصفحة نوع JSON-LD المناسب، ويتطابق المحتوى المعلَّم مع ما يظهر على الشاشة، من دون بيانات مزيفة أو منتهية الصلاحية.
- اجتزت الاختبارات الثلاثة: أساس قابلية زحف الذكاء الاصطناعي سليم، ويمكنك الانتقال إلى تحسين المحتوى وبنية الاستشهاد.
- لم تجتز أحد الاختبارات: لا تتعجل في إنتاج المزيد من المحتوى؛ فهذا هو الخلل الذي ينبغي إصلاحه الآن.
قابلية زحف الذكاء الاصطناعي شرط أساسي للتأهل للاستشهاد، وليست ميزة إضافية. إن لم تستوفِ هذا الشرط، فلن يستطيع الذكاء الاصطناعي قراءة المحتوى أو اقتباسه مهما كانت جودته.— Tenten GEO Consulting Team
إذا اكتشفت أكثر من مشكلة، فما الذي ينبغي إصلاحه أولًا؟
للإصلاحات ترتيب واضح. ابدأ بإزالة الحظر من robots.txt؛ فقد يكفي تعديل سطر واحد من القواعد للسماح بالوصول، وهو الإصلاح الأكبر أثرًا، وعادةً ما يظهر مفعوله في اليوم نفسه. تأتي مشكلات العرض في المرتبة الثانية، لأن معظمها يحتاج إلى تدخل هندسي لتحويل المحتوى الأساسي إلى العرض من جانب الخادم، أو على الأقل تضمين النص في HTML الأصلي. تكلفتها أعلى، لكنها تحسم ما إذا كان الذكاء الاصطناعي يستطيع قراءة كلماتك. أضف Schema في النهاية؛ فهي تستكمل الأساس وترفعه إلى المستوى الأمثل، ولا تنقلك من صفر إلى واحد. باتباع هذا الترتيب، تسد أخطر الثغرات أولًا بأقل جهد.
يكشف هذا الفحص، الذي يستغرق خمس دقائق، معظم الثغرات الواضحة، لكنه لا يرصد المشكلات الأعمق؛ مثل اختلاف المحتوى الذي يعيده الخادم إلى برنامج زحف الذكاء الاصطناعي عن المحتوى المعروض للمستخدم العادي، أو ضعف ترابط الفقرات القابلة للاقتباس، أو عدم اتساق الكيانات وإشارات الموثوقية بين الصفحات. إذا أردت معرفة مواضع الخلل في هذه الطبقات، يمكنك حجز جلسة تشخيص GEO مدتها 30 دقيقة. سنطبّق منظور Tenten في تدقيق GEO، ونحوّل ثغرات قابلية الزحف لديك إلى قائمة إجراءات قابلة للبدء فورًا.
