قدرة زواحف الذكاء الاصطناعي ليست بلا حدود، وهي تستنزف جهدها على الصفحات الخاطئة أكثر مما قد تتوقع. ففي موقع متوسط أو كبير، قد يذهب أكثر من نصف عمليات الزحف اليومية التي ينفذها GPTBot أو ClaudeBot أو PerplexityBot إلى عناوين URL لن يُستشهد بها أبداً، مثل صفحات الترقيم ومعلمات التصفية وصفحات الحملات القديمة. والنتيجة أن صفحات المنتجات ومقالات المقارنة التي تريد فعلاً أن يقتبس منها الذكاء الاصطناعي تصبح الأقل تكراراً في إعادة الزحف والأبطأ تحديثاً. تحسين ميزانية الزحف يعني إعادة توصيل هذا الأنبوب بالمخرج الصحيح.
كلما زحف الذكاء الاصطناعي إلى صفحات أكثر، كان ذلك أفضل.
ارتبط مفهوم ميزانية الزحف (crawl budget) في السابق أساساً بـGoogle، ويقصد به حجم الزحف الذي يرغب محرك البحث في تخصيصه لموقعك. ويتحدد بعاملين: مقدار الحمل الذي يستطيع الخادم تحمله (crawl rate limit)، ومدى استحقاق موقعك للزحف في نظر المحرك (crawl demand). أما في عصر GEO، فقد ارتفع عدد اللاعبين من محرك واحد إلى نحو اثني عشر، ولكل منهم شهية مختلفة ومستوى مختلف من مراعاة الخادم. وتشير سجلات بعض المواقع إلى أن حجم زحف ClaudeBot وGPTBot أصبح قريباً من زحف Googlebot التقليدي، بل تجاوزه أحياناً. ومعظم هذه الزواحف لا ينفذ JavaScript، ويتأثر بسرعة الاستجابة، ولا يتعامل بذكاء تلقائي مع الكم الكبير من عناوين URL منخفضة القيمة؛ فما تقدمه له سيزحف إليه.
اعرف أولاً من ينفق ميزانيتك
قبل أن تبدأ التحسين، عليك معرفة الجهة التي تستهلك الميزانية. تؤدي زواحف الذكاء الاصطناعي أغراضاً مختلفة؛ فبعضها مخصص لتدريب النماذج، وبعضها للاسترجاع الفوري ولا يزحف إلا عندما يطرح المستخدم سؤالاً أثناء المحادثة، وبعضها يجمع بين الوظيفتين. وهذا الاختلاف يحدد ما إذا كنت ستسمح له بالوصول، وأي أجزاء الموقع ينبغي أن يزحف إليها أولاً. فيما يلي أكثر الزواحف ظهوراً حالياً في سجلات معظم مواقع B2B. احتفظ بأسماء وكيل المستخدم الخاصة بها، لأنك ستحتاج إليها عند تحليل السجلات وضبط robots.txt.
- GPTBot (لتدريب نماذج OpenAI)، وOAI-SearchBot (للبحث الفوري في ChatGPT)
- ClaudeBot/Claude-User (للتدريب والاسترجاع الفوري لدى Anthropic)
- PerplexityBot/Perplexity-User (لفهرسة Perplexity والزحف الفوري)
- Google-Extended (يتحكم في إمكانية استخدام Gemini لمحتواك، ولا يؤثر في ترتيب نتائج البحث العامة)
- Amazonbot وBytespider وMeta-ExternalAgent (مصادر زحف كثيفة الاستهلاك كثيراً ما يُستهان بحجمها)
ثلاث إشارات إلى تسرّب ميزانية الزحف
- أكثر من نصف طلبات الزواحف في السجل يصل إلى عناوين URL تتضمن معلمات بعلامة استفهام أو خيارات للفرز والتصفية، بدلاً من صفحات المحتوى الأساسية.
- مرّ أكثر من أسبوعين أو ثلاثة أسابيع منذ آخر زيارة لزواحف الذكاء الاصطناعي إلى الصفحات المهمة، مثل مقالات المقارنة المنشورة حديثاً وصفحات الأسعار ودراسات الحالة.
- تصطدم الزواحف مراراً بأخطاء 404 أو عمليات إعادة توجيه 301 أو صفحات تستغرق ثلاث أو أربع ثوانٍ للاستجابة؛ وفي كل مرة يُهدر جزء من الميزانية.
تزداد المشكلة وضوحاً كلما اتسع الموقع. فموقع صور لا يضم سوى 30 صفحة لا يحتاج غالباً إلى القلق بشأن ميزانية الزحف. لكن وجود تصنيفات للتجارة الإلكترونية أو ترقيم لصفحات المدونة أو نسخ متعددة اللغات أو تنقل قائم على عوامل تصفية تولّد عدداً كبيراً من تركيبات المعلمات، كفيل بأن يرفع عدد عناوين URL القابلة للزحف إلى عشرات أضعاف عدد صفحات المحتوى الفعلية. ميزانية الزاحف محدودة، وعناوين URL الإضافية لن تمنحك زحفاً إضافياً؛ بل ستقلل فرصة وصوله إلى الصفحات المهمة.
اكتشف مواضع التسرّب عبر سجلات الخادم
لا جدوى من التخمين؛ عليك الرجوع إلى السجلات. فسجل الوصول إلى الخادم هو المصدر الأدق لبيانات ميزانية الزحف. بعد تصفية وكلاء المستخدم الخاصة بزواحف الذكاء الاصطناعي، يمكنك قياس ثلاثة أمور: عدد مرات زحف كل وكيل، وأنواع عناوين URL التي تتوزع عليها طلباته، ونسبة الاستجابات بحسب رمز الحالة (200، 301، 404، 5xx). يتركز معظم الهدر عادةً في أنماط محدودة، منها تركيبات المعلمات التي تولدها عوامل التصفية متعددة الأوجه، وصفحات نتائج البحث داخل الموقع، والترقيم غير المنتهي، وصفحات الحملات القديمة التي كان ينبغي إغلاقها منذ زمن. ابدأ بالقياس لتعرف أي جزء من الأنبوب يحقق أكبر وفر عند إغلاقه. تخبرك أدوات تتبع الظهور، مثل مراقبة الظهور في الذكاء الاصطناعي، بما إذا كان قد جرى الاستشهاد بك؛ أما السجلات فتخبرك أين تقضي الزواحف وقتها. ولا تكتمل الصورة إلا بمقارنة الاثنين.
ستة إجراءات لإعادة الميزانية إلى الصفحات المهمة
- استخدم Disallow في robots.txt لحظر نتائج البحث داخل الموقع ومعلمات التصفية وسلال التسوق وغيرها من المسارات التي لا حاجة إلى زحفها، فتوفّر الطلبات من المنبع مباشرةً.
- اضبط canonical للصفحات المكررة أو شبه المكررة كي يركز الزاحف ميزانيته على النسخة الأساسية بدلاً من زيارة كل صيغة بديلة للترتيب.
- أزل سلاسل إعادة التوجيه 301 والروابط الداخلية المعطلة المؤدية إلى 404؛ فكل عملية إعادة توجيه زائدة يتبعها الزاحف تعني صفحة فعلية أقل يمكنه زيارتها.
- حافظ على خريطة موقع XML نظيفة لا تضم سوى عناوين URL القابلة للفهرسة، واجعل lastmod يعكس وقت التحديث بدقة كي تساعد الزواحف على تحديد الصفحات التي تستحق العودة وإعادة الزحف.
- استخدم الروابط الداخلية لتوجيه الأهمية ومسارات الزحف نحو الصفحات الأساسية؛ فمعظم زواحف الذكاء الاصطناعي لا يشغّل JavaScript. لذلك يجب أن تستخدم القوائم والمقالات ذات الصلة روابط HTML فعلية، لا أن تعتمد على التوليد الديناميكي في الواجهة الأمامية.
- قلّل الزمن حتى أول بايت (TTFB) وحجم الصفحة. فكلما تسارعت الاستجابة، استطاع الزاحف زيارة صفحات أكثر ضمن الميزانية نفسها.
قدّم إلى زاحف الذكاء الاصطناعي صفحات «الإجابات» أولاً.
ينبغي إنفاق الميزانية التي وفّرتها على المحتوى الصحيح. في GEO، تستحق الأولوية وإعادة الزحف المتكرر الصفحات التي تجيب عن السؤال مباشرةً، وتتمتع ببنية واضحة، ويسهل استخراج محتواها بصورة نظيفة: صفحات المصطلحات ذات التعريف الدقيق، ومقالات المقارنة المدعومة بأرقام محددة، والأدلة الإرشادية ذات الخطوات الواضحة، وصفحات المنتجات التي تتضمن أسئلة شائعة. هذه هي المصادر الأرجح لأن تستشهد بها محركات الذكاء الاصطناعي عند توليد الإجابات. ضعها في الجزء المتقدم من خريطة الموقع، واربط إليها داخلياً من مواضع متعددة، وحافظ على حداثة محتواها. بذلك ترسل إلى الزواحف رسالة واضحة: هذا مكان يستحق الزيارة المتكررة. وفي المقابل، أبقِ صفحات الشكر وتسجيل الدخول وصفحات الوسوم ذات التمرير اللانهائي خارج مسارها.
لم يكن الهدف من تحسين ميزانية الزحف يوماً زيادة حجم الزحف في حد ذاته، بل جعل كل زيارة تصل إلى صفحة تريد أن يستشهد بها الذكاء الاصطناعي.— Tenten GEO Consulting Team
هذه ليست مهمة تُنجز مرة واحدة. فالموقع سيولد معلمات جديدة، وسيطلق فريق التسويق صفحات حملات جديدة، وقد ينتج عن تحديث الموقع مزيد من روابط إعادة التوجيه. ستظل منافذ هدر ميزانية الزحف تظهر، لذا ينبغي إدراج تحليل السجلات ضمن المهام الدورية كل ربع سنة، مع متابعة معدل وصول الزواحف والفاصل بين مرات إعادة الزحف إلى الصفحات المهمة. إذا لم تكن متأكداً أين تقضي زواحف الذكاء الاصطناعي وقتها حالياً داخل موقعك، أو ما الصفحات الجديرة بالاستشهاد التي لا تصل إليها إطلاقاً، يمكنك حجز جلسة تشخيص GEO مدتها 30 دقيقة، وسنستخدم سجلات خادمك لتحديد مواضع التسرّب.
