الخلاصة أولًا: إذا حظرت Google-Extended، فلن يختفي موقعك من AI Overviews. كثيرًا ما يُخلط بين الأمرين، فيضيف البعض أمر حظر Google-Extended إلى robots.txt ظنًا منهم أنه سيمنع ملخصات Google المدعومة بالذكاء الاصطناعي من الاستشهاد بمحتواهم. ثم يكتشفون أن الملخص ما زال يظهر، بينما استُبعد المحتوى فقط من تدريب Gemini. وظيفة Google-Extended هي تحديد إمكانية استخدام المحتوى في تدريب النماذج التوليدية؛ أما استشهاد AI Overviews به، فيمر عبر مسار مختلف تمامًا.
ما Google-Extended تحديدًا؟
Google-Extended عنصر تحكم مستقل أطلقته Google في سبتمبر 2023. يُضاف إلى robots.txt لتحديد ما إذا كان يحق لـ Google استخدام صفحات موقعك في تدريب نماذج Gemini وتحسينها، وكذلك واجهة الذكاء الاصطناعي التوليدي في Vertex AI. لكن ثمة نقطة يسهل تفويتها: Google-Extended ليس برنامج زحف ولا يزور المواقع بنفسه. يتولى Googlebot عملية الزحف، بينما يعمل Google-Extended كمفتاح يحدد ما إذا كان المحتوى الذي جرى جمعه مؤهلًا للاستخدام في الذكاء الاصطناعي التوليدي.
لذلك لا يؤثر هذا الإعداد في إدراج الموقع ضمن نتائج بحث Google أو ترتيبه. حتى عند حظره، يواصل Googlebot الزحف إلى الصفحة، وتبقى مدرجة في فهرس البحث من دون تراجع في ترتيبها. وتوضح Google رسميًا أن حظر Google-Extended لا يغير موقع الصفحة في نتائج البحث. لهذا يشعر كثيرون بأن «لا شيء حدث» بعد تطبيق الإعداد؛ فمن منظور البحث، لم يتغير شيء بالفعل.
لماذا لا يؤثر حظر Google-Extended في AI Overviews؟
AI Overviews وAI Mode ميزتان ضمن بحث Google. وتأتي المصادر التي تستشهدان بها من فهرس البحث الذي ينشئه Googlebot، لا من Google-Extended. ما يحدد ظهورك كمصدر في AI Overviews هو حضورك في البحث العضوي: هل يمكن الزحف إلى الصفحة؟ هل أُدرجت في الفهرس؟ وهل تساعد بنية المحتوى الآلة على استخراج إجابة جاهزة وواضحة لإدراجها في الملخص؟ لا يتحكم مفتاح Google-Extended في أي جزء من هذا المسار.
كيفية إعداد Google-Extended في robots.txt
يوضع ملف robots.txt في الدليل الجذر للموقع. لمنع دخول المحتوى في تدريب Gemini بالكامل، استخدم Disallow مع هذا الرمز؛ وللسماح به، استخدم Allow أو لا تذكره أصلًا، لأن السماح هو الإعداد الافتراضي. ويمكن أيضًا تطبيق التحكم على مستوى المسار، كحظر منطقة الأعضاء أو أدلة محددة مع إبقاء بقية الموقع متاحًا. تعمل هذه القاعدة بصورة مستقلة عن قواعد Googlebot ولا تلغي إحداهما الأخرى، لذا يمكنك تعطيل التدريب مع إبقاء البحث مفعّلًا.
- حظر التدريب بالكامل: User-agent: Google-Extended ثم Disallow: /
- السماح بالكامل، وهو الإعداد الافتراضي: لا تكتب أي قاعدة، أو استخدم User-agent: Google-Extended ثم Allow: /
- حظر أدلة محددة فقط: استخدم User-agent: Google-Extended ثم Disallow: /members/، واترك بقية الموقع متاحًا
- بعد إتمام التعديل، استخدم أداة اختبار robots.txt في Google Search Console، أو افتح yourdomain.com/robots.txt مباشرة في المتصفح للتأكد من سريان الإعداد.
هل ينبغي حظره؟ ثلاث حالات تساعدك على القرار
يتوقف القرار على طبيعة المحتوى: هل هو أصل تجاري يحتاج إلى الحماية، أم مادة تسويقية تريد توسيع نطاق ظهورها أمام الجمهور والنماذج؟ تساعدك الحالات الثلاث التالية على تحديد الخيار الأنسب بسرعة.
- إذا كان المحتوى أصلًا قابلًا لتحقيق الإيرادات، مثل الأبحاث الأصلية أو المعرفة المدفوعة أو التقارير الحصرية، فالأرجح أن تحظر استخدامه في التدريب كي لا تقدمه للنماذج مجانًا، مع الاحتفاظ بفرص الاستشهاد به في البحث وAI Overviews.
- إذا كنت تدير منتج B2B SaaS وهدفك أن تظهر العلامة التجارية ضمن إجابات الذكاء الاصطناعي، فلا حاجة عادةً إلى الحظر. إتاحة المحتوى توسع ما يمكن للنماذج تعلمه عنه، وقد تزيد فرص توصية مساعد الذكاء الاصطناعي بعلامتك بصورة مباشرة.
- إذا كانت لديك اعتبارات متعلقة بالترخيص أو الامتثال القانوني أو حساسية المحتوى، فاحظر الأدلة المعنية تحديدًا بدلًا من فرض الحظر على الموقع كله، وأبقِ المحتوى التسويقي العام ضمن مواد التدريب المتاحة.
لا تخلط بين برامج زحف التدريب وبرامج زحف الاسترجاع
هذا أحد أكثر أخطاء GEO شيوعًا وكلفة. تنقسم برامج الزحف في عالم الذكاء الاصطناعي عمومًا إلى فئتين: برامج مخصصة للتدريب تمد النماذج بالمحتوى، وأخرى للاسترجاع تزحف إلى الصفحات عند طرح المستخدم سؤالًا، ثم تُنشئ الإجابة وتُرفق مصادرها. ينتمي Google-Extended وGPTBot وApplebot-Extended وClaudeBot إلى الفئة الأولى، بينما ينتمي OAI-SearchBot وPerplexityBot وGooglebot إلى الثانية. يحظر بعض أصحاب المواقع الفئتين معًا بدافع «حماية المحتوى»؛ والنتيجة أن النماذج لا تتعلم أقل بالضرورة، لكن مواقعهم تختفي من قوائم مراجع الذكاء الاصطناعي.
- GPTBot (تدريب OpenAI): حظر التدريب يعني أن محتواك لن يدخل في تدريب ChatGPT، لكنه لا يمنع بحث ChatGPT من العثور عليك.
- OAI-SearchBot (بحث OpenAI): حظره يعني أن بحث ChatGPT لن يتمكن من الوصول إلى محتواك ولن يدرجك ضمن المصادر.
- PerplexityBot (بحث Perplexity): حظره يعني أن إجابات Perplexity لن تتضمن محتواك أو تستشهد به.
- Google-Extended (تدريب Google): حظره يمنع دخول المحتوى في تدريب Gemini، لكن AI Overviews قد تظل تستشهد به.
- Googlebot: هذا هو شريان الموقع في Google. حظره يعني الخروج من البحث وAI Overviews معًا، لذا لا ينبغي المساس به إلا في حالات نادرة للغاية.
ماذا تفعل إذا أردت فعلًا التأثير في ظهور محتواك ضمن AI Overviews؟
لا توفر Google حاليًا مفتاحًا مخصصًا يتيح «الخروج من AI Overviews مع الاحتفاظ بمقتطفات البحث العادية». المتاح هو أدوات تحكم على مستوى الاسترجاع في البحث: يمنع nosnippet عرض الملخص بالكامل، ويحدد max-snippet طول الملخص، فيما يستبعد data-nosnippet قسمًا معينًا من الصفحة من الاسترجاع. لكن هذه الإعدادات تؤثر أيضًا في ملخصات نتائج البحث العادية، ما يجعل كلفتها أعلى من فائدتها في معظم الحالات. بدلًا من البحث عن مخرج، اتبع نهجًا أكثر عملية: اكتب محتوى يسهل اقتباسه بوضوح، عبر أسئلة محددة وإجابات مباشرة وفقرات مستقلة المعنى، كي يرغب الذكاء الاصطناعي في الاستشهاد بك ويتمكن من نقل كلامك بدقة.
لنعد إلى السؤال الأساسي: حظر Google-Extended لا يمنع AI Overviews من الاستشهاد بمحتواك، لأن كليهما يعمل عبر مسار مختلف. ما يستحق المراجعة فعلًا هو احتمال حظرك برامج زحف البحث دون أن تنتبه، فتستبعد موقعك بنفسك من مراجع الذكاء الاصطناعي. إذا لم تكن متأكدًا من برامج زحف الذكاء الاصطناعي المسموح بها والمحظورة حاليًا في ملف robots.txt لموقعك، يمكنك حجز جلسة تشخيص GEO مدتها 30 دقيقة مع Tenten GEO. سنراجع معك إعدادات التدريب والاسترجاع دفعة واحدة، ونحدد ما ينبغي تفعيله وما ينبغي تعطيله.
