Tenten AIGEO
العودة إلى المدونة
الظهور على منصات الذكاء الاصطناعيالتنفيذ

اجعل محتواك متاحًا لـ Perplexity: إعدادات robots.txt وllms.txt وزواحف Perplexity

إذا أردت أن يستشهد Perplexity بمحتواك، فعليك أولًا تمكينه من الوصول إليه. يوضح هذا الدليل التطبيقي الفروق بين PerplexityBot وPerplexity-User، والطريقة الصحيحة لإعداد robots.txt وllms.txt، وكيفية تنظيم المحتوى لزيادة فرص اختياره مصدرًا، مع قائمة تحقق لإعداد زاحف Perplexity قبل الإطلاق.

فريق Tenten GEOنُشر في 2024-09-075 دقيقة قراءة
مشهد تجريدي يعبر فيه ضوء ناعم طبقات حماية شفافة حتى يصل إلى عقدة مضيئة، في إشارة إلى وصول زاحف Perplexity بسلاسة إلى محتوى الموقع والاستشهاد به.

لا يحتاج Perplexity إلى أكثر من شرطين كي يستشهد بك: أن يتمكن زاحفه من الوصول إلى صفحتك، وأن يفهم موضوعها. ومع ذلك، تتعطل مواقع كثيرة عند الشرط الأول من دون أن تدرك أن قاعدة واحدة في robots.txt تتضمن أحرفًا بدلًا، أو حماية افتراضية من CDN، أو وكيل مستخدم غير مسموح له، قد تكفي لإخفائها تمامًا من إجابات Perplexity. السماح لـ PerplexityBot هو الحد الأدنى المطلوب، وليس ضمانًا للاستشهاد؛ لكن من دونه، يفقد أي عمل لاحق على GEO قيمته.

لنبدأ من الأساس: يستخدم Perplexity زاحفين مختلفين تمامًا في السلوك.

يظن كثيرون أن لدى Perplexity زاحفًا واحدًا، فيسمحون باسم واحد أو يحظرونه ثم يفترضون أن الوصول أصبح مفتوحًا أو مغلقًا بالكامل. لكن وثائق Perplexity الرسمية تذكر وكيلين: يتولى PerplexityBot بناء فهرس البحث وتحديد أهلية الصفحة للظهور ضمن النتائج، ويلتزم بقواعد robots.txt؛ أما Perplexity-User فيُرسل عندما يطرح المستخدم سؤالًا، فيزحف النظام فورًا إلى عنوان URL محدد. ولأنه يستجيب لإجراء مباشر من المستخدم، فهو لا يخضع عادةً لقيود robots.txt. وهذا فرق جوهري: قد يمنع الحظر في robots.txt الفهرسة، لكنه لا يضمن منع الزحف الفوري.

  • PerplexityBot: يُستخدم لبناء فهرس بحث Perplexity وتحديثه، وتحديد أهلية صفحاتك للدخول ضمن المصادر المرشحة، ويلتزم بقواعد robots.txt.
  • Perplexity-User: يزور صفحة محددة فورًا عندما يطرح المستخدم سؤالًا. ولأنه إجراء استجابةً لطلب المستخدم، فلا يُطبق عليه حظر robots.txt عمومًا.
  • التحقق من الهوية: يمكن انتحال كلا الزاحفين. لا تعتمد على سلسلة وكيل المستخدم وحدها؛ بل تحقق من نطاقات IP التي نشرها Perplexity أو استخدم البحث العكسي في DNS للتأكد من أن العنوان يعود إلى perplexity.ai.
  • مفهوم شائع خاطئ: السماح بالوصول في robots.txt لا يعني أن الصفحة ستُزحف أو يُستشهد بها؛ بل يجعلها مؤهلة فحسب لدخول قائمة المصادر المرشحة.

robots.txt: سطر واحد قد يحجب موقعك من دون قصد

عند إجراء تدقيق GEO للعملاء، غالبًا ما نجد أول خطأ قاتل في robots.txt. تستخدم بعض المواقع User-agent: * مع Disallow: / لحجب الموقع بالكامل، ثم تنسى إزالة الحظر بعد الإطلاق. وتحجب مواقع أخرى أدلة المحتوى الأساسية مثل /blog/ أو /resources/. أما المشكلة الأقل وضوحًا، فتكون في قواعد إدارة الروبوتات أو جدار الحماية لدى منصات مثل Cloudflare وVercel؛ إذ قد تعيد هذه القواعد استجابة 403 إلى PerplexityBot عند طبقة الحافة، بصرف النظر عن إعداد robots.txt. لن يظهر لك تنبيه واضح، بل سيغيب موقعك بصمت عن إجابات Perplexity. والحد الأدنى من الإعداد الصحيح بسيط جدًا: اسمح صراحةً لـ PerplexityBot في ملف robots.txt الموجود في الدليل الجذر، وأضف رابط خريطة الموقع.

  • امنح إذنًا صريحًا: أضف قسمًا يبدأ بـ User-agent: PerplexityBot ثم Allow: / حتى لا يتأثر بقواعد الحظر المطبقة على User-agent: *.
  • حدّد خريطة الموقع: أضف Sitemap: https://yourdomain/sitemap.xml في نهاية الملف، ليحصل الزاحف دفعة واحدة على قائمة عناوين URL الكاملة.
  • راجع CDN وWAF: تأكد من أن Cloudflare وVercel وAWS WAF لا تحظر جميع زواحف الذكاء الاصطناعي المعروفة عند طبقة الحافة.
  • لا تستخدم noindex ثم تتوقع الاستشهاد بك: وجود noindex ضمن وسم robots meta في الصفحة يعادل مطالبة محركات البحث وPerplexity معًا بعدم إدراجها.
  • تحقق من السجلات: ابحث عن PerplexityBot في سجل وصول الخادم، وتأكد من أنه زار الموقع فعلًا وتلقى 200 بدلًا من 403 أو 429.

llms.txt: يستحق دقائق من العمل، لكنه ليس بوابة دخول إلى المحركات

llms.txt هو مقترح قدمه Jeremy Howard من Answer.AI في 2024: يوضع ملف Markdown باسم /llms.txt في الدليل الجذر للموقع، وتُدرج فيه أهم الصفحات وأوصافها ضمن بنية مختصرة تساعد نماذج اللغة الكبيرة على استيعاب جوهر الموقع بسرعة. الفكرة جيدة، لكن الواقع حتى الآن أن أي محرك رئيسي، بما في ذلك Perplexity وGoogle، لم يعلن رسميًا أنه يستهلك llms.txt فعليًا. كما صرّح John Mueller من Google علنًا بأن محركات البحث لا تستخدمه أساسًا للزحف أو الترتيب. فهل يستحق التنفيذ؟ نعم، بشرط فهم دوره بدقة. تكلفته منخفضة للغاية، ويتيح ملف واحد تنظيم المحتوى المحوري وأوصاف المنتجات ومعلومات التواصل. وهو يوفر طبقة دخول نظيفة للوكلاء الذين قد يقرؤونه أو للمحركات التي قد تدعمه مستقبلًا. أما فائدته العملية الأوضح، فهي أنه يجبرك على تحديد الصفحات الجوهرية في موقعك، وهذا مفيد بحد ذاته لعمل GEO. لكن لا تضع فيه ميزانيتك وتوقعاتك كلها؛ فما يحدد قدرة Perplexity على الوصول إليك فعليًا هو robots.txt وHTML نظيف.

رسم معلوماتي: يتولى زاحفا Perplexity مساري الفهرسة والزحف الفوري، فيما يمثل robots.txt وllms.txt بوابة الوصول إلى فرصة الاستشهاد بالمحتوى.
يتولى PerplexityBot الفهرسة، وينفذ Perplexity-User الزحف الفوري، ويظل robots.txt البوابة الأولى المشتركة.

الوصول إلى محتواك مجرد بطاقة دخول؛ الأهم أن يختارك Perplexity مصدرًا

عند الإجابة عن سؤال، يكتفي Perplexity عادةً بالاستشهاد بعدد محدود من المصادر. وهو يفضّل المقاطع التي تجيب مباشرةً عن السؤال ويمكن استخراجها بوضوح. إذا دفنت الإجابة في الفقرة الثامنة بعد مقدمة طويلة عن «صعود الذكاء الاصطناعي»، أو حشرت ثلاثة موضوعات في فقرة واحدة، فسيصعب على المحرك اقتطاع كلامك واستخدامه اقتباسًا. ضع الخلاصة أولًا، وخصص كل فقرة لفكرة واحدة، واجعل العنوان إجابةً عن السؤال. هذه ليست تفضيلات أسلوبية عابرة، بل عوامل تؤثر مباشرةً في اختيار محتواك.

  • قدّم الإجابة: ابدأ كل قسم بالخلاصة، ثم اشرح السبب وطريقة التنفيذ.
  • صُغ العنوان كسؤال: استخدم H2 وH3 لكتابة الأسئلة التي يطرحها المستخدمون فعلًا، حتى يتمكن المحرك من مطابقتها مع الاستعلام.
  • اجعل الفقرة مكتفية بذاتها: خصص كل فقرة لنقطة أساسية واحدة، ولا تفترض أن القارئ اطّلع على ما قبلها، كي يمكن الاستشهاد بها منفردة.
  • أضف البيانات المنظّمة: اربط المقالات بمخطط Article، واستخدم مخطط FAQPage في قسم الأسئلة والأجوبة لمساعدة المحرك على تأكيد تطابق نوع المحتوى مع صيغة السؤال والجواب.
  • قدّم الأرقام مع سياقها: الحقائق القابلة للتحقق أسهل في الاقتباس من الصفات الإنشائية.

حداثة المحتوى: Perplexity يفضّل التحديثات الأخيرة

يقدّم Perplexity نفسه أداةً للإجابة عن الموضوعات الراهنة والحساسة زمنيًا، ويُظهر تفضيلًا واضحًا للمحتوى الحديث. ويترتب على ذلك أمران: أولًا، يجب أن تعرض الصفحة قيمة dateModified الصحيحة، حتى لا يبدو المقال الذي حُدّث العام الماضي وكأنه يعود إلى ثلاثة أعوام؛ وثانيًا، تحتاج الصفحات الجوهرية إلى وتيرة تحديث حقيقية تضيف أرقامًا وممارسات جديدة، لا إلى تغيير التاريخ للتحايل على المحرك. وعند إدارة محركات المحتوى للعملاء، نراجع الصفحات الأعلى قيمة دوريًا ونضيف إليها أحدث الخبرات التنفيذية، وهذا يُحدث فرقًا عمليًا في اختيار Perplexity للمصادر.

تعتمد قابلية الاستشهاد بمحتواك في Perplexity بنسبة 90% على الجوانب التقنية: أن يكون قابلًا للزحف، سهل القراءة، وحديثًا بما يكفي. فمهما كانت جودة المحتوى، لن تتاح له فرصة إذا عجز الزاحف عن الوصول إليه.Tenten GEO Consulting Team

فحص ذاتي خلال 30 دقيقة قبل الإطلاق

  1. افتح «your domain/robots.txt» في المتصفح، وتأكد من أن القسم الكامل Disallow: / لا يحجب الموقع عن طريق الخطأ، وأن السماح لـ PerplexityBot واضح.
  2. ابحث عن PerplexityBot في سجلات الخادم، وتأكد من وجود زيارة حديثة تلقت استجابة 200.
  3. راجع قواعد الروبوتات في CDN وWAF، وتأكد من عدم حظر زواحف الذكاء الاصطناعي عند طبقة الحافة.
  4. راجع ثلاثة مقالات رئيسية عشوائيًا، وتحقق من ظهور الخلاصة في بداية الفقرة الأولى ومن أن العنوان يعكس السؤال الفعلي.
  5. تأكد من إمكانية الوصول إلى خريطة الموقع بصورة طبيعية، ومن صحة dateModified، وضع llms.txt ليكون خريطة للمحتوى.

يمكن معالجة معظم بنود هذه القائمة خلال فترة بعد الظهر. أما التحدي الحقيقي، فهو اكتشاف ما فاتك، وخصوصًا المشكلات المختبئة في قواعد CDN وعمليات الحظر الافتراضية للمنصات؛ فلن تظهر ما لم تبحث عنها بنفسك. إذا أردت معرفة ما إذا كان Perplexity يستطيع الوصول إلى موقعك الآن، وأين تفقد فرص الاستشهاد، فتوجه إلى /contact لحجز جلسة تشخيص GEO مدتها 30 دقيقة. سنراجع مباشرةً إعدادات robots والسجلات وبنية المحتوى في موقعك، ثم نعرض لك الفجوات بندًا بندًا.

الأسئلة الشائعة

ما اسما زاحفي Perplexity؟ وكيف أسمح لهما في robots.txt؟
لدى Perplexity زاحفان رئيسيان: يتولى PerplexityBot فهرسة البحث ويلتزم بقواعد robots.txt، بينما يزحف Perplexity-User في الوقت الفعلي عندما يطرح المستخدم سؤالًا. وللسماح بالوصول، أضف User-agent: PerplexityBot إلى robots.txt مع Allow: /، وحدد موقع خريطة الموقع.
هل يفيد llms.txt مع Perplexity؟ وهل تنفيذه ضروري؟
حتى الآن، لم يعلن Perplexity رسميًا أنه يستهلك llms.txt. فهو أقرب إلى مقترح لخريطة محتوى موجهة إلى الذكاء الاصطناعي منه إلى معيار رسمي. ويُنصح بتنفيذه لأن تكلفته منخفضة للغاية ويساعد على تنظيم الصفحات الجوهرية؛ لكن العامل الحاسم في قابلية الزحف يظل robots.txt وHTML نظيفًا.
سمحت بالوصول في robots.txt، فلماذا لا يستطيع Perplexity الزحف إلى موقعي؟
الاحتمال الأكبر أن CDN أو WAF يحظر زواحف الذكاء الاصطناعي عند طبقة الحافة، أو أن الصفحة تحمل noindex، أو أن خريطة الموقع غير متاحة. ابحث عن PerplexityBot في سجلات الخادم، وتأكد من حصوله على 200 بدلًا من 403 أو 429 لتحديد الطبقة التي تقع فيها المشكلة.

مقالات ذات صلة

تصور تجريدي لصفحة تتوزع محتوياتها على بطاقات متعددة، بينما يستخرج محرك الذكاء الاصطناعي المقاطع المميزة منها.التنفيذ

الظهور على منصات الذكاء الاصطناعي

من المقتطف المميّز إلى AI Overview: كيف تكسب مراجع متعددة عبر ترتيب المقاطع Passage Ranking

وحدة التقييم في ملخصات الذكاء الاصطناعي هي المقطع، لا الصفحة بأكملها. وعندما يُقسَّم المحتوى عبر Passage Ranking إلى مقتطفات مستقلة، يمكن للمقال نفسه أن يحصد عدة استشهادات داخل إجابة واحدة.

4 دقيقة قراءة
فريق مبيعات B2B في تايوان يقيّم زيارات الإحالة وتداخل المصادر التي تستشهد بها محركات AI المختلفة.التقييم

الظهور على منصات الذكاء الاصطناعي

أي محرك AI يناسب شركات B2B في تايوان؟ بيانات فعلية عن زيارات الإحالة وتداخل المصادر

النقرات المحالة ليست سوى قمة جبل الجليد. تكشف بيانات B2B من تايوان أي محركات AI تستحق الاستثمار وكيف ينبغي توزيع الموارد بينها.

5 دقيقة قراءة
غلاف تجريدي يجسّد استراتيجية الظهور عبر عدة محركات بحث مدعومة بالذكاء الاصطناعيالتقييم

الظهور على منصات الذكاء الاصطناعي

نظرة شاملة على استراتيجية GEO متعددة المحركات: كيف تختلف آليات المحركات وتتوزع بينها أدوار المحتوى

لا تستهدف «الذكاء الاصطناعي» بصورة عامة؛ حدّد المحرك الذي تريد التفوق فيه. دليل يشرح منطق المحركات الخمسة، وتقسيم المحتوى بينها، وأولويات الاستثمار.

5 دقيقة قراءة

الخطوة التالية

ما مدى ظهور علامتك التجارية في إجابات الذكاء الاصطناعي؟

خلال تشخيص GEO لمدة 30 دقيقة، نحدد فجوات الظهور في أهم محركات الذكاء الاصطناعي وما ينبغي تحسينه أولاً.

احجز التشخيص