لعقود، كان البحث يطابق السلاسل. تكتب عبارة فيجد النظام الوثائق المحتوية على تلك الكلمات، مع تهجئة ومرادفات كتنازلات متحفظة. ثم غيّرت التضمينات اللعبة: تحول النص إلى متجهات، وصار التطابق هندسياً. جملتان تعنيان الشيء نفسه ولا تشتركان في أي كلمة تقعان الآن متقاربتين في فضاء المتجهات، والاسترجاع يجد المعنى لا الحروف فقط.
هذا التحول هو أساس التوليد المعزز بالاسترجاع، البنية خلف أكثر أنظمة الذكاء الاصطناعي فائدة في الإنتاج اليوم. هذه المقالة دليل المعماري: كيف تعمل التضمينات، وكيف تجزئ ذخيرتك وتفهرسها، وكيف يتحد الاسترجاع والتوليد، وكيف تُبقي النظام كله سريعاً وصادقاً.
ماذا تمنحك التضمينات
نموذج تضمين يخطط النص إلى متجه كثيف من الأرقام، بمئات الأبعاد في النماذج النموذجية، حيث يقابل التشابه الدلالي مسافة المتجه. الأسئلة والإجابات، وإعادة الصياغة، والمقاطع المترابطة مفهوماً، كلها تهبط قرب بعضها. تلك الخاصية هي ما يجعل الاسترجاع بالمعنى ممكناً: ضمّن الاستعلام ثم ابحث عن أقرب المتجهات إليه.
الآلية نفسها تدفع التوصيات وإزالة التكرار والتجميع. كل تطبيق يرث فهم نموذج التضمين للغة، ولهذا يهم اختيار النموذج أكثر من ضبط الفهرس في الأيام الأولى لأي مشروع.
خط أنابيب RAG من البداية للنهاية
التوليد المعزز بالاسترجاع له نصفان: الجانب الخامل للفهرسة الذي يجهز معرفتك، والجانب الحي للاستعلام الذي يجيب عن الأسئلة. إتقان الاثنين هو الفرق بين نظام يبدو عارفاً بأعمالك ونظام يختلق الإجابات بثقة.
الإدخال والتجزئة
قسّم الوثائق إلى مقاطع يستطيع النموذج استهلاكها بمعنى. جزّئ بالبنية الدلالية، فقرات وأقساماً، لا بعدد محارف ثابت، وأبقِ البيانات الوصفية ملحقة: الوثيقة المصدر، والقسم، والنسخة، والتاريخ، والصلاحيات. المقاطع الأطول من اللازم تخفف الصلة؛ والأقصر تفقد السياق. هذه المقايضة هي المعامل الأكثر ضبطاً في كل نشر RAG.
التضمين والفهرسة
ضمّن كل مقطع وابنِ فهرس متجهات فوق النتائج. تستخدم أنظمة الإنتاج فهارس أقرب الجيران التقريبية مثل HNSW، التي تقايض خسارة دقة ضئيلة بمكاسب سرعة بمراتب حجم. ادمج البحث المتجهي بالبحث بالكلمات المفتاحية حيث تهم الدقة على المصطلحات الحرفية، في استراتيجية هجينة تسجل الإشارتين وتدمجهما.
الاسترجاع والتصفية
وقت الاستعلام، ضمّن السؤال، واسترجع أقرب المقاطع، ثم صفِ وأعد الترتيب بالبيانات الوصفية والحداثة. تصفية الصلاحيات غير قابلة للتفاوض: يجب ألا يسترجع المستخدم وثيقة لا يحق له رؤيتها، ما يجعل بيانات وصفية للتحكم في الوصول جزءاً من الفهرس لا فكرة لاحقة.
التوليد بسياق مسنَد
غذِّ المقاطع المسترجعة إلى نموذج اللغة مع تعليمات تجيب من تلك المقاطع حصراً، وترفض عندما يكون السياق ناقصاً. التوليد المسنَد هو ما يُبقي الإجابات وفية وحديثة وقابلة للنسب إلى مصدر.
اختيار الفهرس لنطاقك
على النطاق الصغير، يكفي بحث دقيق مستوٍ فوق بضعة آلاف من المتجهات. بعده، انتقل إلى فهارس أقرب الجيران التقريبية، وضبط مقايضة الاسترجاع مقابل الكمون، وقسّم الفهرس عندما تعبر البيانات حدوداً جغرافية أو صلاحية. يجب أن تتيح البنية إعادة فهرسة تدريجية مع تغير الوثائق، كي لا تتطلب الحداثة أبداً إعادة بناء كاملة.
ولا تغفل الأداء الحقيقي على أحمال عملك. فهرس يبدو سريعاً على عينة تجريبية قد ينهار عند حجمك الفعلي ومعدل استعلاماتك الحقيقي. اختبر بذخيرة حقيقية وحركة مشابهة لإنتاجك، وقس الكمون تحت الذروة لا في المتوسط فقط. وأبقِ مخططاً للنمو: كم ستزداد الوثائق خلال سنة، ومتى تحتاج إعادة فهرسة كاملة، ومتى تنقسم إلى فهارس متعددة.
وجودة الوثائق المصدرية أهم من كل معلمات الاسترجاع. نظام RAG لا يستطيع صنع معرفة غير موجودة: وثائق مكررة، وتعارض بين نسخ، ومعلومات قديمة، كلها تمر إلى إجابات المساعد كما هي. اجعل تنظيف الذخيرة وحوكمتها مشروعاً مستمراً موازياً لبناء الفهرس، ولا تعاملها كخطوة لمرة واحدة قبل الإطلاق.
ولمن يعمل بالعربية، التضمينات العربية تحديداً مفتاح النجاح. النموذج المضبوط على العربية يلتقط المرادفات والبنية الصرفية التي تفوتها نماذج عامة، ما يعني استرجاعاً أفضل للسؤال نفسه. قس فرق الجودة بين تضمين عام وتضمين عربي على ذخيرتك أنت قبل أن تستقر على اختيارك.
قائمة تحقق: نظام RAG يستحق التشغيل
- تجزئة بالبنية الدلالية مع بيانات وصفية للمصدر والنسخة والصلاحيات
- نموذج تضمين مختار للغتك ومجالك، ويفضل مضبوط على العربية
- فهرس أقرب جيران تقريبي لكمون الإنتاج
- استرجاع هجين بالكلمات المفتاحية والمتجهات لدقة المصطلحات الحرفية
- تصفية صلاحيات مفروضة داخل الفهرس لا عند الواجهة
- توليد مُوجَّه للإجابة من السياق المسترجَع حصراً ورفض ما عداه
- تقييم جودة الاسترجاع والإجابة مقابل مجموعة ذهبية موسومة
قيّم الاسترجاع لا الإجابات فقط
معظم الفرق تقيّم الإجابة النهائية وتتجاهل الاسترجاع، وهو حيث تبدأ الإخفاقات. ابنِ مجموعة ذهبية من أسئلة واقعية مرتبطة بالمقاطع التي يجب أن تظهر، وقس هل تحتل المقاطع الصحيحة المراتب العليا، ثم قيّم فقط بعد ذلك هل الإجابة المولدة وفية لها. فشل الاسترجاع يتراكم: إذا لم يظهر السياق الصحيح أبداً، لا نموذج ينقذ الإجابة.
قواعد بيانات المتجهات وRAG ليست منتجاً تُشترى وتنسى؛ إنها معمارية تُشغَّل. جزّئ عمداً، وفهرس لنطاقك، وصفِ بالصلاحية، واجعل كل إجابة مسنَدة، وقس الاسترجاع بصرامة مثلما تقيس الإجابة.
تصمم Smart Logic وتشغّل أنظمة بحث متجهي وRAG لمؤسسات في مصر والشرق الأوسط: بحثاً دلالياً على ذخائر عربية وإنجليزية، وفهرسة مدركة للصلاحيات، واسترجاعاً هجيناً، ومساعدات مسنَدة تستشهد بمصادرها. إذا كانت معرفتك مدفونة في وثائق لا يستطيع أحد البحث فيها بالمعنى، دعنا نبني الفهرس.