من أجود وأبسط أنظمة الـ RAG متعددة الوسائط باستخدام DeepSeek Janus Pro (يمكن تشغيله محليا)🔥🚀 تتطور تقنيات استرجاع المعلومات المعززة (RAG) بسرعة ويبدو هذا التطور ملحوظا أكثر مع اتساع دائرة النماذج مفتوحة المصدر !! يقدم Avi Chawla نظام RAG متعدد الوسائط يعمل محليا locally لإبراز قدرات النموذج الصيني DeepSeek Janus Pro معتمدا على ركائز ثلاثة : ✴️ تقنية ColPali لفهم وتضمين المستندات باستخدام الرؤية الحاسوبية. ✴️ قاعدة Qdrant كقاعدة بيانات متجهية لتخزين التضمينات واسترجاعها. ✴️ نموذج DeepSeek Janus-Pro كنموذج LLM متعدد الوسائط لتوليد الاستجابات. ~ تم استخدام ملفات PDF متعددة الوسائط تحتوي على مخططات ورسومات معقدة، ونصوص مضمنة في صور، وجداول عديدة لاختبار مدى قوة النموذج ؛ ✴️ يعمل النظام حسب هذه الآلية : - استخراج كل صفحة من المستند كصورة ومعالجتها عبر ColPali. - يقوم ColPali بتقسيم الصفحات إلى مقاطع، ويُنشئ تضمينات لكل منها. - تخزين التضمينات داخل Qdrant لاسترجاعها بسرعة عند الحاجة. - تحميل نموذج DeepSeek Janus-Pro من Hugging Face وضبطه ليكون جاهزًا للاستجابة. - عند الاستعلام يتم البحث في قاعدة البيانات عن أكثر الصفحات صلة بالسؤال. - تمرير هذه الصفحات (كصور) إلى DeepSeek Janus-Pro لتوليد استجابة متقدمة. ملف الـ pdf 🔗 https://lnkd.in/gnmUUgFH الكود هنا 🔗 https://lnkd.in/gF8GP59V #الذكاء_الاصطناعي_بالعربي #ainarabic #mohd_n@SS