أقوى محرك استدلال مفتوح المصدر (SGLang) 🤯🚀 إذا كنت تبحث عن أداء استثنائي في تشغيل النماذج اللغوية والبصرية الضخمة .. (SGLang هو الحل) !!! محرك استدلال مفتوح المصدر يوفر سرعة أعلى بـ 2-5 مرات من الحلول المنافسة، وهو أول من طبق التنبؤ متعدد الرموز (MTP) لـ DeepSeek R1 لتسريع الأداء بنسبة 1.76x. 👀 جولة في أهم ميزات وإسهامات SGLang الصناعية د 👇 ✴️ أداء متقدم في سيناريوهات المحادثة وRAG حيث يعتمد على RadixAttention ويعيد استخدام أجزاء النص المشترك، وبالتالي تعزيز الإنتاجية بمقدار 5x. ✴️ تسريع إخراج البيانات المهيكلة (JSON/XML) بمقدار 3.1x عبر تجاوز العناصر المحددة مسبقًا، كما يحقق أداء اسرع بـ 10x مع xgrammar في فك ترميز الـ JSON بفضل الـ Compressed Finite State Machine. ✴️ إدارة محسنة لوحدة المعالجة المركزية لتجنب الاختناقات على مستوى الجهاز المستضيف. ✴️ أداء عبقري:     ⚡ 5000 رمز/ثانية لـ Llama3-8B على A100     🔥 10,000 رمز/ثانية لـ Llama3-70B على 8xH100 ✴️ يستخدم في الإنتاج من قبل عمالقة التكنولوجيا مثل Meituan وByteDance وxAI وCursor و Stanford وLinkedin .. الخ. ✴️ متوافق مع @OpenAI ويدعم NVIDIA وAMD مع تكامل كامل مع تقنيات التكميم (FP8/INT4/AWQ/GPTQ). ✴️ تعالج Bytedance حوالي 70% من أنظمة NLP الداخلية باستخدام SGLang (معالجة 5 بيتابايت من البيانات يوميًا). ✴️ خفض تكاليف تشغيل Grok من xAI بنسبة 37% عبر إعادة استخدام ذاكرة KV وتحسين الجدولة (يتيح 23 مليون محادثة يوميًا). ✴️ الأسرع في تشغيل DeepSeek R1 بفضل تقنية Multi-Token Prediction (MTP). ✴️ دعم موسع للنماذج مثل: Llama وMistral وGemma وQwen وDeepSeek وPhi وGranite وLLaVA. ـــــــــ رابط الـ GitHub 🔗 https://lnkd.in/eCkkbTPQ رابط الـ documentation 🔗 https://docs.sglang.ai/ #الذكاء_الاصطناعي_بالعربي #ainarabic #mohd_n@SS