Mistral وMixtral: تشغيل النماذج اللغوية الكبيرة مفتوحة الأوزان

ما هو Mistral / Mixtral؟

Mistral Large 3 هو أحد أفضل النماذج المفتوحة الأوزان المتسامحة في العالم وأول نموذج مزيج خبراء لدى Mistral منذ سلسلة Mixtral الرائدة. وتشمل عائلة Mistral كلا من النماذج الكثيفة (7B، 24B، 128B) والمتغيرات المتناثرة القائمة على مزيج الخبراء. يستخدم Mixtral 8x7B ثماني شبكات خبراء بمعاملات 7B لكل منها، مع تنشيط خبيرين فقط لكل رمز، ما يعني الحصول على نحو 13 مليار معامل نشط مع الاستفادة من 47 مليار معامل إجمالي.

تعتمد عائلة نماذج Mixtral معمارية مزيج الخبراء المتناثر (SMoE) حيث يختار موجِّه مجموعة فرعية من شبكات الخبراء لمعالجة كل رمز. ويحقق هذا التصميم كفاءة استثنائية: يقدم Mixtral 8x7B جودة أقرب إلى نموذج كثيف بـ70B لكن بتكلفة استدلال نموذج بـ13B.

الأحجام والمتغيرات المتاحة

تشمل تشكيلة Mistral / Mixtral مفتوحة الأوزان ما يلي:

• Mistral 7B - نموذج نصي توليدي مدرب مسبقًا بـ7 مليار معامل متاح بنسختي الأساس والنسخة المضبوطة بالتعليمات
• Mixtral 8x7B - 46.7 مليار معامل إجمالي ينفذ الاستدلال بنفس سرعة وتكلفة نماذج بثلث حجمه، بطول سياق 32 ألف رمز
• Mixtral 8x22B - مزيج خبراء متناثر بـ39 مليار معامل نشط من أصل 141 مليار معامل إجمالي، ونافذة سياق 64 ألف رمز
• Mistral Small 3.1 - 24 مليار معامل مع فهم بصري متقدم جدًا وقدرات سياق تصل إلى 128 ألف رمز
• Mistral Large 3 - نموذج مزيج خبراء متعدد الوسائط دقيق للاستخدام العام متطور جدًا بـ41 مليار معامل نشط و675 مليار معامل إجمالي

تُصدر جميع المتغيرات مفتوحة الأوزان بموجب ترخيص Apache 2.0، ما يتيح استخدامًا بحثيًا وتجاريًا غير مقيَّد.

متطلبات الأجهزة

تختلف احتياجات VRAM اختلافًا كبيرًا حسب حجم النموذج والتكميم:

• Mistral 7B: 6-8 جيجابايت VRAM مع تكميم Q4 أو Q5
• Mixtral 8x7B: 24 جيجابايت VRAM لتكميم Q4 (نحو 28.4 جيجابايت من الأوزان مع تفريغ جزئي)
• Mixtral 8x22B: 48 جيجابايت أو أكثر من VRAM لتكميم Q4 (نحو 85.9 جيجابايت أوزان، ونحو 97 جيجابايت إجمالًا)

يجب أن تحتفظ نماذج MoE بجميع الخبراء في VRAM حتى لو لم يُنشَّط سوى القليل منها لكل رمز. يحتاج Mixtral 8x7B بتكميم 4 بت إلى نحو 28 جيجابايت ويتسع على بطاقة NVIDIA RTX 5090 واحدة بسعة 32 جيجابايت.

وبالنسبة للمواصفات على مستوى النظام: 16 جيجابايت ذاكرة عشوائية كحد أدنى (يُنصح بـ32 جيجابايت)، وأي معالج حديث بثمانية أنوية، وقرص NVMe SSD بمساحة حرة تتراوح بين 100 و500 جيجابايت لملفات النموذج. تتفوق أجهزة Mac (Apple Silicon) بفضل الذاكرة الموحدة وبيئة تشغيل MLX، وتكون Windows الأفضل مع NVIDIA + CUDA، بينما توفر Linux أوسع مرونة في دعم وحدات الرسومات بما في ذلك دعم AMD ROCm.

أبرز نتائج المعايير

تفوق Mixtral 8x7B على Llama 2 70B في تسعة من أصل اثني عشر معيارًا. وبشكل أكثر تحديدًا، يتفوق Mixtral بشكل ملحوظ على Llama 2 70B في الفرنسية والألمانية والإسبانية والإيطالية.

يحقق Mixtral 8x7B نحو 70% في MMLU، وهو أفضل بشكل ملموس من Mistral 7B. يستطيع Mixtral التعامل مع 32 ألف رمز من السياق، ويُظهر ميزات قوية في توليد الشيفرة، ومع 46.7 مليار معامل إجمالي لكن باستخدام 12.9 مليار فقط لكل رمز، يحافظ على كلٍ من السرعة وكفاءة التكلفة.

يحتل Mistral 8x7B المرتبة 43.1 في المعايير الحديثة، خلف Mistral Large 3 (45.7) وMinistral 3 14B Reasoning (47.3). وللقدرات المتقدمة، يحقق Mistral Large 3 تكافؤًا مع أفضل النماذج المفتوحة الأوزان المضبوطة بالتعليمات في المطالبات العامة، مع إظهاره فهمًا للصور وأداءً الأول في فئته في المحادثات متعددة اللغات، محققًا الظهور في المرتبة الثانية في فئة نماذج OSS غير الاستدلالية على لوحة صدارة LMArena.

كيفية تشغيله محليًا

أبسط طريق هو Ollama، وهي بيئة تشغيل تعتمد على سطر الأوامر أولًا مع خادم خلفي خفيف وواجهة برمجية متوافقة مع OpenAI. ثبّتها من ollama.com، ثم شغّل:

ollama run mixtral:8x7b

للمتغير 8x22B استخدم: ollama run mixtral:8x22b. تسرد مكتبة Ollama أكثر من 200 نموذج جاهز للتشغيل تشمل Llama وQwen وDeepSeek وMistral وGemma وسلسلة gpt-oss مفتوحة الأوزان من OpenAI، وكل نموذج منها مُهيأ مسبقًا بقالب المطالبات المناسب.

تدعم أدوات بديلة أيضًا نماذج Mistral / Mixtral:

• LM Studio - واجهة سطح مكتب مصقولة تستهدف من يفضلون التصفح والنقر على كتابة الأوامر، وتشغّل أيضًا خادم واجهة برمجية محليًا
• Jan - أحد أشهر تطبيقات النماذج اللغوية المحلية وأجملها مظهرًا، وبديل يركز على الخصوصية أولًا لـ ChatGPT
• GPT4All - الأكثر توجيهًا للمبتدئين من بين الثلاثة، بقائمة نماذج مختارة أصغر وتجربة تثبيت أبسط بنقرة واحدة

بُني Ollama فوق llama.cpp، ويقدم إنتاجية ممتازة بالرموز في الثانية مع إدارة ذاكرة ذكية وتسريع فعّال لوحدات الرسومات من NVIDIA (CUDA) وApple Silicon (Metal) وAMD (ROCm).

أفضل حالات الاستخدام

يعدّ Mixtral 8x7B مثاليًا لتلخيص النصوص والأسئلة والأجوبة وتصنيف النصوص وإكمال النصوص وتوليد الشيفرة. ويدعم Mistral 7B تلخيص النصوص والتصنيف وإكمال النصوص وإكمال الشيفرة.

المهام البرمجية والتقنية: يقترب Mistral 7B من أداء CodeLlama 7B في المهام البرمجية مع بقائه عالي الكفاءة في المهام باللغة الإنجليزية. ويستخدم Mixtral 8x22B 39 مليار معامل نشط فقط من أصل 141 مليار ويوفر كفاءة تكلفة لا مثيل لها، مع قدرات قوية في الرياضيات والبرمجة واستدعاء الدوال الأصلي.

معالجة المستندات وRAG: تتيح نافذة السياق البالغة 64 ألف رمز في Mixtral 8x22B استرجاعًا دقيقًا للمعلومات من المستندات الكبيرة، مما يجعله ممتازًا للتوليد المعزز بالاسترجاع وتلخيص المستندات الطويلة.

سير العمل متعدد اللغات: يتمتع Mixtral 8x22B بقدرات أصلية متعددة اللغات ويتفوق بقوة على LLaMA 2 70B في معايير HellaSwag وArc Challenge وMMLU بالفرنسية والألمانية والإسبانية والإيطالية.

الاستدلال الإنتاجي: يعدّ Mixtral 8x7B مناسبًا جيدًا لبيئات الإنتاج التي تتطلب نماذج مفتوحة الأوزان للتخصيص أو الضبط الدقيق عندما تكون الموارد الحاسوبية أو زمن الاستجابة محدودًا.

الأسئلة الشائعة

هل يمكنني تشغيل Mixtral 8x7B على حاسوبي المخصص للألعاب؟

نعم، مع بعض التحفظات. يحتاج Mixtral 8x7B بتكميم 4 بت إلى نحو 28 جيجابايت ويتسع على بطاقة NVIDIA RTX 5090 واحدة بسعة 32 جيجابايت. أما البطاقات الأقدم مثل RTX 3090 (24 جيجابايت) فتتطلب تقنيات تفريغ الطبقات. ابدأ بـ Mistral 7B إذا كانت لديك 8 جيجابايت؛ فهو يُكمَّم إلى نحو 4.4 جيجابايت.

أيهما أسرع: Mistral 7B الكثيف أم Mixtral 8x7B المتناثر؟

يقدم Mixtral 8x7B جودة أقرب إلى نموذج كثيف بـ70B لكن بتكلفة استدلال نموذج بـ13B لأن خبيرين فقط من أصل ثمانية يُنشَّطان لكل رمز. Mistral 7B أصغر ويُحمَّل أسرع، لكن Mixtral يقدم جودة أفضل بسرعة مماثلة بفضل معماريتها المتناثرة.

هل نماذج Mistral آمنة للاستخدام التجاري؟

نعم. تُصدر كل من النسخ الأساسية والمضبوطة بالتعليمات بموجب ترخيص Apache 2.0، ما يوفر أساسًا قويًا لمزيد من التخصيص في أوساط المؤسسات والمطورين. ولا تنطبق أي قيود ترخيص على الاستخدام البحثي أو الإنتاجي.

كيف يقارَن Mixtral 8x22B بـ Mistral Large 3؟

أُحيل Mixtral 8x22B إلى التقاعد اعتبارًا من مارس 2025، ويُنصح بـ Mistral Small 4 للتكاملات الجديدة. أما Mistral Large 3 فهو نموذج مزيج خبراء متعدد الوسائط عام الأغراض متطور جدًا بـ41 مليار معامل نشط و675 مليار معامل إجمالي، ويقدم أداءً أفضل لكنه يتطلب 48 جيجابايت أو أكثر من VRAM. وللنشر المحلي على أجهزة استهلاكية، يبقى Mixtral 8x7B أو Mistral Small 3.1 الخيار العملي الأمثل.