آخر تحديث: 2026-06-22

المعاملات النشطة في نموذج خليط الخبراء

يحمل نموذج خليط الخبراء زوجًا لافتًا من الأرقام: عدد إجمالي كبير من المعاملات يصف مقدار ما يستطيع حفظه، وعدد نشط أصغر بكثير يصف مقدار العمل الذي يؤديه لكل رمز. وكثيرًا ما يُخلَط بينهما، مع أنهما يجيبان عن سؤالين مختلفين — أحدهما يحدّد فاتورة الذاكرة، والآخر يحدّد فاتورة الحساب. تفصل هذه الحاسبة بينهما انطلاقًا من عدد الخبراء وتوجيه top-k وحجم كل خبير والأوزان المشتركة.

كيف يُبنى خليط الخبراء

في المحوّل الكثيف، يمرّ كل رمز عبر كل وزن. ويستبدل خليط الخبراء كتلة التغذية الأمامية في طبقةٍ ما بخبراء متوازين كثيرين، ويضيف مُوجِّهًا صغيرًا يختار لكل رمز أعلى k منهم فقط. ويظلّ بقية النموذج — الانتباه والمُوجِّه والتضمينات وأحيانًا خبير مشترك يعمل دائمًا — مشتركًا بين كل الرموز. فمسار الرمز يلمس الأوزان المشتركة والحفنة القليلة من الخبراء الذين وُجِّه إليهم فقط، بينما يبقى الخبراء الباقون خاملين لذلك الرمز.

وهذا يفكّ ارتباط كمّيتين تتحرّكان معًا في النموذج الكثيف. تنمو السعة مع عدد الخبراء، لأن المزيد من الخبراء يستطيع تخزين معرفة متخصّصة أكثر. وينمو الحساب مع الخبراء النشطين فقط، لأن هؤلاء وحدهم يجرون عمليات حسابية على رمزٍ بعينه.

العددان

بعدد خبراء إجمالي $E$، و$k$ نشطين لكل رمز، و$p$ معاملًا لكل خبير، و$s$ معاملًا مشتركًا، يكون العددان الإجمالي والنشط

حيث $T$ هو الإجمالي الذي يحدّد البصمة في الذاكرة، و$A$ هو العدد النشط الذي يحدّد الحساب لكل رمز، و$r$ هو نسبة الأوزان التي يلمسها كل رمز.

مثال محلول

لنأخذ نموذجًا بثمانية خبراء بسبعة مليارات معامل لكل واحد، يوجّه اثنين لكل رمز، فوق مليار معامل مشترك:

يحوي النموذج 57 مليار معامل لكنه يبذل حسابًا كأنه نموذج بـ 15 مليار معامل على كل رمز — أي إن نحو رُبع الأوزان نشط في كل مرة. وهذا هو ما يجذب إليه: سعة نموذج بـ 57 مليارًا بكلفة لكل رمز قريبة من كلفة نموذج بـ 15 مليارًا.

الذاكرة لا تزال تتبع الإجمالي

المشكلة أن التوفير في الحساب لا في الذاكرة. فلأن أي خبير يمكن اختياره لأي رمز، ولأن دفعة من الرموز تنتشر عبر خبراء كثيرين، يجب أن يكونوا جميعًا مقيمين في آن واحد — إذ لا يستطيع النموذج التنبّؤ بالخبراء الذين سيحتاجهم رمز قادم. لذا تتناسب البصمة في الذاكرة مع العدد الإجمالي $T$، بينما يتناسب الحساب وحده مع العدد النشط $A$. ومن ثَمّ فإن نموذج خليط الخبراء كبير في الاستضافة لكنه رخيص في التشغيل، وهو توازن معاكس لنموذج كثيف بكلفة مساوية لكل رمز.

ويمكن بناء العدد الإجمالي الذي يقود جانب الذاكرة انطلاقًا من المعمارية باستخدام حاسبة عدد معاملات المحوّل، أما الذاكرة اللازمة لخدمة تلك الأوزان فعليًا فتغطّيها حاسبة ذاكرة VRAM لاستدلال النماذج اللغوية الكبيرة.