آخر تحديث: 2026-06-22

عدد معاملات المحوّل

يُذكَر حجم النموذج اللغوي الكبير عادةً كرقم رئيسي واحد — سبعة مليارات، سبعون مليارًا — لكن ذلك الرقم تحدّده كليًا حفنة من الخيارات المعمارية. فبمعرفة عدد الطبقات والحجم المخفي وتوسّع التغذية الأمامية والمفردات، يتبع إجمالي عدد المعاملات من صيغة قصيرة. تطبّق هذه الحاسبة تلك الصيغة لتعطي تقديرًا من الرتبة الأولى، وهو الاستدلال التقريبي نفسه المستخدَم لتحديد حجم نموذج قبل وجود أي أوزان.

أين تقيم المعاملات

كل وزن تقريبًا في محوّل من نوع فك-التشفير فقط يقع في واحد من ثلاثة مواضع. تحوي الطبقة الفرعية للانتباه في كل كتلة أربع مصفوفات أوزان مربّعة — إسقاطات الاستعلام والمفتاح والقيمة والخرج — كلٌّ منها بحجم مخفي × مخفي. وتحوي الطبقة الفرعية للتغذية الأمامية مصفوفتين توسّعان التيار المخفي إلى بُعد داخلي أعرض ثم تُسقطانه إلى الأصل. ومنفصلًا عن مكدّس الطبقات، يحفظ جدول تضمين الرموز متّجهًا واحدًا بحجم الحجم المخفي لكل مدخل في المفردات.

ويعطي عدّ هذه المواضع تقدير المعمارية. تسهم كتلة الانتباه بنحو $4d^2$ من القيم لكل طبقة، حيث $d$ هو الحجم المخفي. وتسهم كتلة التغذية الأمامية، إذ تتوسّع إلى عرض داخلي قدره $m \cdot d$، بنحو $2 m d^2$. ويسهم جدول التضمين بحجم المفردات $V$ مضروبًا في $d$.

الصيغة

بعدد طبقات $L$، وحجم مخفي $d$، ومُضاعِف تغذية أمامية $m$، وحجم مفردات $V$، يكون إجمالي عدد المعاملات

يجمع الحدّ الأول أوزان الانتباه والتغذية الأمامية لكل طبقة عبر جميع الطبقات؛ والثاني هو جدول التضمين. ولأن حدّ كل طبقة يتناسب مع مربّع الحجم المخفي، فإن عرض النموذج يهمّ أكثر بكثير من عمقه: فمضاعفة الحجم المخفي تُربِّع العدد تقريبًا، بينما لا تؤدي مضاعفة الطبقات إلا إلى مضاعفته.

مثال محلول

لنأخذ نموذجًا بـ 32 طبقة، وحجم مخفي 4096، وتوسّع تغذية أمامية قدره أربعة، ومفردات من 32,000 رمز. عامل كل طبقة هو $4 + 2 \times 4 = 12$، إذن

يستأثر مكدّس الطبقات بكل ذلك تقريبًا؛ ولا يضيف جدول التضمين سوى نحو 131 مليونًا، أي ما يزيد قليلًا على اثنين بالمئة. ومع التوسّع الشائع وقدره أربعة، يقع نحو ثُلثي كل طبقة في أوزان التغذية الأمامية وثُلثها في الانتباه.

ما الذي يُغفله التقدير

هذا عدّ من الرتبة الأولى. يلتقط المصفوفات المهيمنة على الإجمالي لكنه يُغفل الحدود الصغيرة: الانحيازات وقيم القياس والإزاحة في تسوية الطبقة وأي تضمينات موضعية متعلَّمة. وهي مجتمعةً عادةً أقل من واحد بالمئة بكثير من نموذج كبير، فلا تحرّك الرقم الرئيسي. كما يفترض التقدير أن تضمين الدخل وإسقاط الخرج يتشاركان مصفوفة واحدة — التضمينات المربوطة — فيُعَدّ الجدول مرة واحدة؛ أما نموذج بتضمينات غير مربوطة فيحمل ذلك الجدول مرتين.

ومتى عُرف العدد، فإنه يقود الأسئلة العملية للنشر. تعتمد الذاكرة اللازمة لحفظ الأوزان على العدد والدقة العددية، وتستكشفها حاسبة حجم النموذج من التكميم. أما الذاكرة المطلوبة لتدريب النموذج نفسه، التي تضيف حالة المُحسِّن والتنشيطات فوق الأوزان، فتغطّيها حاسبة ذاكرة VRAM لتدريب النماذج اللغوية الكبيرة.