Skip to content
تاريخ الإنشاء: 20 يوليو 2026 في 09:34 م

حاسبة عمليات الفاصلة العائمة لكل رمز

المدخلات

نوع التمريرةتمريرة أمامية (2N)
المعاملات70

هذه تقديرات من الدرجة الأولى تحتسب عمليات ضرب المصفوفات المهيمنة وتُهمِل حدود الانتباه والتسوية والتضمين. تعتمد أعداد العمليات الفعلية على المعمارية وطول السياق. استعمل القيمة لمقارنات القياس وتقديرات الميزانية، لا لحساب عتادي دقيق.

أُنشئ باستخدام OneCalc · https://onecalc.app/ar/ai/flops-per-token

AI & LLM

حاسبة عمليات الفاصلة العائمة لكل رمز

تقدير عمليات الفاصلة العائمة التي يؤدّيها المُحوِّل لكل رمز باستعمال قاعدتي 2N الأمامية و6N للتدريب، انطلاقًا من عدد معاملات النموذج بالمليارات.

المدخلات

النموذج

النتائج

أدخل قيمة لعرض النتائج.

تفاصيل

تضمين هذه الآلة الحاسبة

معاينة

الصق هذا الرمز في صفحتك لعرض الآلة الحاسبة.

مشاركة هذه العملية الحسابية

سيرى كل من يفتح هذا الرابط القيم التي أدخلتها.

عمليات الفاصلة العائمة لكل رمز

كم حسابًا ينفق نموذج لغوي على رمز واحد؟ يقوم على هذا الجواب كل تقدير تقريبي في المجال تقريبًا — فميزانيات التدريب، وكُلَف الاستدلال، واستغلال العتاد تنطلق منه جميعًا. والاختصار القياسي بسيط على نحو لافت: يؤدّي المُحوِّل الكثيف نحو عمليتي فاصلة عائمة لكل معامل لمعالجة رمز، ونحو ست عمليات أثناء التدريب. تطبّق هذه الحاسبة تلك القواعد على عدد معاملات النموذج.

قاعدة 2N

يهيمن على حساب المُحوِّل عمليات ضرب المصفوفات الكبيرة، ويُمَسّ فيها كل وزن مرة واحدة لكل رمز. وعملية الضرب-التراكمية الواحدة تُحتسب عمليتي فاصلة عائمة — ضرب واحد وجمع واحد — فدفع رمز عبر نموذج بـ NN معامل يكلّف نحو عمليتين لكل معامل، أي قاعدة 2N، في التمريرة الأمامية. وهذا التقدير من عمل Kaplan حول قوانين القياس، وقد صار العملة العالمية للتفكير في حساب النماذج. وهو يتجاهل عمدًا كل ما ليس ضرب مصفوفات مُرجَّحًا بالمعاملات، وهو تقريب جيد للنماذج الكبيرة.

كلفة التمريرة الأمامية والتدريب

يتطلّب تدريب نموذج أيضًا تمريرة خلفية لحساب التدرّجات. وتنتج التمريرة الخلفية التدرّجات بالنسبة إلى التنشيطات والأوزان معًا، وكلٌّ منهما نحو كلفة التمريرة الأمامية، فتضاعف عمل التمريرة الأمامية تقريبًا. والإجمالي نحو ثلاث تمريرات أمامية، أو ست عمليات لكل معامل لكل رمز (تقدير 6N):

G=k⋅N(GFLOPs, N in billions)F=k⋅N×109\begin{aligned} G &= k \cdot N \quad (\text{GFLOPs, } N \text{ in billions}) \\ F &= k \cdot N \times 10^{9} \end{aligned}

مع المعامل kk المساوي اثنين للتمريرة الأمامية وستة لخطوة التدريب. ولأن NN يُدخَل بالمليارات، تقع قيمة التمريرة الأمامية مباشرةً بوحدة GFLOPs.

مثال محلول

لنموذج بـ 70 مليار معامل في تمريرة أمامية:

G=2×70=140 GFLOPsF=2×70×109=1.4×1011 FLOPs\begin{aligned} G &= 2 \times 70 = 140\ \text{GFLOPs} \\ F &= 2 \times 70 \times 10^{9} = 1.4\times 10^{11}\ \text{FLOPs} \end{aligned}

يكلّف كل رمز مُولَّد نحو 140 GFLOP. وضرب ذلك في إنتاجية النموذج الكلية يعطي معدّل الحساب المُحقَّق، وقسمة ذلك على ذروة المُسرِّع يعطي استغلاله. وتدريب النموذج نفسه يكلّف 6×70=4206 \times 70 = 420 GFLOP لكل رمز، وضرب كلفة التدريب في إجمالي رموز مجموعة بيانات هو الطريقة المعتادة لقياس ميزانية حساب تشغيل تدريب.

ما يُغفِله

تحتسب القاعدة عمليات ضرب المصفوفات الحاملة للمعاملات وحدها. وتضيف آلية الانتباه حدًا منفصلًا ينمو مع طول المتتالية ولا يعتمد على عدد المعاملات؛ وهو صغير للنماذج المعتادة عند أطوال سياق معتدلة، لكنه قد يصير معتبرًا عند السياقات الطويلة جدًا. وتُغفَل كذلك طبقات التضمين والتسوية. ولهذه الأسباب تكون القيمة تقديرًا للقياس والميزنة، لا عدًّا دقيقًا للتعليمات. ولرؤية الحساب المُحقَّق كنصيب من ذروة العتاد، تابِع إلى حاسبة استغلال نموذج عمليات الفاصلة العائمة.

الأسئلة الشائعة (FAQ)

من أين يأتي تقدير 2N؟

تهيمن على حساب المُحوِّل عمليات ضرب المصفوفات التي يُستعمل فيها كل وزن مرة واحدة لكل رمز. وعملية الضرب-التراكمية عمليتا فاصلة عائمة — ضرب واحد وجمع واحد — فمعالجة رمز واحد عبر N معامل تكلّف نحو 2N عملية في التمريرة الأمامية.

وهذه القاعدة التقريبية مقدَّمة في عمل Kaplan حول قوانين القياس ومُعاد استعمالها في المجال كله. وهي تقريب: تحتسب عمليات ضرب المصفوفات الكبيرة وتعامل ما عداها بوصفه مُهمَلًا، وهو ما يصدُق جيدًا للنماذج الكبيرة.

لماذا يكون التدريب أغلى ثلاث مرات؟

يشغّل التدريب التمريرة الأمامية ثم تمريرة خلفية لحساب التدرّجات. وتحسب التمريرة الخلفية التدرّجات بالنسبة إلى التنشيطات والأوزان معًا، وكلٌّ منهما نحو كلفة التمريرة الأمامية، فتكون التمريرة الخلفية نحو ضِعف الأمامية والإجمالي نحو ثلاثة أضعاف — ست عمليات لكل معامل لكل رمز.

وضرب 6N في إجمالي رموز مجموعة بيانات هو الطريقة المعتادة لتقدير ميزانية حساب تشغيل تدريب.

هل يشمل هذا الانتباه؟

لا. تحتسب قاعدتا 2N و6N عمليات ضرب المصفوفات الحاملة للمعاملات وحدها. وتضيف آلية الانتباه حدًا ينمو مع طول المتتالية ومستقل عن عدد المعاملات.

وبالنسبة للنماذج الكبيرة المعتادة عند أطوال سياق معتدلة يكون ذلك الحدّ صغيرًا نسبةً إلى عمليات ضرب المصفوفات، فيبقى التقدير قريبًا. وعند أطوال سياق طويلة جدًا قد يصير الانتباه نصيبًا معتبرًا، ويلزم نموذج أكثر تفصيلًا.

إخلاء المسؤولية

هذه تقديرات من الدرجة الأولى تحتسب عمليات ضرب المصفوفات المهيمنة وتُهمِل حدود الانتباه والتسوية والتضمين. تعتمد أعداد العمليات الفعلية على المعمارية وطول السياق. استعمل القيمة لمقارنات القياس وتقديرات الميزانية، لا لحساب عتادي دقيق.

التالي الموصى به

حاسبة استغلال نموذج عمليات الفاصلة العائمة

حساب استغلال نموذج عمليات الفاصلة العائمة (MFU): نصيب المُسرِّع من الإنتاجية القصوى للفاصلة العائمة الذي يبلغه تشغيل النموذج فعليًا، انطلاقًا من عدد المعاملات، وإنتاجية الرموز، وذروة TFLOP/s.

 اعرف المزيد
حاسبة إنتاجية الاستدلال

تقدير حدّ عرض نطاق الذاكرة على سرعة فكّ تشفير النموذج اللغوي الكبير انطلاقًا من حجم النموذج، ودقة الأوزان، وعرض نطاق ذاكرة المُسرِّع — السقف النظري للرموز في الثانية لتدفق واحد.

 اعرف المزيد

أكثر من 200 حاسبة · 10 لغات · مجاني 100٪

هل كانت هذه الحاسبة مفيدة؟

لا، تحتاج إلى تحسين

كيف يمكننا تحسين هذه الحاسبة؟
مدعوم من OneCalc ↗