Skip to content
تاريخ الإنشاء: 20 يوليو 2026 في 09:34 م

حاسبة عمليات تدريب النموذج (FLOPs)

المدخلات

نوع المرورخطوة تدريب (6ND)
المعاملات70
رموز التدريب1,400

يعتمد هذا الحساب على تقريب 6ND من المرتبة الأولى للنماذج المحوّلة الكثيفة، ويحسب الحوسبة المثالية فقط. يتوقف زمن التدريب وتكلفته الفعليان على معدل استغلال العتاد، وهو أدنى بكثير من الذروة، وعلى الأعباء التي تهملها الصيغة. تُعامَل النتيجة كتقدير تخطيطي لا كحساب دقيق.

أُنشئ باستخدام OneCalc · https://onecalc.app/ar/ai/training-flops

AI & LLM

حاسبة عمليات تدريب النموذج (FLOPs)

تقدير عدد عمليات الفاصلة العائمة اللازمة لتدريب نموذج محوّل وفق قاعدة 6ND انطلاقًا من عدد المعاملات وعدد رموز التدريب، مع عرض النتيجة بإجمالي العمليات وبوحدة بيتافلوب/ثانية-يوم.

المدخلات

النموذج والبيانات

النتائج

أدخل قيمة لعرض النتائج.

تفاصيل

تضمين هذه الآلة الحاسبة

معاينة

الصق هذا الرمز في صفحتك لعرض الآلة الحاسبة.

مشاركة هذه العملية الحسابية

سيرى كل من يفتح هذا الرابط القيم التي أدخلتها.

عمليات تدريب النموذج (FLOPs)

تُهيمن على الحوسبة اللازمة لتدريب نموذج لغوي كبير كميةٌ واحدة: عدد عمليات الفاصلة العائمة المنفَّذة عبر جولة التدريب الكاملة. وبالنسبة للنماذج المحوّلة الكثيفة، تُقرَّب هذه الكمية جيدًا بقاعدة 6ND التي تنص على أن التدريب يكلّف نحو ست عمليات لكل معامل ولكل رمز يراه النموذج. تطبّق هذه الحاسبة تلك القاعدة، فتأخذ عدد المعاملات وعدد الرموز وتُعيد كلًّا من العدد الخام للعمليات والمكافئ بوحدة بيتافلوب/ثانية-يوم.

قاعدة 6ND

ينفّذ المرور الأمامي للنموذج المحوّل نحو عمليتين لكل معامل ولكل رمز — ضرب وجمع في عمليات ضرب المصفوفات المهيمنة على العمل. ويضيف التدريب مرورًا عكسيًا ينشر التدرجات إلى التنشيطات والأوزان معًا، بتكلفة تبلغ نحو ضعف المرور الأمامي مرة أخرى. ويجتمع المروران الأمامي والعكسي عند نحو ست عمليات لكل معامل ولكل رمز. وعند وجود NN معاملًا وDD رمز تدريب يكون الإجمالي قريبًا من 6 N D6\,N\,D. يلتقط التقدير الطبقات الخطية المهيمنة ويهمل الإسهامات الأصغر من الانتباه والتضمينات والتسوية، وهي مهملة في النماذج الكبيرة.

الصيغة

عند وجود معامل المرور kk (ستة لخطوة التدريب، اثنان للمرور الأمامي وحده)، وعدد المعاملات NN بالمليارات، وعدد الرموز DD بالمليارات، يكون إجمالي العمليات والحوسبة بوحدة بيتافلوب/ثانية-يوم

C=k⋅N⋅D⋅1018P=C8.64×1019\begin{aligned} C &= k \cdot N \cdot D \cdot 10^{18} \\ P &= \frac{C}{8.64 \times 10^{19}} \end{aligned}

حيث CC إجمالي العمليات وPP الحوسبة بوحدة بيتافلوب/ثانية-يوم. يعيد المعامل 101810^{18} المليارات في NN وDD إلى أعداد مطلقة. ووحدة بيتافلوب/ثانية-يوم هي بيتافلوب/ثانية واحد مستمر ليوم كامل، أي 1015×86,400=8.64×101910^{15} \times 86{,}400 = 8.64 \times 10^{19} عملية، فقسمة العدد الخام على هذا الرقم تحوّله إلى الوحدة التي تُعرض بها الجولات الكبيرة عادةً.

مثال محلول

لنأخذ نموذجًا بـ 70 مليار معامل مدرَّبًا على 1,400 مليار رمز، بنسبة رموز إلى معاملات تساوي عشرين، وهي نسبة متوافقة مع الممارسة المثلى للحوسبة:

C=6×70×1400×1018=5.88×1023 FLOPsP=5.88×10238.64×1019≈6,805.6 PFLOP/s-days\begin{aligned} C &= 6 \times 70 \times 1400 \times 10^{18} = 5.88 \times 10^{23}\ \text{FLOPs} \\ P &= \frac{5.88 \times 10^{23}}{8.64 \times 10^{19}} \approx 6{,}805.6\ \text{PFLOP/s-days} \end{aligned}

تحتاج الجولة إلى نحو 5.88×10235.88 \times 10^{23} عملية، أي ما يقارب 6,806 بيتافلوب/ثانية-يوم. وتبديل معامل المرور إلى اثنين يُظهر تكلفة المرور الأمامي وحده، وهي ثلث إجمالي التدريب.

الحدود

قاعدة 6ND عدٌّ مثالي للعمليات الحسابية، وليست تنبؤًا بالزمن الفعلي أو التكلفة. لا يحقق العتاد الحقيقي إلا جزءًا من إنتاجيته القصوى، فالزمن الفعلي يَنتج من قسمة هذه الحوسبة على المعدل المحقَّق لا على المعلَن — وهي فجوة يلتقطها حاسبة استغلال نموذج عمليات الفاصلة العائمة. كما يهمل التقدير إعادة حساب التنشيطات وخطوات المحسِّن وجولات التقييم وأي جولات تفشل وتُعاد، وكلها تضيف إلى الحوسبة المنفقة عمليًا. ويُعالَج السؤال المكمِّل عن عدد الرموز التي ينبغي أن يراها نموذج بحجم معيَّن في حاسبة عدد رموز شينشيلا المثلى، وتحويل هذه الحوسبة إلى ميزانية استئجار في حاسبة تكلفة وحدات معالجة الرسوميات السحابية.

الأسئلة الشائعة (FAQ)

ما هي قاعدة 6ND؟

تقدّر قاعدة 6ND أن تدريب نموذج محوّل كثيف يتطلب نحو ست عمليات فاصلة عائمة لكل معامل ولكل رمز تدريب، حيث يرمز N إلى عدد المعاملات وD إلى عدد الرموز. ينشأ المعامل ستة من نحو عمليتين لكل معامل في المرور الأمامي وأربع عمليات تقريبًا في المرور العكسي الذي يحسب التدرجات.

وهي تقريب من المرتبة الأولى ظهر ضمن أبحاث قوانين التوسع، يلتقط عمليات ضرب المصفوفات المهيمنة ويهمل الحدود الأصغر مثل الانتباه والتضمينات.

كيف يرتبط إجمالي العمليات بوحدة بيتافلوب/ثانية-يوم؟

وحدة بيتافلوب/ثانية-يوم هي مقدار الحوسبة الناتج عن استمرار بيتافلوب/ثانية واحد ليوم كامل، ويساوي 8.64 × 10¹⁹ عملية فاصلة عائمة (10¹⁵ عملية في الثانية مضروبة في 86,400 ثانية).

تحويل إجمالي العمليات إلى هذه الوحدة يتم بقسمته على هذا الرقم، وهي الوحدة التي تُعرض بها جولات التدريب الكبيرة عادةً لأن أعداد العمليات الخام تبلغ مقادير يصعب التعامل معها.

ماذا يشمل هذا التقدير وماذا يستبعد؟

يحسب التقدير عمليات الفاصلة العائمة للطبقات الخطية المهيمنة عبر المرورين الأمامي والعكسي لعدد رموز التدريب المعطى. ولا يأخذ في الحسبان معدل استغلال العتاد، لذا فإن الزمن الفعلي والتكلفة الحقيقية لأي جولة أعلى مما تشير إليه الحوسبة المثالية.

كما يهمل إعادة حساب التنشيطات، وعبء المحسِّن، والتقييم، والجولات الفاشلة أو المعاد تشغيلها، وكلها تضيف إلى الحوسبة المنفقة عمليًا.

إخلاء المسؤولية

يعتمد هذا الحساب على تقريب 6ND من المرتبة الأولى للنماذج المحوّلة الكثيفة، ويحسب الحوسبة المثالية فقط. يتوقف زمن التدريب وتكلفته الفعليان على معدل استغلال العتاد، وهو أدنى بكثير من الذروة، وعلى الأعباء التي تهملها الصيغة. تُعامَل النتيجة كتقدير تخطيطي لا كحساب دقيق.

التالي الموصى به

حاسبة عدد رموز شينشيلا المثلى

إيجاد العدد الأمثل لرموز التدريب من حيث الحوسبة لنموذج ما باستخدام قاعدة شينشيلا، أي نحو عشرين رمزًا لكل معامل، مع حوسبة التدريب الناتجة بوحدة FLOPs.

 اعرف المزيد
حاسبة زمن تدريب النموذج وتكلفته

تقدير المدة التي تستغرقها جولة تدريب نموذج لغوي كبير وتكلفتها انطلاقًا من إجمالي عمليات التدريب وعدد وحدات المعالجة الرسومية وإنتاجية كل وحدة القصوى ومعدل استغلال عمليات النموذج وسعر الساعة للوحدة.

 اعرف المزيد

أكثر من 200 حاسبة · 10 لغات · مجاني 100٪

هل كانت هذه الحاسبة مفيدة؟

لا، تحتاج إلى تحسين

كيف يمكننا تحسين هذه الحاسبة؟
مدعوم من OneCalc ↗