Skip to content
تاريخ الإنشاء: 20 يوليو 2026 في 09:34 م

حاسبة حجم النموذج الأمثل من حيث الحوسبة

المدخلات

ميزانية الحوسبة6,000
الرموز لكل معامل20

يعكس هذا الحساب قاعدة 6ND من المرتبة الأولى عند نسبة ثابتة من الرموز لكل معامل، ويعكس خسارة التدريب المثلى من حيث الحوسبة فقط. ولا يأخذ في الحسبان تكلفة الاستدلال التي تفضّل غالبًا نماذج أصغر مدرَّبة لمدة أطول، ولا معدل استغلال العتاد دون الذروة. تُعامَل النتيجة كتقدير تخطيطي.

أُنشئ باستخدام OneCalc · https://onecalc.app/ar/ai/compute-optimal-model-size

AI & LLM

حاسبة حجم النموذج الأمثل من حيث الحوسبة

انطلاقًا من ميزانية حوسبة تدريب بوحدة بيتافلوب/ثانية-يوم، إيجاد عدد المعاملات وعدد الرموز الأمثل من حيث الحوسبة وفق شينشيلا بعكس قاعدة 6ND عند نسبة ثابتة من الرموز لكل معامل.

المدخلات

ميزانية الحوسبة

النتائج

أدخل قيمة لعرض النتائج.

تفاصيل

تضمين هذه الآلة الحاسبة

معاينة

الصق هذا الرمز في صفحتك لعرض الآلة الحاسبة.

مشاركة هذه العملية الحسابية

سيرى كل من يفتح هذا الرابط القيم التي أدخلتها.

حجم النموذج الأمثل من حيث الحوسبة

عند توفّر مقدار ثابت من حوسبة التدريب، تُجيب قوانين توسع شينشيلا عن حجم النموذج الذي ينبغي أن تبنيه تلك الحوسبة وعدد الرموز التي ينبغي أن يُدرَّب عليها. فالتوزيع الأمثل من حيث الحوسبة يقرن المعاملات والبيانات بالتوازي بدلًا من إنفاق الميزانية كلها على الحجم. تأخذ هذه الحاسبة ميزانية حوسبة بوحدة بيتافلوب/ثانية-يوم، وتثبّت نسبة الرموز لكل معامل، وتعكس قاعدة 6ND لتُعيد عدد المعاملات وعدد الرموز الأمثل.

توزيع ميزانية الحوسبة

تُقرَّب حوسبة التدريب جيدًا بقاعدة 6ND: نحو ست عمليات فاصلة عائمة لكل معامل ولكل رمز. وقد أظهرت دراسة شينشيلا أن الخسارة، عند ميزانية ثابتة، تبلغ أدنى قيمة حين ينمو حجم النموذج وحجم البيانات معًا، بنحو عشرين رمز تدريب لكل معامل. وتثبيت تلك النسبة يحوّل معادلة الحوسبة إلى علاقة في عدد المعاملات وحده، يمكن حلّها لإيجاد حجم النموذج الذي تدعمه ميزانية معطاة.

الصيغة

لتكن الميزانية CC بوحدة بيتافلوب/ثانية-يوم وrr نسبة الرموز لكل معامل. وبتحويل الميزانية إلى عمليات وتعويض D=rND = rN في قاعدة 6 N D6\,N\,D نحصل على 6⋅N⋅rN=CFLOPs6 \cdot N \cdot rN = C_{\text{FLOPs}}، فيكون عدد المعاملات وعدد الرموز

N=1109C⋅8.64×10196rD=r⋅N\begin{aligned} N &= \frac{1}{10^{9}}\sqrt{\frac{C \cdot 8.64 \times 10^{19}}{6r}} \\ D &= r \cdot N \end{aligned}

حيث NN عدد المعاملات الأمثل بالمليارات وDD عدد الرموز الأمثل بالمليارات. يحوّل المعامل 8.64×10198.64 \times 10^{19} بيتافلوب/ثانية-يوم إلى عمليات، والقسمة على 10910^{9} تعبّر عن NN بالمليارات. ويظهر الجذر التربيعي لأن الحوسبة تنمو مع مربع عدد المعاملات بمجرد ربط الرموز به.

مثال محلول

لنأخذ ميزانية 6,000 بيتافلوب/ثانية-يوم عند النسبة المركزية البالغة عشرين رمزًا لكل معامل:

N=11096000×8.64×10196×20≈65.7 billionD=20×65.7≈1314.5 billion=1.31 trillion\begin{aligned} N &= \frac{1}{10^{9}}\sqrt{\frac{6000 \times 8.64 \times 10^{19}}{6 \times 20}} \approx 65.7\ \text{billion} \\ D &= 20 \times 65.7 \approx 1314.5\ \text{billion} = 1.31\ \text{trillion} \end{aligned}

تُنفَق الميزانية على أفضل وجه على نموذج بنحو 65.7 مليار معامل مدرَّب على نحو 1.31 تريليون رمز. ومضاعفة الميزانية ترفع عدد المعاملات الأمثل بنحو الجذر التربيعي للعدد اثنين لا بمعامل اثنين، بسبب الاعتماد على الجذر التربيعي.

الحدود

يعكس هذا الحساب خسارة التدريب المثلى من حيث الحوسبة لميزانية تدريب ثابتة ولا شيء غير ذلك. ولا يوازن تكلفة خدمة النموذج التي تجعل غالبًا نموذجًا أصغر مدرَّبًا على رموز أكثر هو الخيار العملي الأفضل، فالنماذج المنشورة كثيرًا ما تقع دون عدد المعاملات الذي يُعيده. والنسبة الثابتة نفسها تقدير يتحول بتحول مجموعة البيانات والمعمارية، كما لا تحقق الجولات الحقيقية إلا جزءًا من إنتاجية العتاد القصوى. ويُغطَّى جانب البيانات من المفاضلة نفسها في حاسبة عدد رموز شينشيلا المثلى، وتُغطَّى الحوسبة الخام لأي تهيئة مختارة في حاسبة عمليات تدريب النموذج (FLOPs).

الأسئلة الشائعة (FAQ)

كيف ينبغي توزيع ميزانية حوسبة ثابتة بين حجم النموذج والبيانات؟

تُظهر قوانين توسع شينشيلا أن الخسارة، عند ميزانية تدريب ثابتة، تبلغ أدنى قيمة حين تُوسَّع المعاملات ورموز التدريب معًا بدلًا من إنفاق معظم الميزانية على المعاملات. وبتثبيت نسبة الرموز لكل معامل قرب عشرين وحل معادلة حوسبة 6ND لتلك الميزانية يَنتج حجم النموذج وحجم البيانات اللذان يحققان أقصى استفادة من الحوسبة المتاحة.

وتدعم الميزانيات الأكبر نماذج وبيانات أكبر بتناسب.

لماذا يتناسب حجم النموذج مع الجذر التربيعي للحوسبة؟

حوسبة التدريب وفق قاعدة 6ND تساوي ستة مضروبًا في المعاملات مضروبًا في الرموز. وتثبيت الرموز عند نسبة ثابتة r لكل معامل يجعل الرموز تساوي r مضروبًا في N، فتصبح الحوسبة ستة مضروبًا في r مضروبًا في مربع N.

وبما أن الحوسبة تنمو مع مربع عدد المعاملات، فإن استرجاع عدد المعاملات من ميزانية حوسبة يتطلب أخذ جذر تربيعي: N يساوي الجذر التربيعي للحوسبة مقسومة على ستة r. وتتبع الرموز بعد ذلك بوصفها r مضروبًا في N.

ما هي وحدة بيتافلوب/ثانية-يوم؟

وحدة بيتافلوب/ثانية-يوم هي مقدار الحوسبة الناتج عن استمرار بيتافلوب/ثانية — أي 10¹⁵ عملية فاصلة عائمة في الثانية — ليوم كامل. والضرب في 86,400 ثانية في اليوم يعطي 8.64 × 10¹⁹ عملية. وهي الوحدة المعيارية لعرض ميزانيات حوسبة جولات التدريب الكبيرة ومقارنتها، إذ تبلغ أعداد العمليات الخام مقادير يصعب التعامل معها.

إخلاء المسؤولية

يعكس هذا الحساب قاعدة 6ND من المرتبة الأولى عند نسبة ثابتة من الرموز لكل معامل، ويعكس خسارة التدريب المثلى من حيث الحوسبة فقط. ولا يأخذ في الحسبان تكلفة الاستدلال التي تفضّل غالبًا نماذج أصغر مدرَّبة لمدة أطول، ولا معدل استغلال العتاد دون الذروة. تُعامَل النتيجة كتقدير تخطيطي.

التالي الموصى به

حاسبة عدد رموز شينشيلا المثلى

إيجاد العدد الأمثل لرموز التدريب من حيث الحوسبة لنموذج ما باستخدام قاعدة شينشيلا، أي نحو عشرين رمزًا لكل معامل، مع حوسبة التدريب الناتجة بوحدة FLOPs.

 اعرف المزيد
حاسبة عمليات تدريب النموذج (FLOPs)

تقدير عدد عمليات الفاصلة العائمة اللازمة لتدريب نموذج محوّل وفق قاعدة 6ND انطلاقًا من عدد المعاملات وعدد رموز التدريب، مع عرض النتيجة بإجمالي العمليات وبوحدة بيتافلوب/ثانية-يوم.

 اعرف المزيد

أكثر من 200 حاسبة · 10 لغات · مجاني 100٪

هل كانت هذه الحاسبة مفيدة؟

لا، تحتاج إلى تحسين

كيف يمكننا تحسين هذه الحاسبة؟
مدعوم من OneCalc ↗