آخر تحديث: 2026-06-22

زمن تدريب النموذج وتكلفته

تدريب نموذج لغوي كبير مقدارٌ ثابت من العمليات الحسابية موزَّع على عنقود من المسرّعات، فتكون مدته وفاتورته قابلتين للتنبؤ بمجرد معرفة العمل والعتاد. تقدّر هذه الحاسبة الزمن الفعلي وتكلفة ساعات-الوحدة لأي جولة انطلاقًا من إجمالي عمليات التدريب وعدد الوحدات وإنتاجية كل وحدة القصوى ومعدل استغلال عمليات النموذج وسعر الاستئجار للساعة.

ما يغطّيه التقدير

يُقرَّب إجمالي عمل الفاصلة العائمة لجولة تدريب جيدًا بكمية واحدة تُكتب غالبًا بوصفها ستة أمثال عدد المعاملات مضروبًا في عدد رموز التدريب. وبمجرد تثبيت ذلك الإجمالي، لا يغيّر الجدول الزمني سوى سرعة العنقود في إنجازه. والمعدل المستدام للعنقود هو مجموع معدلات مسرّعاته القصوى مخفَّضًا بالجزء الذي تستغله فعليًا، أي معدل استغلال عمليات النموذج. وقسمة العمل على ذلك المعدل تعطي الزمن، وضرب الزمن في عدد الوحدات وسعر الساعة يعطي التكلفة.

الصيغة

عند وجود عمل إجمالي $C$ بوحدة FLOPs، و$n$ مسرّعًا كلٌّ منها بمعدل $P$ تيرافلوب/ثانية، ومعدل استغلال $U$، وسعر $c$ للساعة لكل وحدة، يكون زمن الجولة $t$ والتكلفة الإجمالية $T$

يحوّل المعامل $10^{12}$ تيرافلوب/ثانية إلى عمليات/ثانية، فيُعبَّر عن $t$ بالثواني؛ والقسمة على 3600 تحوّله إلى ساعات-وحدة قبل التسعير. ومضاعفة عدد الوحدات تقارب نصف الزمن لكنها تترك تكلفة ساعات-الوحدة دون تغيير، لأن العمل الإجمالي نفسه يُنجَز في وقت أقصر فحسب.

مثال محلول

لنأخذ جولة من $5.88 \times 10^{23}$ عملية على 1,024 مسرّعًا بمعدل 989 تيرافلوب/ثانية لكلٍّ منها، بمعدل استغلال 40٪، مستأجَرة بسعر 2.50 للساعة لكل وحدة:

تستغرق الجولة نحو سبعة عشر يومًا وتكلّف ما يزيد قليلًا على مليون من رسوم الاستئجار. ورفع معدل الاستغلال من 40٪ إلى 50٪ يخفض الزمن والتكلفة بمقدار الخُمس، ولهذا فإن انتزاع المزيد من العتاد نفسه أرخص تحسين متاح.

الحدود

يفترض التقدير أن الجولة محدودة بالحوسبة وأن قيمة معدل الاستغلال متوسطة مسبقًا عبر العمل بأكمله. وهو يستبعد كتابة نقاط التفتيش، وتوقّف تحميل البيانات، وإعادة التشغيل بعد أعطال العتاد، وجولات التحقق، والوقت الخامل لحجز قائم دون حوسبة. كما يحرّك الإجمالي الحقيقي أيضًا الشبكة والتخزين والفرق بين التسعير الفوري والمحجوز. تُعامَل النتيجة كخط أساس تخطيطي مع إضافة هامش للأعباء. ويُشتَق العمل الإجمالي الذي يغذّي هذا الحساب في حاسبة عمليات تدريب النموذج (FLOPs)، ويُعالَج جانب الاستئجار الصرف من الفاتورة في حاسبة تكلفة وحدات معالجة الرسوميات السحابية.