آخر تحديث: 2026-06-22

عدد الحقب من ميزانية الحوسبة

تحدّد ميزانية حوسبة ثابتة ومجموعة بيانات ثابتة معًا عدد المرات التي يستطيع فيها النموذج قراءة بياناته. وكثيرًا ما يتلخّص تخطيط جولة تدريب في هذا السؤال: بمقدار معيَّن من بيتافلوب/ثانية-يوم من المخصصات، ونموذج بحجم معروف، ومجموعة بيانات بعدد رموز معروف، كم حقبة يمكن تحمّلها؟ تُجيب هذه الحاسبة عن ذلك بتحويل الميزانية إلى رموز قابلة للتدريب بنموذج التكلفة المعياري والقسمة على حجم مجموعة البيانات.

الحوسبة والرموز والحقب

تُخصَّص حوسبة التدريب شائعًا بوحدة بيتافلوب/ثانية-يوم — أي بيتافلوب في الثانية مستمر ليوم واحد. وتُقرَّب التكلفة المهيمنة لخطوة التدريب جيدًا بست عمليات فاصلة عائمة لكل معامل ولكل رمز: عمليتان للمرور الأمامي ونحو أربع للمرور العكسي. وتحوّل تلك القاعدة ميزانية الحوسبة مباشرة إلى عدد رموز، لأن الميزانية بالعمليات مقسومة على التكلفة لكل رمز هي عدد الرموز التي تستطيع الميزانية التدريب عليها. وقسمة تلك الرموز القابلة للتدريب على حجم مجموعة البيانات تعطي عدد المرورات الكاملة، أي الحقب.

الصيغة

لتكن $C$ الميزانية بوحدة بيتافلوب/ثانية-يوم، و$N$ المعاملات بالمليارات، و$D$ مجموعة البيانات بمليارات الرموز. يساوي بيتافلوب/ثانية-يوم واحد $8.64 \times 10^{19}$ عملية، و$N$ مليار معامل هو $N \times 10^{18}$ عند معدل العمليات الست، فتكون الرموز القابلة للتدريب $B$ (بالمليارات) والحقب $e$

مثال محلول

لنأخذ ميزانية 6,000 بيتافلوب/ثانية-يوم لنموذج بـ 70 مليار معامل ومجموعة بيانات من 300 مليار رمز:

تدفع الميزانية تكلفة نحو 1.23 تريليون رمز قابل للتدريب، أي ما يقارب أربعة مرورات كاملة على مجموعة بيانات من 300 مليار رمز. ونتيجة أعلى من واحد بهذا القدر إشارة إلى أن مجموعة البيانات صغيرة قياسًا بالحوسبة المتاحة.

قراءة النتيجة

عدد حقب قريب من واحد يعني أن الميزانية مطابقة لمرور واحد على البيانات، وهو النظام الذي تميل إليه الوصفات المثلى من حيث الحوسبة للنماذج الكبيرة. وعدد أعلى من واحد بكثير يعني أن هناك حوسبة كافية لتكرار البيانات عدة مرات؛ وبما أن الرموز الجديدة أكثر إفادة من المتكررة، فهذا يدعو غالبًا إلى جمع المزيد من البيانات الفريدة بدلًا من الدوران على المدوّنة نفسها. وعدد أقل من واحد يعني أن الميزانية لا تتحمّل حتى مرورًا واحدًا، فيلزم نموذج أصغر أو مجموعة فرعية أصغر من البيانات أو حوسبة أكثر. أما الاقتران المطابق بين حجم النموذج وعدد الرموز لميزانية فموضوع حاسبة حجم النموذج الأمثل من حيث الحوسبة.

الحدود

يستخدم التقدير تقريب العمليات الست لكل معامل ولكل رمز ويفترض إنفاق الميزانية كلها على تدريب نافع. ولا تحقق الجولات الحقيقية إلا جزءًا من الإنتاجية القصوى، وتفقد وقتًا في الاتصال وعبء خط الأنابيب، وتنفق حوسبة على التقييم وإعادة التشغيل، فيكون عدد الحقب القابل للتحقيق أدنى من هذا الحد الأعلى. أما هدف الرموز الأمثل من حيث الحوسبة لحجم نموذج معطى، الذي يمكن قياس كفاية مجموعة بيانات بالنسبة إليه، فيعطيه حاسبة عدد رموز شينشيلا المثلى.