حاسبة إنتاجية الاستدلال
المدخلات
| المعاملات | 70 |
|---|---|
| دقة الأوزان | 16 بت (2 بايت) |
| عرض نطاق الذاكرة | 3,350 |
حاسبة إنتاجية الاستدلال
تقدير حدّ عرض نطاق الذاكرة على سرعة فكّ تشفير النموذج اللغوي الكبير انطلاقًا من حجم النموذج، ودقة الأوزان، وعرض نطاق ذاكرة المُسرِّع — السقف النظري للرموز في الثانية لتدفق واحد.
المدخلات
النموذج
العتاد
النتائج
أدخل قيمة لعرض النتائج.
تفاصيل
إنتاجية الاستدلال
إنتاجية الاستدلال هي عدد الرموز التي يمكن لنموذج لغوي أن يولّدها في الثانية. وبالنسبة لطلب واحد، لا يحدّد السقفَ القدرةُ الحسابية الخام للمُسرِّع بل سرعةُ قراءته لأوزان النموذج من الذاكرة. تحوّل هذه الحاسبة حجم النموذج، ودقة الأوزان، وعرض نطاق ذاكرة العتاد إلى ذلك السقف — السقف النظري للرموز في الثانية لتدفق فكّ تشفير واحد.
لماذا يكون فكّ التشفير محدودًا بالذاكرة
التوليد الذاتي الانحدار يعني إنتاج رمز واحد ثم إعادة تغذيته لإنتاج التالي. وعلى كل خطوة من تلك الخطوات أن تقرأ كل وزن في النموذج لحساب رمز جديد واحد. وبحجم تجميع يساوي واحدًا يؤدّي المُسرِّع قدرًا ضئيلًا جدًا من العمليات الحسابية لكل بايت يحمّله، لذا يقضي كامل وقته تقريبًا في نقل الأوزان لا في الضرب. ومن ثَمّ يحكم معدّلَ الرموز عرضُ نطاق الذاكرة. (أما التعبئة المسبقة للمُحفِّز فهي العكس: تعالج كل رموز المُحفِّز معًا ويحدّها الحساب.)
الصيغة
أوجد أولًا مقدار الذاكرة التي تشغلها الأوزان، ثم اقسم عرض النطاق المتاح عليه:
Mv=N×b=MBWهنا عدد المعاملات بالمليارات، و البايتات المخزَّنة لكل معامل، و حجم النموذج بالغيغابايت، و عرض نطاق الذاكرة بالغيغابايت في الثانية، و حدّ الإنتاجية بالرموز في الثانية. ولأن المليار بايت يساوي نحو غيغابايت واحد، فإن إدخال المعاملات بالمليارات يجعل الحجم يقع مباشرةً بالغيغابايت. ودقة الأوزان هي 2 بايت للأوزان ذات 16 بت، وبايت واحد لـ 8 بت، ونصف بايت لـ 4 بت.
مثال محلول
لنأخذ نموذجًا بـ 70 مليار معامل بدقة 16 بت مُخدَّمًا على مُسرِّع بعرض نطاق ذاكرة قدره 3,350 GB/s:
Mv=70×2=140 GB=1403350≈23.9 tokens/sفيبلغ التدفق الواحد سقفه عند نحو 24 رمزًا في الثانية. وتكميم النموذج نفسه إلى 4 بت يقلّصه إلى 35 GB ويرفع السقف إلى نحو 96 رمزًا في الثانية — مكسب بمقدار أربعة أضعاف يعكس انخفاضًا بمقدار أربعة أضعاف في البايتات المقروءة لكل رمز.
قراءة النتيجة
الرقم حدّ أعلى لا وعد. فهو يحتسب حركة تدفيق الأوزان وحدها؛ أما ذاكرة المفتاح-القيمة المؤقتة، وحساب الانتباه، ونفقات النواة فتقتطع منه جميعًا، لذا يبلغ التدفق الواحد الواقعي عادةً ما بين نصف السقف وثلاثة أرباعه. وخدمة طلبات كثيرة في دفعة واحدة تقرأ الأوزان مرة واحدة للمجموعة بأكملها، فترفع الإنتاجية الإجمالية إلى ما يفوق رقم التدفق الواحد بكثير — انظر حاسبة إنتاجية الاستدلال المُجمَّع. ولتحويل معدّل الرموز إلى انتظار يراه المستخدم، اقرنه بـ حاسبة زمن استجابة الاستدلال، ولتقدير مدى حُسن استغلال حساب العتاد، انظر حاسبة استغلال نموذج عمليات الفاصلة العائمة.
الأسئلة الشائعة (FAQ)
لماذا يحدّ عرض نطاق الذاكرة فكّ التشفير بدلًا من الحساب؟
أثناء فكّ التشفير الذاتي الانحدار يولّد النموذج رمزًا واحدًا في كل مرة، وعلى كل خطوة أن تقرأ كل وزن من الذاكرة لحساب الرمز التالي. وبحجم تجميع يساوي واحدًا يكون مقدار العمليات الحسابية لكل بايت محمَّل ضئيلًا جدًا، لذا يقضي المُسرِّع معظم وقته في نقل الأوزان لا في الضرب.
ومن ثَمّ يحدّد معدّل الرموز سرعةُ قراءة الذاكرة، لا الإنتاجية القصوى للفاصلة العائمة. أما التعبئة المسبقة، التي تعالج المُحفِّز بأكمله دفعة واحدة، فهي العكس — إذ تحدّها العمليات الحسابية.
هل يبلغ الخادم هذا الرقم فعلًا؟
لا. الرقم حدّ أعلى نظيف يفترض أن حركة الذاكرة الوحيدة هي الأوزان. وعمليًا تقتطع منه ذاكرة المفتاح-القيمة المؤقتة، وحساب الانتباه، ونفقات إطلاق النواة، واستغلال الذاكرة غير المثالي، لذا يبلغ التدفق الواحد عادةً ما بين نصف السقف وثلاثة أرباعه.
ويرفع تجميع طلبات كثيرة معًا الإنتاجية الإجمالية إلى ما يفوق حدّ التدفق الواحد بكثير لأن الأوزان تُقرأ مرة واحدة للدفعة بأكملها.
كم يرفع التكميم الإنتاجية؟
تتناسب الإنتاجية عكسيًا مع حجم النموذج، لذا فإن خفض البايتات لكل معامل إلى النصف يضاعف الحدّ تقريبًا. ونقل الأوزان من 16 بت إلى 8 بت يخفض البايتات المقروءة لكل رمز إلى النصف، و4 بت يخفضها إلى النصف مجددًا. وقد يقلّل التكميم جودة المُخرَج، لذا يُوازَن مكسب السرعة بأي انخفاض في الدقة للمهمة المعنية.
إخلاء المسؤولية
هذا سقف نظري من الدرجة الأولى يحتسب حركة ذاكرة الأوزان وحدها ويفترض فكّ تشفير لتدفق واحد. تعتمد الإنتاجية الفعلية على منظومة الخدمة وحجم التجميع وطول المتتالية وذاكرة المفتاح-القيمة المؤقتة، وهي عادةً جزء من الحدّ. اختبر على العتاد المستهدف قبل إقرار خطة سعة.