آخر تحديث: 2026-06-22

ذاكرة VRAM لاستدلال النماذج اللغوية الكبيرة

تبدأ خدمة نموذج لغوي كبير بسؤال صريح: هل يتّسع لوحدة معالجة الرسوميات؟ تهيمن أوزان النموذج على الإجابة، لكن الأوزان وحدها تُقلِّل من تقدير المتطلَّب، لأن خادم الاستدلال يجب أن يحتفظ أيضًا بذاكرة المفتاح-القيمة وبالتنشيطات المارة عبر كل طبقة وببعض الذاكرة المفقودة في التجزئة. تقدّر هذه الحاسبة إجمالي ذاكرة VRAM من ثلاثة مدخلات — عدد المعاملات والدقة التي تُخزَّن بها الأوزان وأعباء وقت تشغيل تجمع البقية في رقم واحد قابل للضبط.

الأوزان تحدّد الحد الأدنى

أوزان النموذج هي تكلفته الثابتة الكبرى في الذاكرة. يُخزَّن كل معامل بدقة مختارة: تشغل أوزان الستة عشر بتًا الكاملة بايتين لكل معامل، ويشغل التكميم بثمانية بتات بايتًا واحدًا، ويشغل التكميم بأربعة بتات نصف بايت. لذا فإن عدد معاملات $N$ بالمليارات، مخزَّنًا عند $b$ بت، يشغل:

فالمليار معامل عند 16 بت يساوي 2 GB بالضبط، ولهذا يحتاج نموذج بحجم 7B إلى 14 GB لأوزانه وحدها. وتحوّل القسمة على ثمانية البتات إلى بايتات، ولأن المعاملات تُعدّ بالمليارات والذاكرة بالجيجابايت تتطابق الوحدات مباشرةً.

إضافة أعباء وقت التشغيل

الأوزان ليست سوى الحد الأدنى. فأثناء الاستدلال يحتفظ الخادم بذاكرة مفتاح-قيمة تحمل مفاتيح الانتباه وقيمه لكل رمز قيد المعالجة، ويخصّص تنشيطات مع مرور كل طلب عبر الطبقات، ويفقد قليلًا من الذاكرة في التجزئة. والإجمالي هو:

حيث $o$ هو الأعباء معبَّرًا عنها كنسبة من حجم الأوزان. وذاكرة المفتاح-القيمة هي المكوّن الأكبر والأكثر تغيرًا — إذ تنمو مع طول السياق وعدد الطلبات المتزامنة — لذا تعتمد الأعباء الصحيحة اعتمادًا كبيرًا على حمل العمل. وتُعدّ نسبة عشرين بالمئة نقطة بداية معقولة للمطالبات القصيرة عند أحجام دفعات متواضعة؛ أما الخدمة ذات السياق الطويل والإنتاجية العالية فقد تدفعها إلى أعلى بكثير.

مثال محلول

لنأخذ نموذجًا بسبعة مليارات معامل يُخدَم بدقة 16 بت مع أعباء قدرها عشرون بالمئة:

يتّسع الإجمالي البالغ 16.8 GB بمريحٍ لبطاقة سعة 24 GB لكنه لا يترك مجالًا في بطاقة سعة 16 GB. ولتشغيل النموذج نفسه على وحدة معالجة رسوميات أصغر، يُنصّف الانتقال إلى الثمانية بتات الأوزانَ إلى 7 GB ويقرّب الإجمالي إلى 8.4 GB. وتُتناول العلاقة بين حجم النموذج والدقة بمزيد من التفصيل في حاسبة حجم النموذج من التكميم.

جعل النموذج يتّسع

لأن الذاكرة تتناسب طرديًا مع عدد البتات لكل وزن، فإن التكميم هو الرافعة الأكثر مباشرةً: فالانتقال من الستة عشر بتًا إلى الثمانية يُنصّف ذاكرة الأوزان، ومن الثمانية إلى الأربعة يُنصّفها ثانيةً، عادةً بخسارة متواضعة ومقبولة في جودة المخرجات. وحين يتجاوز النموذج المكمَّم حتى مُسرِّعًا واحدًا، تكون البدائل توزيعَ الأوزان على عدة وحدات معالجة رسوميات أو إلغاء تحميل جزء من النموذج إلى ذاكرة النظام بتكلفة باهظة في السرعة. ويُتناول تقدير عدد المُسرِّعات التي يحتاجها النموذج في حاسبة عدد وحدات معالجة الرسوميات للنموذج. عُدّ الرقم هنا تقديرًا تخطيطيًا وتحقّق منه إزاء تشغيل خدمة حقيقي، إذ يحرّك الإطار وطول السياق وحجم الدفعة الرقمَ الحقيقي جميعًا.