آخر تحديث: 2026-06-22

ذاكرة تراكم التدرّج

تتدرّب النماذج اللغوية الكبيرة على أفضل وجه بدفعات كبيرة، لكن الدفعة الكبيرة تعني عيّنات كثيرة محفوظة في الذاكرة دفعة واحدة — وذاكرة التنشيط هي غالبًا أول ما يفيض من وحدة معالجة الرسوميات. ويحلّ تراكم التدرّج هذا التوتر: فهو يبلغ دفعة فعّالة كبيرة بينما تبقى ذروة ذاكرة التنشيط عند حجم دفعة صغيرة واحدة. تُظهر هذه الحاسبة طرفي تلك المفاضلة — الدفعة الفعّالة التي يبلغها إعداد ما، وذاكرة التنشيط التي يحتفظ بها فعليًا.

ما الذي يفعله تراكم التدرّج

في المعتاد يحدّث المدرِّب الأوزان بعد كل دفعة. أما مع التراكم فيُشغِّل عدة دفعات صغيرة بالتتابع، ويجمع تدرّجاتها، ولا يطبّق خطوة تحديث واحدة للمُحسِّن إلا بعد معالجة العدد المستهدف من الدفعات الصغيرة. ويكون التدرّج المجموع مطابقًا لما تنتجه دفعة واحدة بذلك الحجم المجمَّع، فيكون التحديث متطابقًا رياضيًا — يتغيّر توقيته فقط. وتتحرّك الأوزان مرة في كل دورة تراكم بدل مرة لكل دفعة صغيرة.

لماذا تبقى الذاكرة ثابتة

تحكم ذروةَ ذاكرة التنشيط أكبرُ تمريرة أمامية وخلفية حيّة في لحظة واحدة، وهي دفعة صغيرة واحدة. يعالج التراكم دفعة صغيرة في كل مرة ويحتفظ فقط بمجموع جارٍ للتدرّجات، يطابق حجمه عدد معاملات النموذج ولا ينمو مع عدد الخطوات. لذا فإن زيادة عدد خطوات التراكم ترفع الدفعة الفعّالة مع ترك ذاكرة التنشيط دون مساس. وهذا هو جوهر الأمر كلّه: دفعة فعّالة كبيرة على ميزانية ذاكرة لا يمكنها أبدًا أن تحتويها كلها في آن واحد.

الصيغة

بحجم دفعة صغيرة $b$، وخطوات تراكم $a$، ونسخ متوازية على البيانات $g$، وكلفة تنشيط لكل عيّنة $A$ بالجيجابايت،

حيث $E$ هو حجم الدفعة الفعّال و$M$ هو ذروة ذاكرة التنشيط على وحدة معالجة رسوميات واحدة. تتضاعف الدفعة الفعّالة عبر كل نسخة وكل خطوة تراكم، بينما يعتمد حدّ الذاكرة على الدفعة الصغيرة وحدها.

مثال محلول

لنأخذ دفعة صغيرة من 4 عيّنات، متراكمة عبر 8 خطوات على وحدة معالجة رسوميات واحدة، وتكلّف كل عيّنة 0.5 GB من التنشيطات:

تتدرّب الجلسة كأن الدفعة 32، بينما لا يبقى مقيمًا سوى 2 GB من التنشيطات على الإطلاق. ونشر الإعداد نفسه عبر 4 من وحدات معالجة الرسوميات المتوازية على البيانات يرفع الدفعة الفعّالة إلى $4 \times 8 \times 4 = 128$، وتبقى ذاكرة التنشيط لكل وحدة معالجة رسوميات عند 2 GB.

قراءة النتيجة

حجم الدفعة الفعّال هو الرقم الذي تُضبَط عليه جداول معدّل التعلّم وسائر المعاملات الفائقة، لا الدفعة الصغيرة. ويُلاحَظ أن ذاكرة التنشيط ليست سوى جزء واحد من ميزانية التدريب: فحالة المُحسِّن والتدرّجات والمعاملات نفسها هي ما يهيمن عادةً، وتعزل هذه الحاسبة حدّ التنشيط عمدًا لتُظهِر مفاضلة الدفعات. وللصورة الكاملة للذاكرة انظر حاسبة ذاكرة VRAM لتدريب النماذج اللغوية الكبيرة، ولتقليص عدد المعاملات القابلة للتدريب باستخدام مُكيِّفات منخفضة الرتبة، انظر حاسبة معاملات LoRA.