آخر تحديث: 2026-06-22

معاملات LoRA

التكييف منخفض الرتبة، أو LoRA، هو الطريقة الأشيع لضبط نموذج لغوي كبير ضبطًا دقيقًا بميزانية محدودة. فبدلًا من تحديث كل وزن، يُجمِّد النموذج الأساس ويدرّب زوجًا صغيرًا من المصفوفات منخفضة الرتبة بجوار كل مصفوفة وزن مُكيَّفة. والنتيجة تتصرف كأنها ضبط دقيق كامل تقريبًا، مع لمس جزء ضئيل من المعاملات. تقدّر هذه الحاسبة عدد المعاملات الذي يبلغه هذا الجزء، ومقدار ذاكرة المُحسِّن التي يحتاجها، انطلاقًا من شكل النموذج ورتبة المُكيِّف.

كيف يقلّص LoRA المجموعة القابلة للتدريب

تحوّل مصفوفة وزن المحوِّل متجهًا مخفيًا إلى آخر، فهي لطبقة مربَّعة تحوي نحو $d \times d$ من القيم. وضبطها جميعًا دقيقًا مكلِف: إذ يجب على المُحسِّن تخزين التدرّجات والإحصاءات الجارية لكل قيمة. يستبدل LoRA بذلك التحديثَ الكثيف بجداء مصفوفتين رفيعتين — واحدة بحجم $d \times r$ وأخرى بحجم $r \times d$، حيث الرتبة $r$ أصغر بكثير من $d$. ولا تتحرك الأوزان الأساس أبدًا؛ بل يُدرَّب هذان العاملان وحدهما، ويُضاف جداؤهما عند الاستدلال إلى المصفوفة الأصلية.

ولأن كل مصفوفة مُكيَّفة تساهم بـ $r \cdot (d_{\text{in}} + d_{\text{out}})$ من القيم القابلة للتدريب — أي $2 r d_{\text{model}}$ حين يتساوى عرضا الدخل والخرج — تظل المجموعة القابلة للتدريب عادةً دون واحد بالمئة من النموذج الكامل. وهذا ما يجعل LoRA عمليًا على مُسرِّع واحد.

الصيغة

بعدد طبقات $L$، وعدد وحدات مُكيَّفة $m$ في كل طبقة، ورتبة $r$، وحجم مخفي $d$، يكون عدد المعاملات القابلة للتدريب:

تحتفظ خوارزمية Adam بالدقة المختلطة بنحو ستة عشر بايت من حالة المُحسِّن والأوزان الرئيسة لكل معامل قابل للتدريب — النسخة الرئيسة بدقة 32 بت، إضافةً إلى تقديرَي العزم الأول والثاني — فتكون ذاكرة المُحسِّن بالميجابايت:

ويعدّ هذا حالة المُكيِّف فقط. أما النموذج الأساس المُجمَّد فيظل يشغل ذاكرة لأوزانه، لكنه لا يحتاج تدرّجات ولا حالة مُحسِّن، وهنا يكمن مصدر التوفير.

مثال محلول

لنأخذ نموذجًا بـ 32 طبقة، نُكيِّف فيه إسقاطات الانتباه الأربعة في كل طبقة، عند الرتبة 8 وبحجم مخفي 4096:

أي نحو 8.39 مليون معامل قابل للتدريب. وتكون حالة المُحسِّن:

ولنموذج أساس بسبعة مليارات معامل، تمثّل هذه المُكيِّفات البالغة 8.39 مليون نحو عُشر بالمئة من الكل — ومع ذلك تكفي لتخصيص النموذج لكثير من المهام اللاحقة.

اختيار الرتبة والوحدات

الرتبة هي مِفتاح السعة الرئيس. تشيع الرتب من 4 إلى 8 للتكييف الخفيف للمهام؛ بينما تتيح الرتب من 16 إلى 64 مجالًا أوسع حين تبتعد المهمة الهدف كثيرًا عن بيانات تدريب النموذج الأساس. ومضاعفة الرتبة تضاعف المعاملات القابلة للتدريب وذاكرة المُحسِّن معًا، فلا يجدر رفعها إلا حين تقصر الرتبة الأدنى. ويعكس مُدخَل الوحدات في كل طبقة المصفوفات التي تتلقى مُكيِّفًا: وحدتان للاستعلام والقيمة وحدهما، أو أربع لكتلة الانتباه الكاملة، أو أكثر إذا أُدرِجت مصفوفات التغذية الأمامية.

ولمقارنة المُكيِّف بحجم النموذج الكامل، انظر حاسبة عدد معاملات المحوّل. ولتقدير إجمالي ذاكرة جولة تدريب تشمل الأوزان المُجمَّدة والتنشيطات، انظر حاسبة ذاكرة VRAM لتدريب النماذج اللغوية الكبيرة.