آخر تحديث: 2026-06-22

إحماء معدل التعلّم

معدل التعلّم هو أكثر المعالم الفائقة أثرًا في تدريب الشبكات العصبية، ونادرًا ما تُبقيه النماذج المحوّلة الحديثة ثابتًا. ترفعه الوصفة المعيارية من صفر إلى ذروة عبر الخطوات الأولى، ثم تُضمحله على منحنى جيب التمام نحو حد أدنى صغير لبقية الجولة. تُعيد هذه الحاسبة معدل التعلّم عند أي خطوة مختارة وفق ذلك الجدول، إلى جانب نسبة التدريب المنفقة في الإحماء.

لماذا يتغير المعدل عبر الزمن

في بداية التدريب تكون الأوزان عشوائية وتقديرات المحسِّن الجارية لإحصاءات التدرج غير موثوقة، فقد تدفع التحديثات الكبيرة الخسارة إلى التباعد. ويُبقي إحماء قصير، يتسلّق فيه المعدل خطيًا من صفر، التحديثات المبكرة صغيرة بينما يستقر المحسِّن. وبمجرد انتهاء الإحماء، يسرّع المعدل المرتفع التقدّم، لكن إبقاءه مرتفعًا حتى النهاية يترك النموذج يتأرجح حول نقطة دنيا بدلًا من الاستقرار فيها. واضمحلال المعدل — هنا على منحنى جيب التمام — يتيح للنموذج أن يخطو خطوات كبيرة مبكرًا وخطوات أدق تدريجيًا كلما اقترب من التقارب.

الجدول

تحكم المعدلَ مرحلتان. أثناء الإحماء، حين تكون الخطوة الحالية $s$ على الأكثر طول الإحماء $w$، يرتفع المعدل خطيًا إلى الذروة $\eta_{max}$. وبعد الإحماء، يتبع اضمحلال جيب التمام من الذروة نحو الحد الأدنى $\eta_{min}$ عبر الخطوات المتبقية حتى الإجمالي $S$.

ونسبة الإحماء هي ببساطة $w / S$. وعند منتصف الاضمحلال يكون حد جيب التمام صفرًا، فيقع المعدل في منتصف المسافة بالضبط بين الذروة والحد الأدنى.

مثال محلول

لنأخذ ذروة قدرها 0.0003، وحدًّا أدنى قدره 0.00003، و2,000 خطوة إحماء، و100,000 خطوة إجمالية. عند الخطوة 1,000 — وهي ما زالت داخل الإحماء — وعند الخطوة 51,000 — منتصف الاضمحلال — يكون المعدلان

في منتصف الإحماء يكون المعدل نصف الذروة. وعند منتصف الاضمحلال، حيث يساوي جيب التمام صفرًا، يقع بالضبط بين الذروة والحد الأدنى. ويمتد الإحماء هنا على 2,000 من أصل 100,000 خطوة، أي 2٪ من الجولة.

اختيار القيم

يهيمن معدل الذروة على الجدول ويُوجَد عادةً تجريبيًا، وغالبًا باختبار مدى يرفع المعدل حتى تتوقف الخسارة عن التحسن. وتقع الذُّرى المنشورة للنماذج المحوّلة الكبيرة شائعًا بين نحو 1e-4 و6e-4، وتميل الذروة إلى التناسب مع حجم الدُّفعة، فتغيير حجم الدُّفعة الفعلي يستدعي عادةً إعادة ضبطها. ويُعد إحماء من بضع مئات إلى بضعة آلاف من الخطوات، وغالبًا نسبة مئوية صغيرة من الجولة، أمرًا معتادًا. ويُضبَط الحد الأدنى كثيرًا على نحو عُشر الذروة، أو على صفر حين يُراد اضمحلال كامل.

الحدود

تختلف الأطر في تفاصيل لا ينمذجها هذا النموذج: فبعضها يقيس الجدول بالرموز لا بالخطوات، وبعضها يحدد الحد الأدنى كنسبة من الذروة، وبعضها يضيف ذيلًا ثابتًا أو خطيًا في النهاية. وشكل جيب التمام مع الإحماء هنا هو الإعداد الافتراضي الشائع، لكن المعالم الفائقة الصحيحة خاصة بكل مسألة وينبغي تأكيدها بالتجربة. ويُقدَّر الحوسبة التي يمثّلها عدد خطوات معطى في حاسبة زمن تدريب النموذج وتكلفته، وتُقدَّر فاتورة العتاد وراءها في حاسبة تكلفة وحدات معالجة الرسوميات السحابية.