آخر تحديث: 2026-06-22

ذاكرة الانتباه

يقارن الانتباه المعياري للمحوّل كل رمز بكل رمز آخر، فيبني مصفوفة درجات قبل softmax. تلك المصفوفة مربّعة في طول المتتالية، فتنمو ذاكرتها مع مربّع السياق — وهي الكلفة التربيعية الشهيرة للانتباه. تقدّر هذه الحاسبة حجم تلك المصفوفة المُجسَّدة انطلاقًا من طول المتتالية وعدد رؤوس الانتباه وحجم الدفعة وعدد البايتات لكل درجة. وهي تحديدًا الذاكرة التي يتجنّب FlashAttention تخزينها.

الحدّ التربيعي

لمتتالية من $s$ رمزًا، يكوّن الانتباه مصفوفة درجات بأبعاد $s \times s$: يحمل الصف $i$ والعمود $j$ مقدار انتباه الرمز $i$ إلى الرمز $j$. وتخزينها يستهلك ذاكرة تتناسب مع $s^2$. وهذا خلاف أوزان النموذج أو ذاكرة المفتاح-القيمة اللتين تنموان خطيًا مع السياق — فمصفوفة الدرجات تنمو مع مربّعه، لذا تصبح عند السياق الطويل المخزَن الوسيط المهيمن وسبب نفاد الذاكرة في الانتباه الساذج.

الصيغة

يبني كل رأس مصفوفة درجاته الخاصة، وتحمل كل متتالية في الدفعة نسختها الخاصة، فتكون الذاكرة بالبايتات

حيث $B$ حجم الدفعة، و $H$ عدد رؤوس الانتباه، و $s$ طول المتتالية، و $e$ عدد البايتات لكل درجة مخزَّنة. والقسمة على $10^9$ تعطي الجيجابايت. والمربّع على $s$ هو ما يجعل السياق الطويل مكلفًا: أما عدد الرؤوس وحجم الدفعة فيضربان خطيًا فقط.

ما هذه الذاكرة

يقيس الرقم مصفوفة الدرجات المُجسَّدة التي يكتبها الانتباه المعياري إلى الذاكرة بين جداء الاستعلام والمفتاح ومجموع القيم المرجَّح بـ softmax. وهي مخزَن التنشيط المؤقت الذي يجب أن يحتفظ به التطبيق الساذج. أما بقاؤها فيتوقف على السياق: ففي مرور أمامي بسيط تكون عابرة ويمكن إعادة استخدامها عبر الطبقات، بينما قد تحتفظ أطر العمل التدريبية بنسخة لكل طبقة من أجل المرور الخلفي ما لم تتدخّل نقاط التفتيش أو نواة مدمَجة.

FlashAttention

يحسب FlashAttention المُخرَج ذاته من دون أن يكتب مصفوفة $s \times s$ الكاملة قط. فهو يجوب المفاتيح والقيم في كتل صغيرة، محتفظًا بإحصاءات softmax جارية بحيث لا يحتاج إلا إلى كتلة واحدة في الذاكرة في كل لحظة، ما يحوّل التخزين من تربيعي إلى خطي في طول المتتالية. والمصفوفة التي تحدّد هذه الحاسبة حجمها هي بالضبط ما يأبى FlashAttention تخزينه — لذا فإن النتيجة هنا مؤشّر جيد للذاكرة التي توفّرها نواة انتباه مدمَجة عند طول سياق معيّن.

مثال محلول

لنأخذ متتالية واحدة من 4,096 رمزًا بـ 32 رأس انتباه بدقة 16 بت:

أي نحو 1.07 GB لمصفوفة درجات طبقة واحدة. وبمضاعفة السياق إلى 8,192 رمزًا يتولّى الحدّ التربيعي زمام الأمر: يعطي التعبير نفسه نحو 4.29 GB، أي أربعة أمثال للضعف في الطول. ويُغطّى جانب المفتاح-القيمة من ميزانية الانتباه نفسها في حاسبة حجم ذاكرة المفتاح-القيمة، وجانب أوزان النموذج في حاسبة ذاكرة VRAM لاستدلال النماذج اللغوية الكبيرة.