آخر تحديث: 2026-06-22

pass@k

pass@k هو الطريقة القياسية لتسجيل النماذج اللغوية على المهام التي يمكن فحص جوابها المرشَّح آليًا — وأشهرها توليد الشيفرة، حيث تجتاز كل محاولة حزمة اختبارات أو لا تجتازها. وبدلًا من السؤال عمّا إذا كان جواب واحد صحيحًا، يسأل pass@k عمّا إذا كانت أي محاولة من k محاولة صحيحة. تحوّل هذه الحاسبة معدّل النجاح لكل عيّنة لنموذج إلى pass@k، فيمكن إسقاط دقة مقيسة واحدة على أي عدد من المحاولات.

ماذا يقيس pass@k

لكل مسألة في معيار يولّد النموذج k حلًا مرشَّحًا مستقلًا، وتُعَدّ المسألة محلولةً إذا اجتاز مرشَّح واحد على الأقل. وpass@k هو نسبة المسائل المحلولة بهذه القاعدة. وpass@1 هو الدقة العادية من محاولة واحدة؛ ويقيس pass@10 وpass@100 كم مرة يستطيع النموذج بلوغ جواب صحيح بإتاحة عدة محاولات. ويهمّ المقياس كلما استطاع مُتحقِّق خارجي — حزمة اختبارات، أو مُترجِم، أو مُدقِّق برهان — تمييز جواب صحيح بين مرشّحين كثيرين، إذ تُترجَم المحاولات الإضافية حينئذٍ مباشرةً إلى مسائل محلولة أكثر.

الصيغة

إذا نجحت كل عيّنة باستقلال بالاحتمال $p$، فإن عيّنة واحدة تفشل باحتمال واحد ناقص $p$، وتفشل كل العيّنات الـ $k$ باحتمال $(1-p)^k$. وpass@k هو المُتمِّم:

حيث $P_k$ هو pass@k، و$q_k$ احتمال أن تفشل كل محاولة. ويتقلّص احتمال فشل الجميع هندسيًا مع $k$، ولهذا يتسلّق حتى معدّل لكل عيّنة متواضع نحو اليقين بعددٍ كافٍ من المحاولات.

مثال محلول

لنفترض أن نموذجًا يحلّ مسألة برمجية في 40% من المحاولات الواحدة، وأن التقييم يتيح 10 عيّنات:

يصير معدّل لكل عيّنة قدره 40% إلى pass@10 قدره نحو 99%. وتُظهر القفزة لماذا ترتفع قيم pass@k بهذه السرعة مع k، ولماذا تذكر جداول المعايير عدة قيم لـ k جنبًا إلى جنب — فشكل ذلك المنحنى يقول عن النموذج أكثر مما تقوله أي نقطة مفردة.

كيف يُقاس

تقدير pass@k بسحب k عيّنة بالضبط مُشوَّش. وتسحب المعايير مثل HumanEval بدلًا من ذلك مجموعة أكبر من $n$ عيّنة، وتَعدّ العدد $c$ الناجح، وتستعمل المُقدِّر غير المتحيّز $P_k = 1 - \binom{n-c}{k} / \binom{n}{k}$، آخذةً المتوسط على كل طريقة لاختيار $k$ من العيّنات الـ $n$. وتطابق صيغة الاستقلال المستعملة هنا ذلك المُقدِّر حين يُؤخَذ $p$ بوصفه $c/n$، وهي الأداة الصحيحة لإسقاط معدّل نجاح معلوم على ميزانية محاولات مختارة. وتفترض الصيغة نجاحًا متساويًا ومستقلًا عبر العيّنات؛ وعند درجة حرارة منخفضة جدًا تصير العيّنات متطابقة تقريبًا فلا يفيد إضافة المزيد إلا قليلًا. ولتخطيط عدد المسائل الذي يحتاجه تقييم للحصول على تقدير مستقر، انظر حاسبة حجم عيّنة تقييم النموذج اللغوي.