حاسبة دلالة اختبار A/B
المدخلات
| الفوز (A) | 540 |
|---|---|
| المحاولات (A) | 1,000 |
| الفوز (B) | 590 |
| المحاولات (B) | 1,000 |
حاسبة دلالة اختبار A/B
اختبار ما إذا كان مُحفِّز أو نموذج يتفوّق فعلًا على آخر. أدخل عدد الفوز والمحاولات لكل متغيّر للحصول على معدّلات الفوز، واختبار z لنسبتين، والقيمة الاحتمالية، والمحاولات اللازمة للقوة.
المدخلات
المتغيّر A
المتغيّر B
النتائج
أدخل قيمة لعرض النتائج.
not_significant
تفاصيل
دلالة اختبار A/B
حين تغيّر مُحفِّزًا، أو تستبدل نموذجًا، أو تعدّل إعداد فكّ تشفير، تفوز النسخة الجديدة عادةً في بعض الأمثلة وتخسر في غيرها. والسؤال هو ما إذا كان الفرق الذي قِسته يعكس تحسّنًا حقيقيًا أم مجرد حظّ في أي الأمثلة صادف أن اختبرتها. تطبّق هذه الحاسبة اختبار z لنسبتين على معدّلي فوز وتُبلِّغ عن معدّلات الفوز، وإحصاءة الاختبار، والقيمة الاحتمالية، وعدد المحاولات الذي تحتاجه مقارنة موثوقة.
مقارنة معدّلي فوز
يُلخَّص كل متغيّر بمعدّل فوز: الفوز مقسومًا على المحاولات، حيث يكون «الفوز» ما يُعَدّ نجاحًا — اختبار مجتاز، أو استجابة مفضَّلة في حُكم مباشر، أو إجابة صحيحة. ومعدّلان مقيسان على عيّنات منتهية لن يتساويا تمامًا أبدًا تقريبًا حتى لو كان المتغيّران متطابقين، فيسأل الاختبار كم يبعدان نسبةً إلى الضوضاء في كل تقدير.
الصيغة
يجمع الاختبار العيّنتين لتقدير معدّل مشترك، ويستعمله لحساب الخطأ المعياري للفرق، ثم يقسم:
pˉzP=na+nbwa+wb=pˉ(1−pˉ)(na1+nb1)pb−pa=2(1−Φ(∣z∣))هنا و معدّلا الفوز، و المعدّل المجمَّع، و كم خطأ معياريًا يفصل بين المعدّلين، و دالة التوزيع التراكمي الطبيعي المعياري، و القيمة الاحتمالية ثنائية الجانب. ومقدار بعد نحو 1.96 يحدّد عتبة الدلالة عند 5%.
مثال محلول
لنفترض أن المُحفِّز A يفوز في 540 من 1,000 مهمة محكوم عليها وأن المُحفِّز B يفوز في 590 من 1,000:
pˉzP=2000540+590=0.565=0.565×0.435×(0.001+0.001)0.59−0.54=0.02220.05≈2.26≈0.024تتجاوز فجوة النقاط الخمس عتبة 1.96، بقيمة احتمالية قرب 0.024 — دون 0.05، فالفرق دالّ إحصائيًا: الصدفة تفسير غير مرجَّح. وتُظهر قيمة التخطيط أن كشف فجوة بهذا الحجم كشفًا موثوقًا (ثقة 95%، قوة 80%) يتطلّب نحو 1,538 محاولة لكل متغيّر، فالمحاولات الـ 1,000 هنا تضع النتيجة فوق الخطّ بقليل لا بعده بمسافة مريحة.
قراءة النتيجة بتأنٍّ
الدلالة ليست أهمية — فقد تكون فجوة ضئيلة لا صلة لها دالّةً بعدد كافٍ من المحاولات، وقد تفوت فجوة ذات معنى الدلالة بعدد قليل جدًا منها. ويفترض الاختبار أيضًا محاولات مستقلة ومقارنة واحدة: فتقييم متغيّرات كثيرة دفعةً واحدة، أو فحص النتائج مرارًا مع تقاطر البيانات، كلاهما يضخّم الإيجابيات الكاذبة ويستدعي تعديلات. ولقياس حجم تقييم قبل إجرائه، انظر حاسبة حجم عيّنة تقييم النموذج اللغوي؛ ولمقاييس الشيفرة القائمة على المعاينة والتحقق، انظر حاسبة pass@k.
الأسئلة الشائعة (FAQ)
ماذا تعني الدلالة الإحصائية هنا؟
تسأل عمّا إذا كانت الفجوة المرصودة بين معدّلي الفوز أكبر مما قد ينشأ اعتياديًا عن الصدفة لو كان المتغيّران متساويين فعلًا. ويجمع اختبار z لنسبتين المعدّلين، ويقدّر الخطأ المعياري لفرقهما، ويُبلِّغ كم خطأ معياريًا يفصل بينهما.
والقيمة الاحتمالية هي احتمال فجوة بهذا الكِبَر على الأقل في ظل افتراض انعدام فرق حقيقي. والقيمة الاحتمالية الصغيرة — دون 0.05 عُرفًا — تعني أن الصدفة تفسير غير مرجَّح، فيُسمّى الفرق دالًّا.
وهي لا تقيس كِبَر الفرق أو أهميته، بل ثقة تمييزه عن الضوضاء فحسب.
كم محاولة أحتاج؟
ما يكفي لكشف الفرق الذي يهمّك دون أن تخدعك الضوضاء. وتُبلِّغ الحاسبة عن المحاولات لكل متغيّر اللازمة لكشف الفجوة المرصودة عند ثقة 95% وقوة 80% — وهما هدفا التخطيط القياسيان.
وتحتاج الفروق الحقيقية الأصغر إلى محاولات أكثر بكثير، لأن على الفجوة أن تتجاوز خطأً معياريًا لا يتقلّص إلا مع الجذر التربيعي لحجم العيّنة. وإن وقعت أعداد محاولاتك الحالية دون القيمة المعروضة كثيرًا، فقد تعكس نتيجة غير دالّة قلّةَ البيانات لا تساوي المتغيّرين فعلًا.
هل هذا اختبار أحادي الجانب أم ثنائيه؟
ثنائي الجانب. تعكس القيمة الاحتمالية احتمال فرق بهذا الكِبَر في أي من الاتجاهين، وهو الافتراض المناسب حين لا تلتزم مسبقًا بأي متغيّر سيفوز.
أما الاختبار الأحادي الجانب، المستعمل فقط حين يكون الاتجاه ثابتًا سلفًا، فينصّف القيمة الاحتمالية لكنه يخاطر بتفويت أثر حقيقي في الاتجاه غير المتوقَّع. وعند مقارنة المُحفِّزات أو النماذج دون التزام مسبق، يكون الاختبار ثنائي الجانب الخيار الآمن.
إخلاء المسؤولية
يفترض هذا الاختبار محاولات مستقلة ويستعمل التقريب الطبيعي، وهو موثوق حين يكون لكل متغيّر بضع حالات فوز وخسارة على الأقل. وهو لا يُعدِّل لاختبار متغيّرات كثيرة دفعةً واحدة ولا للنظر المتكرر في النتائج، وكلاهما يضخّم الإيجابيات الكاذبة. عامِله دليلًا لا برهانًا، وسجّل مقارنتك مسبقًا حيثما أمكن.