حاسبة الحيرة
المدخلات
| خسارة الإنتروبيا المتقاطعة | 2 |
|---|
حاسبة الحيرة
تحويل خسارة الإنتروبيا المتقاطعة لنموذج لغوي إلى حيرة وبتات لكل رمز. الحيرة هي الأُسّ الطبيعي لمتوسط الخسارة لكل رمز المقيس على نص محجوز.
المدخلات
الخسارة
النتائج
أدخل قيمة لعرض النتائج.
تفاصيل
الحيرة
الحيرة هي أوسع المقاييس الجوهرية استعمالًا لمدى حُسن تنبؤ نموذج لغوي بالنص. تلخّص متوسط حيرة النموذج في رقم واحد بقراءة بديهية: كم خيارًا متساوي الاحتمال تقريبًا يوازن النموذج بينها عند كل رمز. تحوّل هذه الحاسبة خسارة الإنتروبيا المتقاطعة — الكمية التي تُبلِّغ عنها أُطُر التدريب — إلى حيرة وإلى بتات لكل رمز.
من الخسارة إلى الحيرة
حين يقرأ نموذج لغوي نصًا محجوزًا، يسند احتمالًا لكل رمز تالٍ فعلي. وخسارة الإنتروبيا المتقاطعة هي متوسط اللوغاريتم السالب لتلك الاحتمالات؛ فالنموذج الواثق المصيب يكسب خسارة منخفضة، والمندهش خسارة مرتفعة. والحيرة هي ببساطة الأُسّ الطبيعي لذلك المتوسط:
PPLH2=eL=ln2Lحيث الخسارة لكل رمز بالنات، و المكافئ بالبتات لكل رمز. ويلغي رفع الأُسّ اللوغاريتمَ داخل الخسارة، فيحوّل كمية جمعية إلى «حجم مفردات فعّال» ضربي. والنموذج المثالي يسند الاحتمال واحدًا لكل رمز صحيح، فتكون خسارته صفرًا وحيرته واحدًا — أي لا حيرة البتة.
مثال محلول
لنفترض أن نموذجًا يُبلِّغ عن خسارة إنتروبيا متقاطعة محجوزة قدرها 2.0 نات:
PPLH2=e2.0≈7.39=ln22.0≈2.885 bits/tokenحيرة قدرها نحو 7.4 تعني أن النموذج، بالمتوسط على النص، حائر بقدر ما لو كان يختار بانتظام من بين نحو سبعة أو ثمانية رموز متساوية الاحتمال. وتتّصل قيمة البتات لكل رمز بالضغط: مُرمِّز مثالي يستعمل هذا النموذج سيحتاج نحو 2.9 بت لترميز كل رمز، فنموذج بحيرة أدنى يمكنه ضغط النص نفسه ضغطًا أوثق.
قراءة الحيرة ومقارنتها
تعني الحيرة الأدنى تنبؤًا أفضل، لكن الرقم لا يكون ذا معنى إلا ضمن مُرمِّز ومجموعة تقييم ثابتَين. ولأنها تُقاس لكل رمز، فإن النموذج الذي يكسر النص إلى رموز أكثر وأصغر يُبلِّغ عن حيرة مختلفة على المقطع نفسه عن نموذج بمفردات أخشن، حتى عند جودة كامنة متساوية. وتصحّ المقارنات حين يكون المُرمِّز ونص الاختبار متطابقين، وتكون مضلِّلة فيما عدا ذلك. ولا تقول الحيرة شيئًا عن قدرة النموذج على اتّباع التعليمات أو الاستدلال — ولهذه تُستعمل التقييمات القائمة على المهام. ولتخطيط عدد الأمثلة الذي يحتاجه تقييم كهذا، انظر حاسبة حجم عيّنة تقييم النموذج اللغوي، ولتسجيل توليد الشيفرة انظر حاسبة pass@k.
الأسئلة الشائعة (FAQ)
ماذا تقيس الحيرة؟
تقيس الحيرة مدى حُسن تنبؤ نموذج احتمالي بعيّنة — والأدنى أفضل. وهي الأُسّ الطبيعي لمتوسط خسارة الإنتروبيا المتقاطعة، وتُقرأ معامل تفرّع فعّالًا: حيرة قدرها 8 تعني أن النموذج، في المتوسط، حائر بقدر ما لو كان عليه الاختيار بانتظام من بين 8 رموز تالية متساوية الاحتمال. والنموذج المثالي الذي يسند الاحتمال واحدًا دائمًا للرمز الصحيح تكون خسارته صفرًا وحيرته واحدًا.
ولأنها تُحسب مباشرةً من احتمالات النموذج نفسه، لا تحتاج الحيرة إلى وسوم وهي المقياس الجوهري القياسي لمدى ملاءمة النموذج اللغوي.
ما الفرق بين النات والبت؟
كلاهما وحدتا معلومات لا تختلفان إلا في أساس اللوغاريتم. يستعمل النات اللوغاريتم الطبيعي وهو ما تُبلِّغ عنه معظم شيفرات التدريب؛ ويستعمل البت الأساس اثنين. ويساوي النات الواحد نحو 1.443 بت، فقسمة الخسارة بالنات على اللوغاريتم الطبيعي للعدد اثنين تحوّلها إلى بتات لكل رمز.
والبتات لكل رمز مريحة لأنها تتّصل مباشرةً بالضغط: نموذج بقيمة بتات لكل رمز أدنى يمكنه، مبدئيًا، ضغط النص نفسه في بتات أقل.
هل يمكن مقارنة الحيرة عبر النماذج؟
فقط حين يكون المُرمِّز ونص التقييم متطابقين. تُقاس الحيرة لكل رمز، فالنموذج الذي يقسّم النص إلى رموز أكثر وأصغر سيُبلِّغ عن حيرة مختلفة على المقطع نفسه عن نموذج يستعمل مفردات أخشن، حتى عند جودة كامنة متساوية.
ولذا تصحّ المقارنات ضمن مُرمِّز ومجموعة بيانات ثابتَين، وتكون مضلِّلة عبر المختلفَين. ولمقارنات القدرة عبر النماذج تُستعمل مقاييس قائمة على المهام بدلًا منها.
إخلاء المسؤولية
الحيرة مقياس جوهري مرتبط بمُرمِّز ومجموعة تقييم محدَّدَين؛ وهي ليست قابلة للمقارنة مباشرةً عبر نماذج بمفردات مختلفة، ولا بديلًا عن التقييم القائم على المهام. تأكّد من أن الخسارة لكل رمز وبالنات قبل التحويل.