آخر تحديث: 2026-06-28

إنتروبيا شانون

إنتروبيا شانون مقياس لمتوسط محتوى المعلومات في تسلسل من الرموز، أو بمعنى آخر مقياس لدرجة عدم التنبؤ به. طرحها كلود شانون عام 1948 في ورقته التأسيسية لنظرية المعلومات، وأجاب بها على سؤال جوهري: كم من المعلومات يحمل كل رمز في المتوسط؟ تُستخدم هذه الكمية اليوم في ضغط البيانات والتشفير وتعلم الآلة وتحليل اللغات الطبيعية.

صيغة الإنتروبيا

لمصدر يُصدر رموزًا من أبجدية مؤلفة من $k$ رمزًا مختلفًا، حيث يظهر الرمز $i$ باحتمال $p_i$، تُعرَّف إنتروبيا شانون بالعلاقة:

$H = -\sum_{i=1}^{k} p_i \log_b(p_i)$

أساس اللوغاريتم $b$ يُحدد الوحدة: الأساس 2 يعطي البِت، وأساس $e$ يعطي الناتس، والأساس 10 يعطي الهارتلي (ويُسمى أيضًا البان أو الدِت).

مثال محسوب — "hello"

النص "hello" مكون من خمسة محارف: h وe وl وl وo. توزيع تكرارات المحارف:

تطبيق الصيغة بالبِت (أساس 2):

إجمالي الإنتروبيا للنص كاملًا هو $1.9219 \times 5 \approx 9.61$ بِت، وهو الحد الأدنى النظري من البِتات اللازمة لترميز "hello" بشكل مثالي وفق هذا التوزيع تحديدًا.

لماذا تعمل الصيغة؟

كل حد من حدود المجموع $-p_i \log_2 p_i$ يمثّل مساهمة الرمز $i$ في إجمالي الغموض. الرموز النادرة (صغيرة $p_i$) تحمل معلومة كبيرة حين تظهر لأنها مفاجِئة، في حين أن الرموز الشائعة جدًا (كبيرة $p_i$) تحمل معلومة ضئيلة لأنها متوقعة.

أثبت شانون أن الإنتروبيا هي الدالة الوحيدة التي تستوفي ثلاثة شروط بديهية معًا: الاستمرارية في الاحتمالات، والبلوغ إلى أقصى قيمة عند التوزيع المنتظم، وعدم التأثر بإضافة رمز ذي احتمال واحد. هذه الشروط الثلاثة تحدد $H = -\sum p_i \log p_i$ بوصفها المقياس الصحيح الوحيد لمتوسط المعلومات.

الحدود القصوى والدنيا للإنتروبيا

لمصدر يضم $k$ رمزًا مختلفًا:

• الحد الأقصى: $H_{max} = \log_2 k$ بِت لكل رمز، ويُبلَغ حين تتساوى احتمالات جميع الرموز.
• الحد الأدنى: $H = 0$، ويُبلَغ حين يظهر رمز واحد بيقين تام (احتمال 1) وتختفي سائر الرموز.

النص الإنجليزي الطبيعي تبلغ إنتروبياه نحو 1 إلى 1.5 بِت لكل حرف، وهو أدنى بكثير من الحد الأقصى النظري $\log_2 26 \approx 4.7$ بِت، وذلك بسبب تفاوت تكرارات الحروف والتبعيات الإحصائية القوية بين المحارف المتجاورة.

الإنتروبيا وضغط البيانات

تثبت مبرهنة ترميز المصدر لشانون أنه لا توجد خوارزمية ضغط بلا فقد قادرة على ضغط رسالة إلى أقل من إنتروبياها بالبِت لكل رمز. فالإنتروبيا إذًا حد أدنى صارم لحجم الملف المضغوط.

هذا الارتباط يفسر:

• انضغاط الملفات ذات المحتوى المتكرر (كملفات السجلات المملوءة بأسطر متشابهة) انضغاطًا جيدًا، لأن إنتروبياها منخفضة.
• عدم قابلية البيانات العشوائية أو المشفرة مسبقًا للضغط، لأنها تقف عند حدها الإنتروبي.
• اقتراب خوارزميات مثل ترميز هافمان والترميز الحسابي من الحد الإنتروبي، مع ضمان ترميز هافمان بعدم تجاوز بِت إضافي واحد لكل رمز فوق هذا الحد.

الصلة بقوة كلمة المرور

إنتروبيا كلمة المرور المستخدمة في تحليل الأمن تُقيس الغموض من منظور المهاجم، بافتراض أن كلمة المرور مختارة بشكل منتظم من مجموعة محتملة. صيغتها $H = L \log_2 N$، حيث $L$ طول كلمة المرور و$N$ حجم مجموعة الرموز المستخدمة.

إنتروبيا شانون لكلمة مرور بعينها — وهو ما تحسبه هذه الأداة — تقيس توزيع تكرارات المحارف في تلك السلسلة تحديدًا. كلمة مرور مثل "aaaa" إنتروبيا شانون لها صفر، لكنها تظل مكونة من أربعة محارف. لتقييم مقاومة كلمة المرور، استخدم حاسبة إنتروبيا كلمة المرور الذي يُنمذج فضاء البحث من منظور المهاجم.