最後更新：2026-06-28

夏農熵

夏農熵（Shannon entropy）是衡量符號序列平均資訊量（或不確定性）的指標，由數學家克勞德·夏農（Claude Shannon）於 1948 年在資訊理論奠基論文中提出。給定一段文字或符號序列，夏農熵回答的問題是：每個符號平均攜帶多少位元（或奈特、哈特利）的資訊量？此概念至今仍是資料壓縮、密碼學與機器學習的核心工具。

熵值公式

設一資訊源從大小為 $k$ 的字母集中發出符號，第 $i$ 種符號出現的機率為 $p_i$，則夏農熵定義為：

$H = -\sum_{i=1}^{k} p_i \log_b(p_i)$

對數的底數 $b$ 決定計量單位：底數 2 對應位元，底數 $e$ 對應奈特，底數 10 對應哈特利（又稱 ban 或 dit）。

計算範例——「hello」

字串「hello」包含五個字元：h、e、l、l、o，各字元的出現頻率如下：

以位元（底數 2）代入公式：

整個字串的總熵值為 $1.9219 \times 5 \approx 9.61$ 位元，即對「hello」此特定頻率分布進行最優無失真編碼所需的理論最低位元數。

公式的直觀意涵

公式中每一項 $-p_i \log_2 p_i$ 代表符號 $i$ 對整體不確定性的貢獻量：出現頻率低（$p_i$ 小）的符號，一旦出現便攜帶大量資訊，因為它「出乎意料」；出現頻率高（$p_i$ 大）的符號，攜帶的資訊量少，因為它「不令人意外」。

夏農證明，熵是滿足三條直觀公理的唯一函數：對機率連續、在均勻分布時達到最大值、加入必然出現的符號（機率為 1）時不改變其值。這三條公理唯一確定了 $H = -\sum p_i \log p_i$ 為平均資訊量的正確度量。

最大與最小熵值

對於含有 $k$ 種相異符號的資訊源：

• 最大熵值： $H_{\max} = \log_2 k$ 位元（每符號），在所有符號以相同機率出現時達到。
• 最小熵值： $H = 0$，在某一符號的出現機率為 1（完全確定）時達到。

實際英文文本的熵值約落在每字母 1 到 1.5 位元之間，遠低於理論上限 $\log_2 26 \approx 4.7$ 位元，原因在於各字母的出現頻率極不均勻，且相鄰字元之間存在強烈的統計依存關係（例如「q」後幾乎必然接「u」）。

熵值與資料壓縮

夏農的來源編碼定理（source coding theorem）證明，任何無失真壓縮演算法都無法將訊息壓縮至低於其熵值所對應的每符號位元數。熵值因此成為壓縮後檔案大小的硬性理論下界。

這一結論解釋了以下現象：

• 內容重複性高的檔案（如充滿相似記錄的日誌檔）熵值低，壓縮效果佳。
• 真正隨機或已加密的資料，熵值已達極限，幾乎無法進一步壓縮。
• 霍夫曼編碼（Huffman coding）與算術編碼（arithmetic coding）是接近熵值下界的主流壓縮演算法，其中霍夫曼編碼保證每符號使用的位元數不超過理論下界一位元。

與密碼強度的關係

密碼安全性分析中的密碼熵（password entropy）是一個相關但不同的概念，衡量的是攻擊者從搜尋空間中破解密碼的難度——假設密碼從某個可能字串的集合中均勻隨機抽取，公式為 $H = L \log_2 N$，其中 $L$ 為密碼長度，$N$ 為字元集大小。

本計算工具所計算的夏農熵，衡量的是特定字串中字元頻率分布的不確定性。例如「aaaa」的夏農熵為零，但它仍是四個字元長。評估密碼安全性時，應使用 密碼強度（熵值）計算機 以模擬攻擊者的搜尋空間。