最終更新: 2026-06-28

シャノンエントロピー

シャノンエントロピーは、記号列の平均的な情報量（不確かさ）を定量化する指標です。クロード・シャノンが1948年の論文「通信の数学的理論」で提唱し、情報理論の基礎概念として確立されました。テキスト・音声・画像など、あらゆる離散的なデータ源に適用でき、データ圧縮・暗号理論・機械学習など幅広い分野で利用されています。

情報量とエントロピーの定義

あるメッセージを受け取ったときに「どれだけ驚いたか」を数値で表すのが情報量の概念です。確率 $p_i$ で起こる事象の自己情報量は $-\log_b p_i$ で定義されます。確率が低いほど情報量が大きく、確率が1（確実）なら情報量は0になります。

シャノンエントロピー $H$ は、すべての記号にわたる情報量の期待値（加重平均）です。$k$ 種類の記号からなる情報源で、記号 $i$ の出現確率が $p_i$ のとき：

$H = -\sum_{i=1}^{k} p_i \log_b(p_i)$

対数の底 $b$ が情報量の単位を決定します。底2はビット、底 $e$ はナット、底10はハートレーに対応します。

計算例 — "hello"

文字列「hello」の5文字の出現頻度を集計します。

ビット（底2）での計算：

文字列全体の総エントロピーは $1.9219 \times 5 \approx 9.61$ ビットです。これは「hello」をこの文字頻度分布に最適化した符号で可逆的に符号化するための理論的な最小ビット数です。

数式が成立する理由

各項 $-p_i \log_2 p_i$ は、記号 $i$ が全体の不確かさに寄与する量を表します。出現確率が低い記号（小さい $p_i$）が現れたときは情報量が大きく、高頻度な記号（大きい $p_i$）はあまり情報を運びません。

シャノンはエントロピーが、①確率に対して連続、②一様分布のとき最大、③確率1の記号を追加しても値が変わらない、という3つの自然な公理を同時に満たす唯一の関数であることを証明しました。この公理系から $H = -\sum p_i \log p_i$ が一意に導かれます。

最大エントロピーと最小エントロピー

$k$ 種類の記号を持つ情報源について：

• 最大エントロピー： $H_{\max} = \log_2 k$ ビット/記号。すべての記号が等確率で出現する一様分布のときに達成されます。
• 最小エントロピー： $H = 0$。ある1つの記号が確率1で出現するとき（完全に予測可能な列）に達成されます。

英語テキストのエントロピーは1〜1.5ビット/文字程度です。理論上の最大値 $\log_2 26 \approx 4.7$ ビットを大きく下回る理由は、文字の出現頻度の偏り（eやtが多く、xやzは少ない）と、隣接文字間の統計的依存（qの後にはほぼ必ずuが来るなど）にあります。

データ圧縮との関係

シャノンの情報源符号化定理は、いかなる可逆圧縮アルゴリズムも、1記号あたりの平均符号長を情報源のエントロピー未満にできないことを証明しています。エントロピーは圧縮後ファイルサイズの理論的下界です。

この定理から次のことが説明されます。

• 繰り返しの多いログファイルのような冗長なデータは圧縮効率が高い（エントロピーが低い）。
• 真の乱数や暗号化済みデータはすでにエントロピーの限界に達しており、意味のある圧縮はできない。
• ハフマン符号や算術符号といった圧縮アルゴリズムはエントロピー下界に近づくよう設計されており、ハフマン符号は理論下界に対して最大で1記号あたり1ビット余分になることが保証されています。

圧縮率の計算については 圧縮率の計算 も参照してください。

パスワード強度との関係

パスワードのエントロピーは、シャノンエントロピーとは異なる概念です。攻撃者の視点で「候補となるパスワード全体の不確かさ」を測るもので、$H = L \log_2 N$（$L$：パスワード長、$N$：使用文字種数）で近似されます。

本計算ツールが求めるシャノンエントロピーは、特定の文字列における文字頻度分布の偏りを測定します。たとえば「aaaa」のシャノンエントロピーは0ですが、パスワードとしての候補空間（攻撃者が試すべき文字列の数）は依然として有限です。パスワードの安全性評価には パスワードのエントロピー を使用してください。