Zuletzt aktualisiert: 2026-06-28

Shannon-Entropie

Die Shannon-Entropie ist ein Maß für den mittleren Informationsgehalt — oder die Unvorhersehbarkeit — einer Symbolfolge. Für eine gegebene Zeichenkette beantwortet sie die Frage: Wie viele Bit (oder Nat oder Hartley) Information trägt ein Zeichen im Durchschnitt? Claude Shannon führte diesen Begriff 1948 als Grundlage der Informationstheorie ein. Seither ist er unverzichtbar in der Datenkompression, der Kryptographie und dem maschinellen Lernen.

Die Entropieformel

Für eine Quelle, die Symbole aus einem Alphabet der Größe $k$ ausgibt, wobei Symbol $i$ mit Wahrscheinlichkeit $p_i$ auftritt, ist die Shannon-Entropie definiert als:

$H = -\sum_{i=1}^{k} p_i \log_b(p_i)$

Die Basis $b$ des Logarithmus bestimmt die Einheit: Basis 2 liefert Bit, Basis $e$ liefert Nat, Basis 10 liefert Hartley (auch Ban oder Dit genannt).

Rechenbeispiel — „hello"

Der String „hello" enthält fünf Zeichen: h, e, l, l, o. Die Häufigkeiten der einzelnen Zeichen:

Einsetzen in die Formel mit Basis 2 (Bit):

Die Gesamtentropie des Strings beträgt $1{,}9219 \times 5 \approx 9{,}61$ Bit. Das ist die theoretische Mindestanzahl an Bit, die benötigt wird, um „hello" mit einem optimalen Code für genau diese Häufigkeitsverteilung verlustfrei zu codieren.

Warum die Formel funktioniert

Jeder Summand $-p_i \log_2 p_i$ gibt den Beitrag von Symbol $i$ zur Gesamtunsicherheit an. Seltene Symbole (kleines $p_i$) überraschen stark und tragen viel Information — ihr Auftreten ist wenig wahrscheinlich. Häufige Symbole (großes $p_i$) sind erwartbar und liefern wenig Information.

Shannon zeigte, dass die Entropie die einzige Funktion ist, die drei intuitive Axiome erfüllt: Sie ist stetig in den Wahrscheinlichkeiten, wird durch eine Gleichverteilung maximiert, und das Hinzufügen eines Symbols mit Wahrscheinlichkeit 1 ändert sie nicht. Diese drei Bedingungen legen $H = -\sum p_i \log p_i$ als einzig korrektes Maß für den mittleren Informationsgehalt fest.

Maximale und minimale Entropie

Für eine Quelle mit $k$ verschiedenen Symbolen gilt:

• Maximale Entropie: $H_{\max} = \log_2 k$ Bit pro Symbol, erreicht bei Gleichverteilung aller Symbole.
• Minimale Entropie: $H = 0$, erreicht wenn ein Symbol mit Wahrscheinlichkeit 1 auftritt (keine Ungewissheit).

Realer Fließtext liegt weit unter dem theoretischen Maximum: Typisches Deutsch kommt auf etwa 1,3 bis 1,6 Bit pro Buchstabe, obwohl das Alphabet 26 Buchstaben umfasst ($\log_2 26 \approx 4{,}7$ Bit wären möglich). Der Grund liegt in den stark ungleich verteilten Buchstabenhäufigkeiten — das „e" ist im Deutschen der mit Abstand häufigste Buchstabe — und in den ausgeprägten statistischen Abhängigkeiten zwischen aufeinanderfolgenden Buchstaben.

Entropie und Datenkompression

Shannons Quellencodierungstheorem beweist, dass kein verlustfreies Kompressionsverfahren eine Nachricht auf weniger Bit pro Symbol komprimieren kann als ihre Entropie. Die Entropie ist daher eine harte untere Schranke für die erreichbare Dateigröße.

Dieser Zusammenhang erklärt mehrere praktische Beobachtungen:

• Dateien mit vielen Wiederholungen (z. B. Protokolldateien mit gleichartigen Zeilen) lassen sich stark verkleinern — ihre Entropie ist gering.
• Echte Zufallsdaten oder bereits verschlüsselte Daten befinden sich an ihrer Entropiegrenze und können nicht weiter komprimiert werden.
• Kompressionsverfahren wie Huffman-Codierung und arithmetische Codierung nähern sich der Entropieschranke an. Die Huffman-Codierung ist dabei garantiert: Sie verwendet höchstens ein Bit pro Symbol mehr als die theoretische Untergrenze.

Bezug zur Passwortsicherheit

Passwort-Entropie, wie sie in der Sicherheitsanalyse verwendet wird, ist ein verwandtes, aber eigenständiges Konzept. Sie misst die Ungewissheit aus der Perspektive eines Angreifers, unter der Annahme, dass das Passwort gleichmäßig zufällig aus einem Zeichenvorrat gezogen wird. Die Formel lautet $H = L \log_2 N$, wobei $L$ die Passwortlänge und $N$ die Größe des Zeichenvorrats ist.

Die Shannon-Entropie eines konkreten Passworts — wie dieser Rechner sie ermittelt — misst hingegen die Häufigkeitsverteilung der Zeichen in genau diesem String. Ein Passwort wie „aaaa" hat Shannon-Entropie null, ist aber trotzdem vier Zeichen lang. Für die Bewertung der Passwortsicherheit ist der Passwort-Entropie-Rechner der geeignete Ausgangspunkt, da er den tatsächlichen Suchraum eines Angreifers modelliert.