Dernière mise à jour : 2026-06-28

L'entropie de Shannon

L'entropie de Shannon mesure la quantité moyenne d'information, ou d'imprévisibilité, contenue dans une séquence de symboles. Formalisée par Claude Shannon en 1948 dans son article fondateur A Mathematical Theory of Communication, elle est restée au cœur de la théorie de l'information, de la compression de données, de la cryptographie et de l'apprentissage automatique.

Formule de l'entropie

Pour une source émettant des symboles issus d'un alphabet de taille $k$, où le symbole $i$ apparaît avec la probabilité $p_i$, l'entropie de Shannon est :

$H = -\sum_{i=1}^{k} p_i \log_b(p_i)$

La base $b$ du logarithme détermine l'unité : base 2 pour les bits, base $e$ pour les nats, base 10 pour les hartleys (aussi appelés bans ou dits).

Exemple de calcul — « hello »

La chaîne « hello » contient cinq caractères : h, e, l, l, o. Fréquences des caractères :

Application de la formule en bits (base 2) :

L'entropie totale de la chaîne entière est $1{,}9219 \times 5 \approx 9{,}61$ bits. Il s'agit du nombre minimal théorique de bits nécessaires pour encoder « hello » sans perte, à l'aide d'un code optimal adapté à cette distribution de fréquences particulière.

Pourquoi cette formule mesure l'information

Chaque terme $-p_i \log_2 p_i$ représente la contribution du symbole $i$ à l'incertitude totale. Un symbole rare (faible $p_i$) apporte beaucoup d'information lorsqu'il apparaît — il est surprenant. Un symbole très fréquent (grand $p_i$) apporte peu d'information — il est attendu.

Shannon a démontré que l'entropie est l'unique fonction satisfaisant trois propriétés intuitives : elle est continue par rapport aux probabilités, elle est maximisée par une distribution uniforme, et l'ajout d'un symbole qui apparaît avec certitude (probabilité 1) ne la modifie pas. Ces trois axiomes caractérisent $H = -\sum p_i \log p_i$ comme la seule mesure correcte de l'information moyenne.

Entropie maximale et minimale

Pour une source à $k$ symboles distincts :

• Entropie maximale : $H_{max} = \log_2 k$ bits par symbole, atteinte lorsque tous les symboles sont équiprobables.
• Entropie minimale : $H = 0$, atteinte lorsqu'un seul symbole apparaît avec probabilité 1 (aucune incertitude).

Un texte en français courant se situe autour de 1 à 1,5 bit par lettre — bien en dessous du maximum théorique de $\log_2 26 \approx 4{,}7$ bits —, en raison des fréquences très inégales des lettres et des fortes dépendances statistiques entre caractères consécutifs (le « q » est presque toujours suivi d'un « u », par exemple).

Entropie et compression de données

Le théorème de codage de source de Shannon établit qu'aucun algorithme de compression sans perte ne peut ramener un message à moins de bits par symbole que son entropie. L'entropie est donc une borne inférieure absolue sur la taille d'un fichier compressé.

Cette propriété explique plusieurs observations pratiques :

• Les fichiers à contenu répétitif (un fichier journal rempli de lignes similaires, par exemple) se compriment bien, car leur entropie est faible.
• Les données véritablement aléatoires ou déjà chiffrées ne peuvent pas être compressées de manière significative : elles sont déjà à leur limite d'entropie.
• Les algorithmes de compression tels que le codage de Huffman et le codage arithmétique tendent vers la borne entropique ; le codage de Huffman garantit d'utiliser au plus un bit supplémentaire par symbole au-delà de cette borne.

Lien avec la solidité des mots de passe

L'entropie des mots de passe, telle qu'elle est utilisée en analyse de sécurité, est un concept connexe mais distinct. Elle mesure l'incertitude du point de vue d'un attaquant, en supposant que le mot de passe est tiré uniformément au hasard dans un ensemble de chaînes possibles. La formule est $H = L \log_2 N$, où $L$ est la longueur du mot de passe et $N$ la taille de l'alphabet utilisé.

L'entropie de Shannon d'un mot de passe particulier — telle que ce calculateur la détermine — mesure la distribution de fréquences des caractères dans cette chaîne précise. Un mot de passe comme « aaaa » possède une entropie de Shannon nulle tout en faisant quatre caractères de long. Pour évaluer la résistance d'un mot de passe aux attaques par force brute, utilisez le Calculateur d'entropie de mot de passe, qui modélise l'espace de recherche de l'attaquant.