Ultimo aggiornamento: 2026-06-28

L'entropia di Shannon

L'entropia di Shannon è una misura del contenuto informativo medio, o imprevedibilità, di una sequenza di simboli. Introdotta da Claude Shannon nel 1948 come fondamento della teoria dell'informazione, risponde alla domanda: quanta informazione porta in media ciascun carattere di una stringa? Il concetto è centrale nella compressione dei dati, nella crittografia e nell'apprendimento automatico.

Formula

Per una sorgente che emette simboli da un alfabeto di dimensione $k$, in cui il simbolo $i$ compare con probabilità $p_i$, l'entropia di Shannon è:

$H = -\sum_{i=1}^{k} p_i \log_b(p_i)$

La base $b$ del logaritmo determina l'unità di misura: la base 2 fornisce i bit, la base $e$ i nat e la base 10 gli hartley (detti anche ban o dit).

Esempio — "ciao"

La stringa "ciao" contiene quattro caratteri: c, i, a, o — tutti distinti. Frequenze dei caratteri:

Con distribuzione perfettamente uniforme su 4 simboli, l'entropia è massima:

L'entropia totale della stringa è $2{,}0 \times 4 = 8{,}0$ bit. Si tratta del numero minimo teorico di bit necessari per codificare "ciao" senza perdita di informazione, utilizzando un codice ottimale per questa distribuzione di frequenze.

Per confronto, la stringa "hello" (il valore predefinito del calcolatore) contiene la lettera «l» due volte su cinque, rendendo la distribuzione non uniforme e abbassando l'entropia a circa 1,9219 bit per simbolo.

Perché la formula funziona

Ciascun termine $-p_i \log_2 p_i$ rappresenta il contributo del simbolo $i$ all'incertezza complessiva. I simboli rari (con piccolo $p_i$) portano molta informazione quando compaiono: sono sorprendenti. I simboli frequenti (con grande $p_i$) portano poca informazione: sono attesi.

Shannon dimostrò che l'entropia è l'unica funzione che soddisfa tre assiomi intuitivi: è continua nelle probabilità, è massimizzata dalla distribuzione uniforme, e l'aggiunta di un simbolo che compare con certezza (probabilità 1) non la modifica. Questi tre assiomi individuano $H = -\sum p_i \log p_i$ come l'unica misura corretta del contenuto informativo medio.

Entropia massima e minima

Per una sorgente con $k$ simboli distinti:

• Entropia massima: $H_{max} = \log_2 k$ bit per simbolo, raggiunta quando tutti i simboli sono ugualmente probabili.
• Entropia minima: $H = 0$, raggiunta quando un solo simbolo compare con probabilità 1 (assenza di incertezza).

Il testo italiano reale si attesta intorno a 1–1,5 bit per lettera — ben al di sotto del massimo teorico di $\log_2 21 \approx 4{,}4$ bit — a causa delle frequenze molto non uniformi delle lettere e delle forti dipendenze statistiche tra caratteri adiacenti. La lettera «e» è la più frequente in italiano, mentre «q» è quasi sempre seguita da «u».

Entropia e compressione dei dati

Il teorema di codifica della sorgente di Shannon dimostra che nessun algoritmo di compressione senza perdita può ridurre un messaggio al di sotto della propria entropia. L'entropia rappresenta quindi un limite inferiore assoluto sulla dimensione del file compresso.

Questo legame spiega perché:

• I file con contenuto ripetitivo (come log di sistema con righe simili) si comprimono efficacemente — la loro entropia è bassa.
• I dati veramente casuali o già cifrati non possono essere compressi — sono già al loro limite entropico.
• Algoritmi come la codifica di Huffman e la codifica aritmetica si avvicinano al limite entropico; la codifica di Huffman garantisce al massimo un bit aggiuntivo per simbolo rispetto al limite teorico.

Relazione con la sicurezza delle password

L'entropia delle password, nella sua accezione legata alla sicurezza informatica, è un concetto correlato ma distinto. Misura l'incertezza dal punto di vista di un attaccante, ipotizzando che la password sia estratta in modo uniforme e casuale da un insieme di stringhe possibili. La formula è $H = L \log_2 N$, dove $L$ è la lunghezza della password e $N$ è la dimensione del pool di caratteri.

L'entropia di Shannon di una specifica password — come calcolata da questo strumento — misura invece la distribuzione delle frequenze dei caratteri in quella singola stringa. Una password come "aaaa" ha entropia di Shannon nulla ma rimane lunga quattro caratteri. Per la valutazione della sicurezza delle password, si utilizzi il Calcolatore di entropia delle password che modella lo spazio di ricerca dell'attaccante.