Última actualización: 2026-06-28

La entropía de Shannon

La entropía de Shannon es una medida del contenido de información medio, o imprevisibilidad, de una secuencia de símbolos. Dado un texto, responde a la pregunta: ¿cuántos bits (o nats, o hartleys) de información contiene cada carácter en promedio? El concepto fue introducido por Claude Shannon en 1948 como fundamento de la teoría de la información, y sigue siendo central en la compresión de datos, la criptografía y el aprendizaje automático.

La fórmula de la entropía

Para una fuente que emite símbolos de un alfabeto de tamaño $k$, donde el símbolo $i$ aparece con probabilidad $p_i$, la entropía de Shannon es:

$H = -\sum_{i=1}^{k} p_i \log_b(p_i)$

La base $b$ del logaritmo determina la unidad: la base 2 produce bits, la base $e$ produce nats y la base 10 produce hartleys (también llamados bans o dits).

Ejemplo con "hello"

La cadena "hello" contiene cinco caracteres: h, e, l, l, o. Frecuencias de caracteres:

Aplicando la fórmula en bits (base 2):

La entropía total de la cadena completa es $1{,}9219 \times 5 \approx 9{,}61$ bits. Este es el número mínimo teórico de bits necesarios para codificar "hello" sin pérdidas con un código óptimo para esta distribución de frecuencias.

Por qué funciona la fórmula

Cada término $-p_i \log_2 p_i$ representa la contribución del símbolo $i$ a la incertidumbre total. Los símbolos que aparecen raramente (con $p_i$ pequeño) aportan mucha información cuando se presentan, precisamente porque resultan sorprendentes. Los símbolos que aparecen con frecuencia (con $p_i$ grande) aportan poca información, al ser esperados.

Shannon demostró que la entropía es la única función que satisface tres axiomas intuitivos: es continua en las probabilidades, se maximiza con una distribución uniforme y añadir un símbolo con probabilidad 1 (completamente cierto) no la altera. Estos axiomas determinan $H = -\sum p_i \log p_i$ como la única medida correcta de información media.

Entropía máxima y mínima

Para una fuente con $k$ símbolos distintos:

• Entropía máxima: $H_{max} = \log_2 k$ bits por símbolo, alcanzada cuando todos los símbolos son igualmente probables.
• Entropía mínima: $H = 0$, alcanzada cuando un símbolo aparece con probabilidad 1 (ausencia total de incertidumbre).

El español escrito se sitúa en torno a 1–1,5 bits por letra, muy por debajo del máximo teórico de $\log_2 27 \approx 4{,}75$ bits, debido a las frecuencias muy desiguales de las letras y a las fuertes dependencias estadísticas entre caracteres adyacentes (la «q», por ejemplo, va seguida casi siempre de «u»).

Entropía y compresión de datos

El teorema de codificación de fuente de Shannon demuestra que ningún algoritmo de compresión sin pérdidas puede comprimir un mensaje a menos bits por símbolo que su entropía. La entropía es, por tanto, una cota inferior teórica e infranqueable del tamaño comprimido.

Esta conexión explica por qué:

• Los ficheros con contenido repetitivo (como registros de sistema con líneas similares) se comprimen bien: su entropía es baja.
• Los datos verdaderamente aleatorios o ya cifrados no pueden comprimirse de forma significativa: se encuentran ya en su límite de entropía.
• Los algoritmos de compresión como la codificación de Huffman y la codificación aritmética se aproximan a la cota de entropía; la codificación de Huffman garantiza usar como máximo un bit extra por símbolo respecto a dicha cota.

Relación con la seguridad de contraseñas

La entropía de contraseñas, tal como se emplea en el análisis de seguridad, es un concepto relacionado pero distinto. Mide la incertidumbre desde la perspectiva del atacante, asumiendo que la contraseña se extrae de forma uniforme y aleatoria de un conjunto de cadenas posibles. La fórmula es $H = L \log_2 N$, donde $L$ es la longitud de la contraseña y $N$ es el tamaño del alfabeto de caracteres.

La entropía de Shannon de una contraseña concreta —que es lo que calcula esta herramienta— mide la distribución de frecuencias de los caracteres en esa cadena particular. Una contraseña como "aaaa" tiene entropía de Shannon cero, aunque siga teniendo cuatro caracteres. Para evaluar la seguridad de una contraseña, utilice la Calculadora de Entropía de Contraseñas, que modela el espacio de búsqueda del atacante.