Última atualização: 2026-06-28

Entropia de Shannon

A entropia de Shannon mede o conteúdo médio de informação de uma sequência de símbolos — em outras palavras, quantos bits (ou nats, ou hartleys) cada símbolo carrega em média. Proposta por Claude Shannon em 1948 no artigo que fundou a teoria da informação, essa medida permanece central à compressão de dados, à criptografia e ao aprendizado de máquina.

A fórmula da entropia

Para uma fonte que emite símbolos de um alfabeto de tamanho $k$, onde o símbolo $i$ ocorre com probabilidade $p_i$, a entropia de Shannon é:

$H = -\sum_{i=1}^{k} p_i \log_b(p_i)$

A base $b$ do logaritmo determina a unidade: base 2 produz bits, base $e$ produz nats e base 10 produz hartleys (também chamados de bans ou dits).

Exemplo com "hello"

A cadeia "hello" contém cinco caracteres: h, e, l, l, o. Distribuição de frequências:

Aplicando a fórmula em bits (base 2):

A entropia total da cadeia completa é $1{,}9219 \times 5 \approx 9{,}61$ bits. Esse valor representa o número mínimo teórico de bits necessários para codificar "hello" sem perdas, com um código ótimo para essa distribuição de frequências específica.

Por que a fórmula funciona

Cada termo $-p_i \log_2 p_i$ representa a contribuição do símbolo $i$ para a incerteza total. Símbolos raros (pequeno $p_i$) carregam muita informação quando aparecem — são surpreendentes. Símbolos frequentes (grande $p_i$) carregam pouca informação — são esperados.

Shannon demonstrou que a entropia é a única função que satisfaz três axiomas intuitivos: é contínua nas probabilidades, é maximizada pela distribuição uniforme e não se altera com a adição de um símbolo de probabilidade 1 (certo). Esses axiomas determinam univocamente $H = -\sum p_i \log p_i$ como a medida correta de informação média.

Entropia máxima e mínima

Para uma fonte com $k$ símbolos distintos:

• Entropia máxima: $H_{max} = \log_2 k$ bits por símbolo, atingida quando todos os símbolos são igualmente prováveis.
• Entropia mínima: $H = 0$, atingida quando um único símbolo ocorre com probabilidade 1 (sem incerteza).

O português escrito apresenta entre 1 e 1,5 bits por letra — bem abaixo do máximo teórico de $\log_2 26 \approx 4{,}7$ bits — devido às frequências altamente não uniformes das letras e às fortes dependências estatísticas entre caracteres adjacentes.

Entropia e compressão de dados

O teorema de codificação de fonte de Shannon prova que nenhum algoritmo de compressão sem perdas consegue comprimir uma mensagem abaixo de H bits por símbolo, sendo H a entropia da fonte. A entropia é, portanto, um limite inferior teórico para o tamanho do arquivo comprimido.

Essa relação explica por que:

• Arquivos com conteúdo repetitivo (como registros de log com linhas semelhantes) comprimem bem — sua entropia é baixa.
• Dados aleatórios ou já cifrados não podem ser comprimidos — já estão no limite de entropia.
• Algoritmos como codificação de Huffman e codificação aritmética se aproximam do limite de entropia; a codificação de Huffman garante o uso de no máximo um bit extra por símbolo além do limite teórico.

Entropia de Shannon e força de senhas

A entropia de senha, utilizada em análise de segurança, é um conceito relacionado, porém distinto. Ela mede a incerteza do ponto de vista do atacante, supondo que a senha foi escolhida uniformemente ao acaso em um espaço de strings possíveis. A fórmula é $H = L \log_2 N$, onde $L$ é o comprimento da senha e $N$ é o tamanho do conjunto de caracteres.

A entropia de Shannon de uma senha específica — conforme calculada aqui — mede a distribuição de frequências dos caracteres naquela cadeia em particular. Uma senha como "aaaa" tem entropia de Shannon zero, mas ainda assim tem quatro caracteres de comprimento. Para avaliar a segurança de senhas, utilize a Calculadora de Entropia de Senha, que modela o espaço de busca do atacante.