Calculadora de Perplexidade
Entradas
| Perda de entropia cruzada | 2 |
|---|
Calculadora de Perplexidade
Converta a perda de entropia cruzada de um modelo de linguagem em perplexidade e bits por token. A perplexidade é o exponencial da perda média por token medida em texto de validação.
Entradas
Perda
Resultados
Insira um valor para ver os resultados.
Detalhes
Perplexidade
A perplexidade é a medida intrínseca mais usada para avaliar o quão bem um modelo de linguagem prevê texto. Ela resume a incerteza média do modelo em um único número com uma leitura intuitiva: aproximadamente quantas escolhas igualmente prováveis o modelo está ponderando a cada token. Esta calculadora converte uma perda de entropia cruzada — a grandeza que os frameworks de treinamento reportam — em perplexidade e em bits por token.
Da perda à perplexidade
Quando um modelo de linguagem lê um texto de validação, ele atribui uma probabilidade a cada token seguinte real. A perda de entropia cruzada é a média do negativo do logaritmo dessas probabilidades; um modelo confiante e correto obtém uma perda baixa, e um surpreso, uma perda alta. A perplexidade é simplesmente o exponencial dessa média:
PPLH2=eL=ln2Londe é a perda por token em nats e é o equivalente em bits por token. Exponenciar desfaz o logaritmo presente na perda, transformando uma grandeza aditiva em um "tamanho de vocabulário efetivo" multiplicativo. Um modelo perfeito atribui probabilidade um a cada token correto, resultando em perda zero e perplexidade um — nenhuma incerteza.
Exemplo resolvido
Suponha que um modelo reporte uma perda de entropia cruzada de validação de 2,0 nats:
PPLH2=e2.0≈7.39=ln22.0≈2.885 bits/tokenUma perplexidade de cerca de 7,4 significa que, em média ao longo do texto, o modelo está tão incerto quanto se estivesse escolhendo uniformemente entre cerca de sete ou oito tokens igualmente prováveis. O valor de bits por token se conecta à compressão: um codificador ideal usando este modelo precisaria de cerca de 2,9 bits para codificar cada token, de modo que um modelo de perplexidade menor poderia comprimir o mesmo texto de forma mais compacta.
Lendo e comparando a perplexidade
Uma perplexidade menor indica melhor previsão, mas o número só é significativo dentro de um tokenizador e conjunto de avaliação fixos. Por ser medida por token, um modelo que quebra o texto em mais tokens, menores, reporta uma perplexidade diferente no mesmo trecho em relação a outro com um vocabulário mais grosso, mesmo com qualidade subjacente igual. As comparações são válidas quando o tokenizador e o texto de teste são idênticos, e enganosas caso contrário. A perplexidade também nada diz sobre a capacidade de um modelo seguir instruções ou raciocinar — para isso, usam-se avaliações baseadas em tarefas. Para planejar quantos exemplos uma avaliação dessas exige, consulte a Calculadora de Tamanho de Amostra para Avaliação de LLM, e para pontuação de geração de código, consulte a Calculadora de pass@k.
Perguntas frequentes (FAQ)
O que a perplexidade mede?
A perplexidade mede o quão bem um modelo de probabilidade prevê uma amostra — quanto menor, melhor. É o exponencial da perda média de entropia cruzada e pode ser lida como um fator de ramificação efetivo: uma perplexidade de 8 significa que o modelo está, em média, tão incerto quanto se tivesse de escolher uniformemente entre 8 tokens seguintes igualmente prováveis. Um modelo perfeito que sempre atribuísse probabilidade um ao token correto teria perda zero e perplexidade um.
Por ser calculada diretamente a partir das próprias probabilidades do modelo, a perplexidade não precisa de rótulos e é a medida intrínseca padrão de ajuste de modelos de linguagem.
Qual a diferença entre nats e bits?
Ambos são unidades de informação que diferem apenas pela base do logaritmo. Um nat usa o logaritmo natural e é o que a maioria dos códigos de treinamento reporta; um bit usa a base dois. Um nat equivale a cerca de 1,443 bits, de modo que dividir a perda em nats pelo logaritmo natural de dois a converte em bits por token.
Bits por token é conveniente porque se conecta diretamente à compressão: um modelo com um valor menor de bits por token poderia, em princípio, comprimir o mesmo texto em menos bits.
A perplexidade pode ser comparada entre modelos?
Apenas quando o tokenizador e o texto de avaliação são idênticos. A perplexidade é medida por token, de modo que um modelo que divide o texto em mais tokens, menores, reportará uma perplexidade diferente no mesmo trecho em relação a outro que use um vocabulário mais grosso, mesmo com qualidade subjacente igual.
As comparações são, portanto, válidas dentro de um tokenizador e conjunto de dados fixos, e enganosas entre tokenizadores diferentes. Para comparações de capacidade entre modelos, usam-se métricas baseadas em tarefas.
Aviso legal
A perplexidade é uma medida intrínseca atrelada a um tokenizador e conjunto de avaliação específicos; não é diretamente comparável entre modelos com vocabulários diferentes, nem substitui a avaliação baseada em tarefas. Confirme que a perda é por token e em nats antes de converter.