Última atualização: 2026-06-22

O token explicado

Um token é a unidade de texto que um modelo de linguagem lê e gera. Um tokenizador segmenta o texto bruto em entradas de um vocabulário fixo, em que cada entrada costuma ser um fragmento curto — uma palavra comum inteira, um radical, um sufixo, um sinal de pontuação ou alguns caracteres de uma palavra rara. Os modelos faturam e limitam o uso em tokens, e não em palavras ou caracteres, de modo que converter entre tokens e as contagens mais familiares de palavras e caracteres exige as razões médias que um tokenizador produz.

Razões de conversão

Para a prosa em inglês, duas médias empíricas são comumente usadas. As palavras mapeiam para tokens a aproximadamente 1.33 token por palavra, equivalente a cerca de 0.75 palavra por token. Os caracteres mapeiam a aproximadamente 4 caracteres por token. Dada uma contagem de tokens $n$, uma razão de tokens por palavra $r_w$ e uma razão de caracteres por token $r_c$:

A contagem de palavras divide pela razão porque mais tokens por palavra significa menos palavras para o mesmo orçamento de tokens; a contagem de caracteres multiplica porque cada token carrega um número aproximadamente fixo de caracteres.

Exemplo resolvido

Tome n = 1000 tokens de texto comum em inglês às razões padrão $r_w = 1.33$ e $r_c = 4$:

Assim, um trecho de 1000 tokens equivale a aproximadamente 752 palavras e 4000 caracteres — alguns parágrafos de prosa, na ordem de uma página e meia de texto com espaçamento duplo. Os valores são estimativas: a segmentação real de um trecho específico vai diferir da média, e a contagem de palavras é arredondada para a palavra inteira mais próxima.

Variações

As razões não são constantes universais. Elas se deslocam conforme três fatores:

• Idioma. Escritas que o tokenizador representa de forma menos eficiente — muitas escritas que não usam o alfabeto latino, ou idiomas de morfologia rica — produzem mais tokens por palavra, reduzindo o valor de palavras por token.
• Tipo de conteúdo. Código-fonte, tabelas, notação matemática e texto denso em números ou símbolos raros se fragmentam em mais tokens do que a prosa corrente, elevando $r_w$ e reduzindo $r_c$.
• Tokenizador. Cada família de modelos usa o próprio vocabulário, de modo que o mesmo texto produz contagens de tokens diferentes entre modelos. As razões aqui são médias para o inglês; uma contagem exata exige passar o texto pelo tokenizador do modelo de destino.

Aplicação

A conversão de tokens para palavras serve principalmente para traduzir entre um texto a ser produzido e o orçamento de tokens que ele consome. Um comprimento alvo em palavras pode ser convertido em uma contagem aproximada de tokens para verificá-lo contra os limites de um modelo com a Calculadora de Ajuste à Janela de Contexto, ou para estimar o gasto com a Calculadora de Custo por Token. Como as razões são médias, trate o resultado como uma estimativa de planejamento, e não como uma medição precisa, e reserve margem quando o valor se situar perto de um limite rígido.