Ultimo aggiornamento: 2026-06-22

Che cos'è un token

Un token è l'unità di testo che un modello linguistico legge e genera. Un tokenizzatore segmenta il testo grezzo in voci tratte da un vocabolario fisso, dove ogni voce è di norma un frammento breve: una parola comune intera, una radice di parola, un suffisso, un segno di punteggiatura o pochi caratteri di una parola rara. I modelli fatturano e delimitano l'uso in token anziché in parole o caratteri, per cui la conversione tra token e i più familiari conteggi di parole e caratteri richiede i rapporti medi prodotti da un tokenizzatore.

Rapporti di conversione

Per la prosa inglese si usano comunemente due medie empiriche. Le parole si mappano sui token a circa 1.33 token per parola, equivalenti a circa 0.75 parole per token. I caratteri si mappano a circa 4 caratteri per token. Dato un conteggio di token $n$, un rapporto di token per parola $r_w$ e un rapporto di caratteri per token $r_c$:

Il conteggio delle parole divide per il rapporto perché più token per parola significano meno parole a parità di budget di token; il conteggio dei caratteri moltiplica perché ogni token porta un numero di caratteri grosso modo fisso.

Esempio svolto

Si prendano n = 1000 token di testo inglese ordinario ai rapporti predefiniti $r_w = 1.33$ e $r_c = 4$:

Quindi un passo di 1000 token è circa 752 parole e 4000 caratteri, ossia alcuni paragrafi di prosa, dell'ordine di una pagina e mezza di testo a interlinea doppia. Le cifre sono stime: la segmentazione effettiva di un passo specifico differirà dalla media, e il conteggio delle parole arrotonda alla parola intera più vicina.

Varianti

I rapporti non sono costanti universali. Si spostano per tre fattori:

• Lingua. Gli alfabeti che il tokenizzatore rappresenta in modo meno efficiente, ossia molti alfabeti non latini o lingue con morfologia ricca, producono più token per parola, abbassando la cifra di parole per token.
• Tipo di contenuto. Codice sorgente, tabelle, notazione matematica e testo denso di numeri o simboli rari si frammentano in più token della prosa corrente, aumentando $r_w$ e abbassando $r_c$.
• Tokenizzatore. Ogni famiglia di modelli usa il proprio vocabolario, per cui lo stesso testo produce conteggi di token diversi tra i modelli. I rapporti qui indicati sono medie per l'inglese; un conteggio esatto richiede di far passare il testo attraverso il tokenizzatore del modello di destinazione.

Applicazione

La conversione da token a parole serve principalmente a tradurre tra un elaborato scritto e il budget di token che esso consuma. Una lunghezza obiettivo in parole può essere convertita in un conteggio approssimativo di token per verificarla rispetto ai limiti di un modello con Calcolatore di adattabilità alla finestra di contesto, oppure per stimare la spesa con Calcolatore del costo dei token. Poiché i rapporti sono medie, trattare il risultato come una stima di pianificazione anziché come una misurazione precisa, e riservare margine quando la cifra è prossima a un limite rigido.