Calcolatore della perplessità
Dati di input
| Perdita di entropia incrociata | 2 |
|---|
Calcolatore della perplessità
Converte la perdita di entropia incrociata di un modello linguistico in perplessità e bit per token. La perplessità è l'esponenziale della perdita media per token misurata su testo trattenuto.
Dati di input
Perdita
Risultati
Inserisci un valore per visualizzare i risultati.
Dettagli
La perplessità
La perplessità è la misura intrinseca più diffusa di quanto bene un modello linguistico predica il testo. Riassume l'incertezza media del modello in un unico numero dalla lettura intuitiva: all'incirca fra quante scelte equiprobabili il modello sta soppesando a ogni token. Questo calcolatore converte una perdita di entropia incrociata — la quantità che i framework di addestramento riportano — in perplessità e in bit per token.
Dalla perdita alla perplessità
Quando un modello linguistico legge testo trattenuto, assegna una probabilità a ciascun token successivo effettivo. La perdita di entropia incrociata è la media del logaritmo negativo di quelle probabilità; un modello sicuro e corretto ottiene una perdita bassa, uno sorpreso una perdita alta. La perplessità è semplicemente l'esponenziale di quella media:
PPLH2=eL=ln2Ldove è la perdita per token in nat e è l'equivalente in bit per token. L'esponenziazione annulla il logaritmo all'interno della perdita, trasformando una quantità additiva in una "dimensione effettiva del vocabolario" moltiplicativa. Un modello perfetto assegna probabilità uno a ogni token corretto, dando una perdita pari a zero e una perplessità pari a uno — nessuna incertezza.
Esempio svolto
Si supponga che un modello riporti una perdita di entropia incrociata su testo trattenuto di 2,0 nat:
PPLH2=e2,0≈7,39=ln22,0≈2,885 bit/tokenUna perplessità di circa 7,4 significa che, mediata sul testo, il modello è incerto quanto se scegliesse uniformemente fra circa sette o otto token equiprobabili. La cifra dei bit per token si collega alla compressione: un codificatore ideale che usasse questo modello servirebbe circa 2,9 bit per codificare ogni token, perciò un modello con perplessità più bassa potrebbe comprimere lo stesso testo più strettamente.
Leggere e confrontare la perplessità
Una perplessità più bassa indica una predizione migliore, ma il numero è significativo solo entro un tokenizzatore e un set di valutazione fissi. Poiché è misurata per token, un modello che spezza il testo in più token, più piccoli, riporta una perplessità diversa sullo stesso brano rispetto a uno con un vocabolario più grossolano, anche a parità di qualità sottostante. I confronti sono validi quando il tokenizzatore e il testo di prova sono identici, e fuorvianti altrimenti. La perplessità non dice nulla nemmeno su quanto un modello sappia seguire istruzioni o ragionare — per questo si usano valutazioni basate sui compiti. Per pianificare quanti esempi serve una tale valutazione, si veda l'Calcolatore della dimensione del campione per la valutazione LLM, e per il punteggio della generazione di codice si veda il Calcolatore pass@k.
Domande frequenti (FAQ)
Che cosa misura la perplessità?
La perplessità misura quanto bene un modello probabilistico predice un campione — più bassa è, meglio è. È l'esponenziale della perdita media di entropia incrociata e si può leggere come un fattore di ramificazione effettivo: una perplessità di 8 significa che il modello è, in media, incerto quanto se dovesse scegliere uniformemente fra 8 token successivi equiprobabili. Un modello perfetto che assegnasse sempre probabilità uno al token corretto avrebbe una perdita pari a zero e una perplessità pari a uno.
Poiché è calcolata direttamente dalle probabilità del modello stesso, la perplessità non richiede etichette ed è la misura intrinseca standard dell'adattamento di un modello linguistico.
Qual è la differenza tra nat e bit?
Entrambi sono unità di informazione che differiscono solo per la base del logaritmo. Un nat usa il logaritmo naturale ed è ciò che riporta la maggior parte del codice di addestramento; un bit usa la base due. Un nat equivale a circa 1,443 bit, perciò dividere la perdita in nat per il logaritmo naturale di due la converte in bit per token.
I bit per token sono comodi perché si collegano direttamente alla compressione: un modello con una cifra di bit per token più bassa potrebbe, in linea di principio, comprimere lo stesso testo in meno bit.
La perplessità si può confrontare tra modelli diversi?
Solo quando il tokenizzatore e il testo di valutazione sono identici. La perplessità è misurata per token, perciò un modello che suddivide il testo in più token, più piccoli, riporterà una perplessità diversa sullo stesso brano rispetto a uno che usa un vocabolario più grossolano, anche a parità di qualità sottostante.
I confronti sono quindi validi entro un tokenizzatore e un dataset fissi, e fuorvianti tra quelli diversi. Per i confronti di capacità tra modelli si usano invece metriche basate sui compiti.
Avvertenze legali
La perplessità è una misura intrinseca legata a uno specifico tokenizzatore e set di valutazione; non è direttamente confrontabile tra modelli con vocabolari diversi, né è un sostituto della valutazione basata sui compiti. Verificare che la perdita sia per token e in nat prima di convertirla.