Ultimo aggiornamento: 2026-06-22

La dimensione del campione per la valutazione LLM

Quando si misura l'accuratezza di un modello su un benchmark, il numero che si riporta è una stima da un campione finito e porta con sé incertezza. Si esegua lo stesso modello su cinquanta esempi diversi e il punteggio si sposterà. Questo calcolatore risponde alla domanda di pianificazione che precede ogni valutazione: quanti esempi servono perché l'accuratezza misurata ricada entro un margine di errore dichiarato a un livello di confidenza scelto.

L'accuratezza è una proporzione

Un punteggio di benchmark è la frazione di esempi a cui un modello risponde correttamente — una proporzione. L'incertezza di una proporzione stimata è descritta dal suo errore standard, e un intervallo di confidenza si costruisce estendendo un certo numero di errori standard su ciascun lato, fissato dal livello di confidenza. Richiedere che quell'intervallo non sia più ampio di un margine di errore obiettivo fissa il numero di esempi necessari.

La formula

Qui $z$ è il valore normale standard per il livello di confidenza scelto, $p$ è l'accuratezza attesa, $E$ è il margine di errore e $n$ è il numero di esempi, arrotondato per eccesso. Contano due aspetti. Il margine entra al quadrato, perciò dimezzarlo quadruplica il requisito — la precisione costa. E l'accuratezza entra attraverso il prodotto di $p$ e del suo complemento, che è massimo a una divisione paritaria, perciò un modello atteso vicino al lancio di una moneta richiede il maggior numero di esempi mentre uno vicino agli estremi ne richiede meno.

Esempio svolto

Si supponga di attendersi circa l'80% di accuratezza e di volerla conoscere entro ±5% con il 95% di confidenza:

Bastano dunque circa 246 esempi. Se non si avesse una stima a priori dell'accuratezza e si usasse il caso peggiore a una divisione paritaria, il requisito salirebbe a 385. Stringere il margine a ±2,5% spingerebbe la cifra del caso peggiore a oltre 1.500 — un'illustrazione concreta del costo quadratico della precisione.

Usare il risultato

La cifra è un riferimento che presuppone esempi indipendenti e l'approssimazione normale, entrambi ragionevoli alla scala delle valutazioni. Quando non si dispone di una stima affidabile dell'accuratezza, si pianifichi attorno alla cifra prudenziale del 50%, poiché è il valore massimo che il requisito può assumere. Questo calcolatore dimensiona una singola stima di accuratezza; decidere se un modello o un prompt batte davvero un altro è un confronto fra due proporzioni che richiede una dimensione dell'effetto e la potenza statistica, e di solito più dati — per questo, si veda l'Calcolatore di significatività del test A/B. Per ragionare invece su metriche di codice a più campioni, si veda il Calcolatore pass@k.