Calcolatore di significatività del test A/B
Dati di input
| Vittorie (A) | 540 |
|---|---|
| Prove (A) | 1.000 |
| Vittorie (B) | 590 |
| Prove (B) | 1.000 |
Calcolatore di significatività del test A/B
Verifica se un prompt o un modello batte davvero un altro. Inserisci vittorie e prove per ciascuna variante per ottenere i tassi di vittoria, un test z a due proporzioni, il valore p e le prove necessarie per la potenza.
Dati di input
Variante A
Variante B
Risultati
Inserisci un valore per visualizzare i risultati.
not_significant
Dettagli
Significatività di un test A/B
Quando si cambia un prompt, si sostituisce un modello o si modifica un'impostazione di decodifica, la nuova versione di solito vince su alcuni esempi e perde su altri. La domanda è se la differenza misurata rifletta un miglioramento genuino o solo la fortuna di quali esempi si è scelto di provare. Questo calcolatore applica un test z a due proporzioni a due tassi di vittoria e riporta i tassi di vittoria, la statistica del test, il valore p e il numero di prove che un confronto affidabile richiederebbe.
Confrontare due tassi di vittoria
Ogni variante è riassunta da un tasso di vittoria: vittorie divise per prove, dove una "vittoria" è ciò che conta come successo — un test superato, una risposta preferita in un giudizio testa a testa, una risposta corretta. Due tassi misurati su campioni finiti non saranno quasi mai esattamente uguali anche se le varianti sono identiche, perciò il test chiede quanto siano distanti rispetto al rumore di ciascuna stima.
La formula
Il test combina i due campioni per stimare un tasso comune, lo usa per calcolare l'errore standard della differenza e divide:
pˉzP=na+nbwa+wb=pˉ(1−pˉ)(na1+nb1)pb−pa=2(1−Φ(∣z∣))Qui e sono i tassi di vittoria, è il tasso combinato, indica quanti errori standard separano i tassi, è la funzione di distribuzione cumulativa normale standard e è il valore p bilaterale. Un valore assoluto di oltre circa 1,96 segna la soglia di significatività del 5%.
Esempio svolto
Si supponga che il prompt A vinca 540 di 1.000 compiti giudicati e che il prompt B vinca 590 di 1.000:
pˉzP=2000540+590=0,565=0,565×0,435×(0,001+0,001)0,59−0,54=0,02220,05≈2,26≈0,024Lo scarto di cinque punti supera la soglia di 1,96, con un valore p prossimo a 0,024 — sotto 0,05, perciò la differenza è statisticamente significativa: il caso è una spiegazione improbabile. La cifra di pianificazione mostra che rilevare in modo affidabile uno scarto di questa entità (95% di confidenza, 80% di potenza) richiederebbe circa 1.538 prove per variante, perciò le 1.000 prove qui collocano il risultato appena oltre la linea anziché comodamente al di là.
Leggere il risultato con cautela
La significatività non è importanza — uno scarto minuscolo e irrilevante può essere significativo con prove a sufficienza, e uno scarto rilevante può mancare la significatività con prove troppo poche. Il test presuppone inoltre prove indipendenti e un singolo confronto: valutare molte varianti insieme, o controllare ripetutamente i risultati man mano che i dati arrivano, gonfiano entrambi i falsi positivi e richiedono correzioni. Per dimensionare una valutazione prima di eseguirla, si veda l'Calcolatore della dimensione del campione per la valutazione LLM; per le metriche di codice basate sul campionamento e controllo, si veda il Calcolatore pass@k.
Domande frequenti (FAQ)
Che cosa significa qui la significatività statistica?
Chiede se lo scarto osservato fra i due tassi di vittoria è maggiore di quanto sorgerebbe abitualmente dal caso se le varianti fossero effettivamente uguali. Il test z a due proporzioni combina i due tassi, stima l'errore standard della loro differenza e riporta quanti errori standard li separano.
Il valore p è la probabilità di uno scarto almeno così grande sotto l'ipotesi di nessuna differenza reale. Un valore p piccolo — convenzionalmente sotto 0,05 — significa che il caso è una spiegazione improbabile, perciò la differenza è detta significativa.
Non misura quanto la differenza sia grande o importante, ma solo con quanta sicurezza si distingue dal rumore.
Quante prove servono?
Abbastanza da rilevare la differenza che interessa senza farsi ingannare dal rumore. Il calcolatore riporta le prove per variante necessarie a rilevare lo scarto osservato al 95% di confidenza e all'80% di potenza — gli obiettivi standard di pianificazione.
Differenze vere più piccole richiedono molte più prove, perché lo scarto deve superare un errore standard che si riduce solo con la radice quadrata della dimensione del campione. Se i conteggi delle prove attuali sono ben al di sotto della cifra mostrata, un risultato non significativo può semplicemente riflettere dati insufficienti anziché varianti genuinamente uguali.
È un test unilaterale o bilaterale?
Bilaterale. Il valore p riflette la probabilità di una differenza così grande in entrambe le direzioni, il che è l'impostazione predefinita appropriata quando non ci si è impegnati in anticipo su quale variante avrebbe vinto.
Un test unilaterale, usato solo quando la direzione è fissata in anticipo, dimezzerebbe il valore p ma rischia di mancare un effetto reale nella direzione inattesa. Quando si confrontano prompt o modelli senza un impegno preliminare, il test bilaterale è la scelta sicura.
Avvertenze legali
Questo test presuppone prove indipendenti e usa l'approssimazione normale, affidabile quando ciascuna variante ha almeno una manciata di vittorie e di sconfitte. Non si corregge per la verifica simultanea di molte varianti né per il controllo ripetuto dei risultati, entrambi fattori che gonfiano i falsi positivi. Va inteso come evidenza, non come prova, e si registri in anticipo il confronto quando possibile.