Calcolatore del tempo di download di un modello
Dati di input
| Parametri | 70 |
|---|---|
| Quantizzazione | FP16 / BF16 (16 bit) |
| Larghezza di banda | 1.000 |
Calcolatore del tempo di download di un modello
Dati di input
Modello
Rete
Risultati
Inserisci un valore per visualizzare i risultati.
Dettagli
Da provare dopo
Calcolatore della dimensione del modello dalla quantizzazione
Stima la dimensione su disco e in memoria di un modello linguistico di grandi dimensioni a partire dal numero di parametri e dalla larghezza in bit della quantizzazione, sia in gigabyte decimali sia in gibibyte binari.
Calcolatore della VRAM di inferenza per LLM
Stima la VRAM della GPU necessaria per servire in inferenza un modello linguistico di grandi dimensioni a partire dal numero di parametri, dalla precisione dei pesi e dall'overhead di runtime per la cache KV, le attivazioni e la frammentazione.