Modellgröße aus Quantisierung berechnen
Eingaben
| Parameter | 7 |
|---|---|
| Quantisierung | FP16 / BF16 (16 Bit) |
Modellgröße aus Quantisierung berechnen
Schätzt die Größe eines großen Sprachmodells auf der Festplatte und im Speicher aus der Parameteranzahl und der Quantisierungs-Bitbreite – sowohl in dezimalen Gigabyte als auch in binären Gibibyte.
Eingaben
Modell
Ergebnisse
Geben Sie einen Wert ein, um die Ergebnisse zu sehen.
Details
Modellgröße aus Quantisierung
Die Größe eines großen Sprachmodells auf der Festplatte ergibt sich fast vollständig daraus, wie viele Parameter es besitzt und mit wie vielen Bit jeder Parameter gespeichert wird. Ein Gewicht ist nichts weiter als eine Zahl, und ein Modell ist eine lange Liste davon. Multipliziert man die Anzahl mit der Bitbreite pro Gewicht und rechnet in Byte um, erhält man eine gute Schätzung der Dateigröße – und damit auch des Speichers, der zum Laden nötig ist. Dieser Rechner wandelt eine Parameteranzahl und ein Quantisierungsformat in einen Wert in dezimalen Gigabyte und in binären Gibibyte um.
Die Formel
Mit einer Parameteranzahl in Milliarden und einer Bitbreite pro Parameter beträgt die Gewichtsgröße in dezimalen Gigabyte
S=8N⋅bDie Division durch acht rechnet Bit in Byte um. Da eine Milliarde Byte genau einem dezimalen Gigabyte entspricht, fällt das Ergebnis direkt in Gigabyte aus, wenn in Milliarden angegeben wird. Dieselbe Menge in binären Gibibyte – der Einheit, die die meisten Betriebssysteme und GPU-Werkzeuge anzeigen – lautet
G=S⋅1073741824109da ein Gibibyte Byte umfasst.
Rechenbeispiel
Betrachten wir ein Modell mit 7 Milliarden Parametern, gespeichert mit 16 Bit pro Gewicht – das Standard-Halbpräzisionsformat, in dem die meisten Modelle ausgeliefert werden:
S=87×16=14 GB,G=14×1073741824109≈13,04 GiBDie Gewichte belegen also etwa 14 GB auf der Festplatte, was ein Speicherwerkzeug als rund 13 GiB anzeigt. Quantisiert man dasselbe Modell auf 4 Bit, wird jedes Gewicht in einem Viertel des Platzes abgelegt, sodass die Datei auf etwa 3,5 GB schrumpft.
Eine Genauigkeit wählen
Die volle 32-Bit-Genauigkeit kommt hauptsächlich beim Training zum Einsatz. Für den Produktivbetrieb ist 16 Bit die übliche Referenz, während die 8-Bit- und 4-Bit-Quantisierung etwas Genauigkeit gegen die Hälfte bzw. ein Viertel des Speicherbedarfs eintauscht. Niedrig-Bit-Formate wie INT4 ermöglichen es, dass ein Modell mit zig Milliarden Parametern auf eine einzelne Consumer-GPU passt. Die Größenschätzung hier umfasst nur die Gewichte; der Betrieb des Modells benötigt zusätzlich Platz für Aktivierungen und den Key-Value-Cache, den der VRAM-Rechner für LLM-Inferenz berücksichtigt. Um eine Größe in eine Übertragungszeit über eine bestimmte Verbindung umzurechnen, siehe den Rechner für die Download-Zeit von Modellen.
Häufig gestellte Fragen (FAQ)
Welche Bitbreite sollte ein Modell verwenden?
Die meisten Modelle werden in 16 Bit (FP16 oder BF16) trainiert und veröffentlicht, was üblicherweise als Referenzgröße dient. Für den Betrieb auf kleinerer Hardware verringert die 8-Bit- und 4-Bit-Quantisierung den Speicherbedarf auf die Hälfte bzw. ein Viertel, allerdings mit gewissen Einbußen bei der Genauigkeit.
INT4 ist beliebt, um größere Modelle auf Consumer-GPUs unterzubringen, während FP32 hauptsächlich beim Training oder bei höchster numerischer Genauigkeit zum Einsatz kommt. Die richtige Wahl hängt vom verfügbaren Speicher und der Toleranz gegenüber Qualitätsverlust ab.
Was ist der Unterschied zwischen GB und GiB?
Ein Gigabyte (GB) entspricht einer Milliarde Byte, ein Gibibyte (GiB) hingegen 2^30, also 1.073.741.824 Byte – etwa 7,4 % mehr. Speicherhersteller und Downloadgrößen verwenden meist dezimale GB, während Betriebssysteme, GPU-Speicherwerkzeuge und viele Modell-Loader binäre GiB anzeigen. Dieselbe Datei zeigt daher in GiB eine etwas kleinere Zahl als in GB – deshalb werden hier beide Werte angegeben.
Verringert die Quantisierung die Modellqualität?
Eine geringere Genauigkeit verwirft einige numerische Details und kann daher die Genauigkeit verringern, doch der Effekt ist oft klein. Moderne 8-Bit-Quantisierung ist für die Inferenz meist nahezu verlustfrei, und 4-Bit-Verfahren wie GPTQ und AWQ erhalten bei vielen Modellen den Großteil der Qualität und reduzieren den Speicher zugleich auf ein Viertel.
Sehr niedrige Bitbreiten und kleine Modelle verschlechtern sich tendenziell merklicher. Die Größenschätzung hier ist unabhängig vom Quantisierungsverfahren; nur der Abwägungspunkt zur Genauigkeit unterscheidet sich.
Haftungsausschluss
Diese Schätzung berücksichtigt nur die Speicherung der Gewichte. Reale Dateien und der tatsächliche Speicherverbrauch umfassen zusätzlich Embeddings, Quantisierungs-Metadaten, Aktivierungspuffer und den Key-Value-Cache während der Inferenz, sodass der tatsächliche Festplatten- und GPU-Verbrauch etwas höher ausfallen kann als die angezeigten Werte.