Zuletzt aktualisiert: 2026-06-22

Download-Zeit von Modellen

Ein großes Sprachmodell auf eine Maschine zu holen, kann bedeuten, Dutzende oder Hunderte von Gigabyte zu bewegen, und die Wartezeit hängt von zwei Dingen ab: wie groß die Gewichtsdatei ist und wie schnell die Verbindung läuft. Die Dateigröße ergibt sich aus der Parameterzahl und dem Quantisierungsformat, die Übertragungszeit aus dieser Größe geteilt durch die Netzwerkbandbreite. Dieser Rechner verkettet beides, indem er von einer Parameterzahl und einer Präzision ausgeht statt direkt nach einer Dateigröße zu fragen.

Von Parametern zu Bytes zu Zeit

Die Gewichte eines Modells belegen grob seine Parameterzahl mal die Bitbreite pro Gewicht, in Bytes. Mit $N$ Parametern in Milliarden und $b$ Bit je Parameter beträgt die Größe in dezimalen Gigabyte

Um daraus eine Übertragungszeit zu machen, muss die Größe in Bit umgerechnet werden — denn die Bandbreite wird in Megabit pro Sekunde angegeben — und dann durch die Leitungsrate geteilt werden. Ein Gigabyte sind $8 \times 10^9$ Bit und ein Megabit pro Sekunde sind $10^6$ Bit pro Sekunde, sodass die Übertragung über eine Bandbreite $w$ in Mbps $S \cdot 8 \times 10^9 / (w \times 10^6) = S \cdot 8000 / w$ Sekunden dauert. In Minuten und Stunden ausgedrückt,

Rechenbeispiel

Nehmen wir ein Modell mit 70 Milliarden Parametern bei 16 Bit pro Gewicht, heruntergeladen über eine 1.000-Mbps-Verbindung:

Das sind etwa 0,31 Stunden Übertragung für die 140 GB an Gewichten, vorausgesetzt die Leitung bleibt ausgelastet. Dasselbe Modell auf 4 Bit quantisiert wäre 35 GB groß und würde in rund einem Viertel der Zeit herunterladen.

Megabit versus Megabyte

Der häufigste Fehler ist, zu vergessen, dass Verbindungsgeschwindigkeiten in Megabit, Dateien aber in Megabyte angegeben werden. Ein Byte sind acht Bit, also bewegt eine „1 Gbps“-Leitung nur etwa 125 Megabyte pro Sekunde. Die obige Berechnung berücksichtigt diese Umrechnung — deshalb ist die Zeit achtmal länger, als die Division von Gigabyte durch Gigabit vermuten ließe. Echte Downloads sind noch langsamer, weil Serverlimits, geteilte Bandbreite und Protokoll-Overhead die effektive Rate unter das beworbene Maximum drücken. Die zugrunde liegende Dateigröße und wie sie sich mit der Präzision ändert, behandelt der Modellgröße aus Quantisierung berechnen, und der Speicher, der zum tatsächlichen Ausführen der heruntergeladenen Gewichte nötig ist, der VRAM-Rechner für LLM-Inferenz.