GPU-Anzahl für Modell berechnen
Eingaben
| Modell-VRAM | 140 |
|---|---|
| Speicher pro GPU | 80 |
| Nutzbarer Anteil | 90 % |
GPU-Anzahl für Modell berechnen
Schätzt, wie viele Beschleuniger nötig sind, um ein Modell im Speicher zu halten, aus seinem gesamten VRAM-Bedarf, dem Speicher pro GPU und einem nutzbaren Anteil, der Framework- und Fragmentierungs-Overhead berücksichtigt.
Eingaben
Modell
Hardware
Ergebnisse
Geben Sie einen Wert ein, um die Ergebnisse zu sehen.
Details
GPU-Anzahl für ein Modell
Ein großes Sprachmodell muss in den Beschleunigerspeicher passen, bevor es auch nur ein einziges Token bedienen kann. Ist das Modell größer als eine GPU, wird es über mehrere verteilt, und die erste Planungsfrage lautet schlicht, wie viele Geräte es benötigt. Dieser Rechner beantwortet das aus drei Zahlen: dem gesamten VRAM, den das Modell braucht, dem Speicher jeder GPU und dem Anteil dieses Speichers, den ein reales Deployment tatsächlich nutzen kann.
Warum ein Modell mehrere GPUs umspannt
Ein moderner Beschleuniger trägt eine feste Menge an High-Bandwidth-Speicher — 80 GB bei einer H100, 141 GB bei einer H200. Ein Modell, dessen Gewichte und Laufzeitpuffer diesen Wert übersteigen, kann nicht auf einem Gerät leben, also wird es geshardet. Tensor-Parallelismus ist die übliche Methode: Jeder Layer wird über die Gruppe zerlegt, jede GPU hält einen Teil der Gewichte, und die Teilergebnisse werden an jedem Layer mit einem kollektiven Kommunikationsschritt zusammengefügt. Die Gruppe verhält sich dann wie ein einzelnes größeres Gerät. Die Anzahl, die dieser Rechner liefert, beschreibt diese einzelne eng gekoppelte Gruppe, nicht eine Menge unabhängiger Replikate.
Nutzbarer Speicher liegt unter dem Nennwert
Eine GPU übergibt dem Modell nie ihren vollen angegebenen Speicher. Der CUDA-Kontext, der Caching-Allokator des Frameworks, Aktivierungstensoren und die Fragmentierung zwischen Allokationen belegen einen Anteil, und beim Serving wächst der Key-Value-Cache mit Kontextlänge und Batch-Größe. Rund 80 bis 90 Prozent des Nennwerts als nutzbar anzusetzen lässt einen realistischen Spielraum; näher an den vollen Wert zu gehen lädt Out-of-Memory-Ausfälle unter Last ein.
Die Formel
Mit Modellbedarf Gigabyte, Speicher pro GPU Gigabyte und nutzbarem Anteil ergeben sich die Geräteanzahl und der Gesamtspeicher als
nT=⌈g⋅fM⌉=n⋅gwobei die Anzahl der GPUs und ihr kombinierter Nennspeicher ist. Die Aufrundung erfolgt, weil ein Modell nicht auf einem Bruchteil eines Beschleunigers laufen kann.
Rechenbeispiel
Nehmen wir ein Modell, das 140 GB VRAM benötigt, auf GPUs mit je 80 GB, bei 90 Prozent nutzbarem Speicher:
nT=⌈80×0.9140⌉=⌈72140⌉=⌈1.94⌉=2=2×80=160 GBZwei GPUs genügen, mit 160 GB Nennspeicher gegenüber einem Bedarf von 140 GB — bequemer Spielraum für den Key-Value-Cache. Ein Modell mit 350 GB auf derselben Hardware benötigt GPUs.
Jenseits des Minimums
Die Anzahl hier beantwortet allein die Frage der Passgenauigkeit. Beschleuniger über diesen Punkt hinaus hinzuzufügen kauft Speicherspielraum — einen größeren Key-Value-Cache, eine höhere Batch-Größe, Raum für längere Kontexte — und erhöht den Durchsatz, statt zu ändern, ob das Modell passt, während der Kommunikations-Overhead des Shardings die Effizienz pro GPU allmählich mindert. Die Dimensionierung für Leistung ist eine separate Übung. Um den zugrunde liegenden Speicherbedarf zu schätzen, der die Eingabe speist, siehe den VRAM-Rechner für LLM-Inferenz, und um eine Geräteanzahl in laufende Kosten umzusetzen, den GPU-Cloud-Kosten-Rechner.
Häufig gestellte Fragen (FAQ)
Was ist Tensor-Parallelismus?
Tensor-Parallelismus zerlegt jeden Layer eines Modells über mehrere Beschleuniger, sodass jede GPU einen Teil der Gewichte hält und einen Teil jeder Matrixmultiplikation berechnet. Die Teilergebnisse werden an jedem Layer mit einem kollektiven Kommunikationsschritt zusammengeführt.
Es ist die Technik, die ein Modell, das größer als ein einzelnes Gerät ist, über eine Gruppe von ihnen passen lässt, und der Grund, warum die Anzahl aus diesem Rechner eine einzelne eng gekoppelte Gruppe beschreibt und nicht unabhängige Replikate.
Warum liegt der nutzbare Speicher unter dem Nennwert?
Eine GPU stellt einem Modell nie ihren vollen angegebenen Speicher zur Verfügung. Der CUDA-Kontext, der Caching-Allokator des Frameworks, Aktivierungstensoren und die Fragmentierung zwischen Allokationen belegen alle Platz, und der Key-Value-Cache wächst beim Serving mit Kontextlänge und Batch-Größe.
Rund 80 bis 90 Prozent als nutzbar anzusetzen lässt einen realistischen Spielraum; näher an den Nennwert zu gehen riskiert Out-of-Memory-Fehler unter Last.
Was passiert, wenn mehr GPUs hinzugefügt werden als das Modell braucht?
Zusätzliche Beschleuniger schaffen Speicherspielraum, der einen größeren Key-Value-Cache halten, eine höhere Batch-Größe unterstützen oder Raum für längere Kontexte lassen kann. Jenseits des Punktes, an dem der Speicher nicht mehr die Beschränkung ist, erhöhen weitere GPUs vor allem den Durchsatz statt der Passgenauigkeit, und der Kommunikations-Overhead durch das Sharding kann die Effizienz pro GPU mindern.
Die Mindestanzahl hier beantwortet nur die Frage der Passgenauigkeit; die Dimensionierung für Leistung ist eine separate Entscheidung.
Haftungsausschluss
Diese Schätzung deckt nur die Speicher-Passgenauigkeit ab und rundet auf ganze Beschleuniger auf. Sie dimensioniert nicht für Durchsatz, Latenz oder Interconnect, und der nutzbare Anteil variiert mit Framework, Kontextlänge und Batch-Größe. Vor der Bereitstellung gegen das tatsächliche Deployment prüfen.