Zuletzt aktualisiert: 2026-06-22

Transformer-Parameterzahl

Die Größe eines großen Sprachmodells wird meist als einzelne Schlagzahl angegeben — sieben Milliarden, siebzig Milliarden —, doch diese Zahl ergibt sich vollständig aus einer Handvoll architektonischer Entscheidungen. Aus der Anzahl der Layer, der Hidden Size, der Feed-Forward-Expansion und dem Vokabular folgt die Gesamtparameterzahl aus einer kurzen Formel. Dieser Rechner wendet diese Formel an, um eine Schätzung erster Ordnung zu liefern — dieselbe Überschlagsrechnung, mit der man ein Modell dimensioniert, bevor ein einziges Gewicht existiert.

Wo die Parameter liegen

Fast jedes Gewicht in einem reinen Decoder-Transformer liegt an einer von drei Stellen. Die Attention-Sublayer jedes Blocks hält vier quadratische Gewichtsmatrizen — die Query-, Key-, Value- und Output-Projektionen — jeweils der Größe Hidden mal Hidden. Die Feed-Forward-Sublayer hält zwei Matrizen, die den Hidden-Strom auf eine breitere innere Dimension expandieren und wieder zurückprojizieren. Und getrennt vom Stapel der Layer speichert die Token-Embedding-Tabelle je Vokabulareintrag einen Vektor in Hidden-Size-Länge.

Das Zählen dieser Teile ergibt die Architekturschätzung. Der Attention-Block steuert etwa $4d^2$ Werte pro Layer bei, wobei $d$ die Hidden Size ist. Der Feed-Forward-Block, der auf eine innere Breite von $m \cdot d$ expandiert, steuert etwa $2 m d^2$ bei. Die Embedding-Tabelle steuert die Vokabulargröße $V$ mal $d$ bei.

Die Formel

Mit $L$ Layern, Hidden Size $d$, Feed-Forward-Faktor $m$ und Vokabulargröße $V$ ergibt sich die Gesamtparameterzahl als

Der erste Term fasst die Attention- und Feed-Forward-Gewichte pro Layer über alle Layer zusammen; der zweite ist die Embedding-Tabelle. Da der Term pro Layer mit dem Quadrat der Hidden Size skaliert, zählt die Breite des Modells weit mehr als die Tiefe: Eine Verdopplung der Hidden Size vervierfacht die Zahl ungefähr, während eine Verdopplung der Layer sie nur verdoppelt.

Rechenbeispiel

Nimm ein Modell mit 32 Layern, einer Hidden Size von 4096, einer Feed-Forward-Expansion von vier und einem Vokabular von 32.000 Tokens. Der Faktor pro Layer ist $4 + 2 \times 4 = 12$, also

Der Layer-Stapel macht fast alles davon aus; die Embedding-Tabelle fügt nur etwa 131 Millionen hinzu, etwas über zwei Prozent. Bei der gängigen Expansion von vier liegen rund zwei Drittel jedes Layers in den Feed-Forward-Gewichten und ein Drittel in der Attention.

Was die Schätzung weglässt

Dies ist eine Zählung erster Ordnung. Sie erfasst die Matrizen, die die Summe dominieren, lässt aber die kleinen Terme weg: Biases, die Skalierungs- und Verschiebungswerte der Layer-Normalisierung und etwaige gelernte Positions-Embeddings. Zusammen liegen diese typischerweise deutlich unter einem Prozent eines großen Modells, sodass sie die Schlagzahl nicht bewegen. Die Schätzung nimmt zudem an, dass das Eingabe-Embedding und die Ausgabeprojektion eine Matrix teilen — gebundene Embeddings —, sodass die Tabelle einmal gezählt wird; ein Modell mit ungebundenen Embeddings trägt diese Tabelle zweimal.

Sobald die Zahl bekannt ist, treibt sie die praktischen Fragen des Deployments. Der Speicher, der zum Halten der Gewichte nötig ist, hängt von der Zahl und der numerischen Präzision ab, untersucht im Modellgröße aus Quantisierung berechnen. Der zum Trainieren desselben Modells erforderliche Speicher, der Optimizer-Zustand und Aktivierungen über die Gewichte hinaus addiert, wird im VRAM-Rechner für LLM-Training behandelt.