Última actualización: 2026-06-22

Número de GPU para un modelo

Un modelo de lenguaje grande tiene que caber dentro de la memoria del acelerador antes de poder servir un solo token. Cuando el modelo es mayor que una GPU, se reparte entre varias, y la primera pregunta de planificación es sencillamente cuántos dispositivos hacen falta. Esta calculadora lo responde a partir de tres números: la VRAM total que necesita el modelo, la memoria de cada GPU y la fracción de esa memoria que un despliegue real puede aprovechar de verdad.

Por qué un modelo abarca varias GPU

Un acelerador moderno lleva una cantidad fija de memoria de alto ancho de banda: 80 GB en una H100, 141 GB en una H200. Un modelo cuyos pesos y búferes de ejecución superan esa cifra no cabe en un solo dispositivo, así que se reparte. El paralelismo de tensores es el método habitual: cada capa se divide entre el grupo, cada GPU guarda una porción de los pesos y los resultados parciales se cosen con un paso de comunicación colectiva en cada capa. El grupo se comporta entonces como un único dispositivo mayor. El número que produce esta calculadora describe ese único grupo fuertemente acoplado, no un conjunto de réplicas independientes.

La memoria aprovechable está por debajo de la nominal

Una GPU nunca entrega al modelo toda su memoria anunciada. El contexto CUDA, el asignador con caché del framework, los tensores de activación y la fragmentación entre asignaciones se llevan una parte, y durante el servicio la caché clave-valor crece con la longitud de contexto y el tamaño de lote. Tratar aproximadamente el 80 a 90 por ciento de la cifra nominal como aprovechable deja un margen realista; acercarse a la cifra completa invita a fallos por falta de memoria bajo carga.

La fórmula

Con un requisito del modelo de $M$ gigabytes, una memoria por GPU de $g$ gigabytes y una fracción aprovechable $f$, el número de dispositivos y la memoria total son

donde $n$ es el número de GPU y $T$ su memoria nominal combinada. El techo redondea hacia arriba porque un modelo no puede ejecutarse en un acelerador fraccionario.

Ejemplo resuelto

Tomemos un modelo que necesita 140 GB de VRAM en GPU de 80 GB cada una, con el 90 por ciento de la memoria aprovechable:

Dos GPU bastan, con 160 GB de memoria nominal frente a un requisito de 140 GB: un margen cómodo para la caché clave-valor. Un modelo de 350 GB en el mismo hardware necesita $\lceil 350 / 72 \rceil = 5$ GPU.

Más allá del mínimo

El número de aquí responde solo a la cuestión del ajuste. Añadir aceleradores más allá de ese punto compra margen de memoria —una caché clave-valor mayor, un tamaño de lote más alto, espacio para contextos más largos— y eleva el rendimiento en lugar de cambiar si el modelo cabe, mientras que la sobrecarga de comunicación del reparto erosiona poco a poco la eficiencia por GPU. Dimensionar para el rendimiento es un ejercicio aparte. Para estimar el requisito de memoria subyacente que alimenta la entrada $M$, véase la Calculadora de VRAM para inferencia de LLM, y para convertir un número de dispositivos en un coste de ejecución, la Calculadora de coste de GPU en la nube.