Última actualización: 2026-06-22

La VRAM para inferencia de LLM

Servir un modelo de lenguaje grande empieza por una pregunta directa: ¿cabrá en la GPU? La respuesta la dominan los pesos del modelo, pero los pesos por sí solos subestiman la necesidad, porque un servidor de inferencia también tiene que mantener la caché KV, las activaciones que recorren cada capa y algo de memoria perdida por la fragmentación. Esta calculadora estima la VRAM total a partir de tres datos: el número de parámetros, la precisión en la que se almacenan los pesos y una sobrecarga en tiempo de ejecución que reúne el resto en una cifra ajustable.

Los pesos fijan el mínimo

Los pesos de un modelo son su mayor coste fijo en memoria. Cada parámetro se almacena en una precisión elegida: los pesos completos de 16 bits ocupan dos bytes cada uno, la cuantización de 8 bits ocupa un byte y la de 4 bits ocupa medio byte. Así, un número de parámetros $N$ en miles de millones, almacenado a $b$ bits, ocupa

Mil millones de parámetros de 16 bits son exactamente 2 GB, que es por lo que un modelo de 7B necesita 14 GB solo para sus pesos. Dividir el número de bits entre ocho convierte bits a bytes y, como los parámetros se cuentan en miles de millones y la memoria en gigabytes, las unidades encajan directamente.

Añadir la sobrecarga en ejecución

Los pesos son solo el mínimo. Durante la inferencia, el servidor mantiene una caché KV con las claves y valores de atención de cada token en proceso, reserva activaciones a medida que cada solicitud pasa por las capas y pierde algo de memoria por la fragmentación. El total es

donde $o$ es la sobrecarga expresada como fracción del tamaño de los pesos. La caché KV es el componente más grande y variable —crece con la longitud del contexto y con el número de solicitudes concurrentes—, de modo que la sobrecarga adecuada depende mucho de la carga de trabajo. El 20 por ciento es un punto de partida razonable para prompts cortos con lotes modestos; el servicio de contextos largos y alta concurrencia puede elevarlo bastante más.

Ejemplo resuelto

Tómese un modelo de 7 mil millones de parámetros servido en precisión de 16 bits con un 20 por ciento de sobrecarga:

El total de 16,8 GB cabe con holgura en una tarjeta de 24 GB, pero no deja margen en una de 16 GB. Para ejecutar el mismo modelo en una GPU más pequeña, bajar a 8 bits reduciría los pesos a la mitad, hasta 7 GB, y acercaría el total a 8,4 GB. La relación entre el tamaño del modelo y la precisión se explora con más detalle en la Calculadora de tamaño de modelo según la cuantización.

Hacer que un modelo quepa

Como la memoria escala de forma directa con los bits por peso, la cuantización es la palanca más directa: de 16 a 8 bits reduce a la mitad la memoria de los pesos, y de 8 a 4 bits la reduce de nuevo a la mitad, por lo general con una pérdida de calidad de salida modesta y aceptable. Cuando incluso un modelo cuantizado supera la capacidad de un solo acelerador, las alternativas son repartir los pesos entre varias GPU o descargar parte del modelo a la memoria del sistema con un fuerte coste de velocidad. Estimar cuántos aceleradores necesita un modelo se trata en la Calculadora de número de GPU para un modelo. Conviene tratar la cifra de aquí como una estimación de planificación y confirmarla frente a una ejecución real de servicio, ya que el framework, la longitud del contexto y el tamaño del lote mueven el número verdadero.