Última actualización: 2026-06-22

Parámetros de LoRA

La adaptación de bajo rango, o LoRA, es la forma más común de ajustar un modelo de lenguaje grande con un presupuesto limitado. En lugar de actualizar todos los pesos, congela el modelo base y entrena un pequeño par de matrices de bajo rango junto a cada matriz de pesos adaptada. El resultado se comporta casi como un ajuste fino completo tocando una fracción mínima de los parámetros. Esta calculadora estima a cuántos parámetros equivale esa fracción, y cuánta memoria de optimizador necesita, a partir de la forma del modelo y el rango del adaptador.

Cómo reduce LoRA el conjunto entrenable

Una matriz de pesos de un transformer transforma un vector oculto en otro, así que para una capa cuadrada contiene unos $d \times d$ valores. Ajustarlos todos es costoso: el optimizador debe almacenar gradientes y estadísticas acumuladas para cada uno. LoRA sustituye esa actualización densa por el producto de dos matrices delgadas —una de forma $d \times r$ y otra de forma $r \times d$, donde el rango $r$ es mucho menor que $d$—. Los pesos base nunca se mueven; solo se entrenan estos dos factores, y en la inferencia su producto se vuelve a sumar a la matriz original.

Como cada matriz adaptada aporta $r \cdot (d_{\text{in}} + d_{\text{out}})$ valores entrenables —y $2 r d_{\text{model}}$ cuando las anchuras de entrada y salida son iguales—, el conjunto entrenable suele estar muy por debajo del uno por ciento del modelo completo. Eso es lo que hace que LoRA sea práctico en un único acelerador.

La fórmula

Con $L$ capas, $m$ módulos adaptados por capa, rango $r$ y tamaño oculto $d$, el número de parámetros entrenables es

Adam de precisión mixta mantiene aproximadamente dieciséis bytes de estado de optimizador y de pesos maestros por parámetro entrenable —la copia maestra de 32 bits, más las estimaciones del primer y del segundo momento—, así que la memoria de optimizador en megabytes es

Esto cuenta solo el estado del adaptador. El modelo base congelado sigue ocupando memoria para sus pesos, pero no necesita gradientes ni estado de optimizador, que es de donde proviene el ahorro.

Ejemplo resuelto

Tómese un modelo con 32 capas, que adapta las cuatro proyecciones de atención de cada capa, con rango 8 y un tamaño oculto de 4096:

Eso es alrededor de 8,39 millones de parámetros entrenables. El estado del optimizador es

Para un modelo base de siete mil millones de parámetros, esos 8,39 millones de adaptadores son aproximadamente una décima parte del uno por ciento del conjunto, y aun así bastan para especializar el modelo en muchas tareas posteriores.

Cómo elegir el rango y los módulos

El rango es el dial principal de capacidad. Los rangos de 4 a 8 son comunes para una adaptación ligera de tareas; de 16 a 64 dan más margen cuando la tarea objetivo está lejos del entrenamiento del modelo base. Duplicar el rango duplica tanto los parámetros entrenables como la memoria de optimizador, así que conviene subirlo solo cuando un rango menor infraajusta. El campo de módulos por capa refleja qué matrices reciben un adaptador: dos para consulta y valor solamente, cuatro para el bloque de atención completo, o más si se incluyen las matrices feed-forward.

Para comparar el adaptador con el tamaño del modelo completo, véase la Calculadora del número de parámetros de un transformer. Para dimensionar la memoria total de un entrenamiento incluyendo los pesos congelados y las activaciones, véase la Calculadora de VRAM para entrenar un LLM.