Última atualização: 2026-06-22

Parâmetros LoRA

A Adaptação de Baixo Posto, ou LoRA, é a forma mais comum de fazer o fine-tune de um grande modelo de linguagem com orçamento limitado. Em vez de atualizar todos os pesos, ela congela o modelo base e treina um pequeno par de matrizes de baixo posto ao lado de cada matriz de pesos adaptada. O resultado se comporta quase como um fine-tune completo, mas tocando uma fração mínima dos parâmetros. Esta calculadora estima a quanto essa fração corresponde, e quanta memória de otimizador ela exige, a partir do formato do modelo e do rank do adaptador.

Como o LoRA reduz o conjunto treinável

Uma matriz de pesos de transformer mapeia um vetor oculto em outro, então, para uma camada quadrada, ela contém cerca de $d \times d$ valores. Fazer o fine-tune de todos eles é caro: o otimizador precisa armazenar gradientes e estatísticas correntes para cada um. O LoRA substitui essa atualização densa por um produto de duas matrizes estreitas — uma de formato $d \times r$ e outra de formato $r \times d$, onde o rank $r$ é muito menor que $d$. Os pesos base nunca se movem; apenas esses dois fatores são treinados, e na inferência o produto deles é somado de volta à matriz original.

Como cada matriz adaptada contribui com $r \cdot (d_{\text{in}} + d_{\text{out}})$ valores treináveis — e $2 r d_{\text{model}}$ quando as larguras de entrada e saída são iguais —, o conjunto treinável fica, em geral, bem abaixo de um por cento do modelo completo. É isso que torna o LoRA prático em um único acelerador.

A fórmula

Com $L$ camadas, $m$ módulos adaptados por camada, rank $r$ e tamanho oculto $d$, a contagem de parâmetros treináveis é

O Adam em precisão mista mantém cerca de dezesseis bytes de estado de otimizador e de pesos mestres por parâmetro treinável — a cópia mestre de 32 bits, mais as estimativas de primeiro e segundo momento —, então a memória de otimizador em megabytes é

Isso conta apenas o estado do adaptador. O modelo base congelado ainda ocupa memória para seus pesos, mas não precisa de gradientes nem de estado de otimizador, que é de onde vem a economia.

Exemplo resolvido

Tome um modelo com 32 camadas, adaptando as quatro projeções de atenção em cada camada, com rank 8 e um tamanho oculto de 4096:

Isso dá cerca de 8,39 milhões de parâmetros treináveis. O estado do otimizador é

Para um modelo base de sete bilhões de parâmetros, esses 8,39 milhões de adaptadores são cerca de um décimo de um por cento do todo — e ainda assim são suficientes para especializar o modelo para muitas tarefas posteriores.

Escolhendo o rank e os módulos

O rank é o principal botão de capacidade. Ranks de 4 a 8 são comuns para adaptações leves de tarefa; de 16 a 64 dão mais margem quando a tarefa-alvo está distante do treinamento do modelo base. Dobrar o rank dobra tanto os parâmetros treináveis quanto a memória de otimizador, então vale a pena aumentá-lo apenas quando um rank menor subajusta. A entrada de módulos por camada reflete quais matrizes recebem um adaptador: duas para apenas query e value, quatro para o bloco de atenção completo, ou mais se as matrizes feed-forward forem incluídas.

Para comparar o adaptador com o tamanho do modelo completo, veja a Calculadora de Número de Parâmetros do Transformer. Para dimensionar a memória total de uma execução de treinamento, incluindo os pesos congelados e as ativações, veja a Calculadora de VRAM para Treinamento de LLM.