Calculadora de Custo de Ajuste Fino
Entradas
| Tamanho do conjunto de dados | 10 |
|---|---|
| Épocas | 3 |
| Preço por milhão de tokens | 8 $ |
Calculadora de Custo de Ajuste Fino
Estime o custo de um trabalho gerenciado de ajuste fino de LLM a partir do tamanho do conjunto de dados em milhões de tokens, do número de épocas e do preço do provedor por milhão de tokens de treinamento.
Entradas
Trabalho de ajuste fino
Resultados
Insira um valor para ver os resultados.
Detalhes
Custo de ajuste fino
As APIs gerenciadas de ajuste fino cobram pelo trabalho realizado, que é simplesmente o número de tokens de treinamento que o modelo lê. Como esse número é o tamanho do conjunto de dados multiplicado pelo número de passagens sobre ele, o custo de um trabalho de ajuste fino pode ser previsto antes de o trabalho começar. Esta calculadora o estima a partir do tamanho do conjunto de dados em milhões de tokens, do número de épocas e do preço do provedor por milhão de tokens de treinamento.
Como o ajuste fino é cobrado
Em vez de expor o hardware subjacente, um serviço gerenciado de ajuste fino cobra pelos tokens processados durante o treinamento. Uma época lê cada token do conjunto de dados uma vez; rodar várias épocas lê todo o conjunto de dados esse número de vezes. O total de tokens cobrados é, portanto, o tamanho do conjunto de dados vezes a contagem de épocas, e a conta é esse total vezes a taxa por token que o provedor cobra. Isso torna o custo previsível só pelo conjunto de dados, sem conhecer o tipo de GPU, o tamanho do lote ou a duração do trabalho.
A fórmula
Com um conjunto de dados de milhões de tokens, épocas e um preço por milhão de tokens, o total de tokens processados e o custo total são
MC=D⋅e=M⋅pTanto o tamanho do conjunto de dados quanto o preço são expressos por milhão de tokens, porque essa é a unidade que a maioria dos provedores cobra. O custo é linear em cada entrada: dobrar o conjunto de dados, dobrar as épocas ou dobrar a taxa cada um dobra a conta.
Exemplo resolvido
Tome um conjunto de dados de 10 milhões de tokens treinado por 3 épocas a uma taxa de R$ 8,00 por milhão de tokens:
MC=10×3=30 milho˜es de tokens=30×8.00=240.00O trabalho processa 30 milhões de tokens e custa R$ 240. Reduzir para duas épocas processaria 20 milhões de tokens e custaria R$ 160, enquanto manter três épocas, mas usar um modelo com taxa de R$ 4,00, reduziria a conta pela metade, para R$ 120. Como a contagem de tokens é a mesma entre as faixas de preço, a escolha do modelo base e do método de treinamento aparece inteiramente na taxa por milhão.
Limites
A estimativa conta apenas os tokens de treinamento do conjunto de dados ao longo das épocas escolhidas. Exclui os tokens de validação, caso o provedor os cobre à parte, o custo de preparar e limpar os dados e qualquer cobrança para hospedar o modelo resultante. O ajuste fino completo, que atualiza todos os pesos, costuma ser precificado acima dos métodos de adaptador, como a adaptação de baixo posto, de modo que a taxa informada deve corresponder ao método de fato escolhido. Para trabalhos rodados em hardware alugado em vez de uma API gerenciada, a conta segue as horas de GPU em vez dos tokens. A economia por token de usar o modelo resultante é coberta na Calculadora de Custo por Token, e o lado de aluguel do treinamento autogerenciado na Calculadora de Custo de GPU na Nuvem.
Perguntas frequentes (FAQ)
O que determina o custo de um trabalho de ajuste fino?
A conta é o número de tokens processados vezes o preço por milhão, e os tokens processados são o tamanho do conjunto de dados multiplicado pelo número de épocas. Conjuntos de dados maiores e mais passagens elevam a contagem de forma linear.
A taxa por token depende do modelo base — modelos maiores custam mais por token — e do método de treinamento, já que o ajuste fino completo, que atualiza todos os pesos, costuma ser precificado acima dos métodos de adaptador, que treinam uma pequena fração dos parâmetros. Os tokens de validação, se cobrados, somam ao total.
Por que o ajuste fino é precificado por token e não por hora?
As APIs gerenciadas de ajuste fino ocultam o hardware e cobram pelo trabalho realizado, que é proporcional aos tokens que o modelo lê durante o treinamento. A precificação por token torna o custo previsível só pelo conjunto de dados, sem necessidade de conhecer o tipo de GPU, o tamanho do lote ou o tempo de relógio.
Quando o trabalho roda em hardware alugado, a conta segue as horas de GPU em vez dos tokens, e os valores relevantes são o tamanho do cluster e a duração da execução.
O ajuste fino completo é mais caro que os métodos de adaptador?
Geralmente sim. O ajuste fino completo atualiza todos os parâmetros e exige armazenar o estado do otimizador para todos eles, de modo que os provedores o precificam mais alto por token do que os métodos eficientes em parâmetros, como os adaptadores de baixo posto, que treinam um pequeno conjunto adicional de pesos e congelam o restante. Os métodos de adaptador também produzem artefatos muito menores para hospedar.
A contagem de tokens processados é a mesma para um dado conjunto de dados e orçamento de épocas, de modo que a diferença aparece inteiramente na taxa por milhão de tokens informada aqui.
Aviso legal
Esta estimativa supõe a cobrança por token do conjunto de dados ao longo do número de épocas escolhido e exclui tokens de validação, preparação de dados e hospedagem do modelo resultante, salvo se esses itens estiverem embutidos na taxa por milhão. A precificação e a contagem de tokens dos provedores variam; confirme as taxas com o provedor antes de orçar.