Última actualización: 2026-06-22

Qué es el ahorro con la API por lotes

El ahorro con la API por lotes es la reducción de coste de enviar una carga de trabajo de un modelo de lenguaje a través del punto de acceso por lotes asíncrono de un proveedor en lugar del punto de acceso en tiempo real. Una interfaz de programación (API) por lotes acepta un conjunto de solicitudes y las procesa dentro de una ventana de finalización establecida en lugar de de inmediato, y como el proveedor puede programar el trabajo de manera flexible según su capacidad, factura ese rendimiento con un descuento plano. El ahorro es la diferencia entre el coste en tiempo real y el coste por lotes con descuento.

Cómo funciona

El coste en tiempo real combina los tokens de entrada y de salida a sus respectivas tarifas por millón. Con $n_{\text{in}}$ y $n_{\text{out}}$ tokens a los precios $p_{\text{in}}$ y $p_{\text{out}}$ por millón:

El descuento por lotes $d$ es una proporción plana que se elimina de ese coste completo, abarcando tanto la entrada como la salida:

Como el descuento es plano, el ahorro escala de forma directa con el tamaño de la carga de trabajo y con la tarifa de descuento.

Ejemplo resuelto

Tómese una carga de trabajo de 1 000 000 de tokens de entrada y 200 000 de salida, a un precio de $3 por millón de entrada y $15 por millón de salida, con un descuento por lotes del 50 %. El coste en tiempo real es:

El coste por lotes es la mitad de eso:

de modo que el ahorro es \6 - $3 = $3undefined3 cada una, porque el mayor precio de salida compensa el menor volumen de salida.

Variaciones

El descuento se aplica de manera uniforme, de modo que el ahorro en dólares crece en proporción a la factura: una carga de trabajo diez veces mayor ahorra diez veces más con el mismo descuento. Como la salida se factura más cara que la entrada, los lotes con muchas respuestas conllevan un ahorro absoluto mayor para el mismo número de tokens. La restricción clave es la latencia. El procesamiento por lotes es asíncrono (los resultados llegan dentro de la ventana de finalización del proveedor, no de forma síncrona), de modo que conviene al trabajo que no necesita una respuesta inmediata: clasificación masiva, resumen, ejecuciones de evaluación o generación de contenido sin conexión. Las solicitudes interactivas, de cara al usuario, no encajan.

Aplicación

El ahorro por lotes es una palanca de rendimiento sin conexión, aplicada una vez conocido el volumen de tokens de una carga de trabajo. Tanto el coste en tiempo real como el coste por lotes alimentan las estimaciones más amplias de Calculadora de coste de tokens y Calculadora de coste mensual de LLM. El procesamiento por lotes y la caché son descuentos independientes que pueden acumularse en el mismo trabajo; para el descuento de entrada por prefijos repetidos véase Calculadora de ahorro por caché de mensajes, y para leer una tarifa por millón como tokens por unidad de gasto véase Calculadora de tokens por unidad monetaria.