Última actualización: 2026-06-22

Qué es un token

Un token es la unidad de texto que un modelo de lenguaje lee y genera. Un tokenizador segmenta el texto sin procesar en entradas de un vocabulario fijo, donde cada entrada suele ser un fragmento corto: una palabra común completa, la raíz de una palabra, un sufijo, un signo de puntuación o unos pocos caracteres de una palabra poco frecuente. Los modelos facturan y acotan el uso en tokens en lugar de en palabras o caracteres, de modo que convertir entre tokens y los recuentos más familiares de palabras y caracteres requiere las proporciones medias que produce un tokenizador.

Proporciones de conversión

Para la prosa en inglés se usan habitualmente dos promedios empíricos. Las palabras se asignan a tokens a razón de unos 1.33 tokens por palabra, equivalente a unas 0.75 palabras por token. Los caracteres se asignan a razón de unos 4 caracteres por token. Dado un número de tokens $n$, una proporción de tokens por palabra $r_w$ y una proporción de caracteres por token $r_c$:

El recuento de palabras divide por la proporción porque más tokens por palabra significa menos palabras para el mismo presupuesto de tokens; el recuento de caracteres multiplica porque cada token contiene un número de caracteres aproximadamente fijo.

Ejemplo resuelto

Tómese n = 1000 tokens de texto en inglés corriente con las proporciones predeterminadas $r_w = 1.33$ y $r_c = 4$:

Así, un pasaje de 1000 tokens equivale aproximadamente a 752 palabras y 4000 caracteres, unos pocos párrafos de prosa, del orden de una página y media de texto a doble espacio. Las cifras son estimaciones: la segmentación real de cualquier pasaje concreto diferirá del promedio, y el recuento de palabras se redondea a la palabra entera más cercana.

Variaciones

Las proporciones no son constantes universales. Se desplazan con tres factores:

• Idioma. Las escrituras que el tokenizador representa con menos eficiencia (muchas escrituras no latinas, o las lenguas con morfología rica) producen más tokens por palabra, lo que reduce la cifra de palabras por token.
• Tipo de contenido. El código fuente, las tablas, la notación matemática y el texto denso en números o símbolos poco frecuentes se fragmentan en más tokens que la prosa corriente, lo que eleva $r_w$ y reduce $r_c$.
• Tokenizador. Cada familia de modelos usa su propio vocabulario, de modo que el mismo texto produce recuentos de tokens distintos entre modelos. Las proporciones aquí son promedios para el inglés; un recuento exacto requiere pasar el texto por el tokenizador del modelo de destino.

Aplicación

La conversión de tokens a palabras se usa sobre todo para traducir entre un entregable escrito y el presupuesto de tokens que consume. Una longitud objetivo en palabras puede convertirse en un número aproximado de tokens para comprobarla frente a los límites de un modelo con Calculadora de ajuste a la ventana de contexto, o para estimar el gasto con Calculadora de coste de tokens. Como las proporciones son promedios, conviene tratar el resultado como una estimación de planificación en lugar de una medición precisa, y reservar margen cuando la cifra se sitúe cerca de un límite estricto.