Token: definición, funcionamiento y límites en modelos de lenguaje
01

Definición en una frase

Unidad en la que un modelo divide una entrada o salida para procesarla y, a menudo, contabilizar contexto y uso.

02

Definición y conceptos que no deben confundirse

Un token es la unidad básica de información textual que un modelo de lenguaje (LLM) utiliza para procesar y generar contenido. No es necesariamente una palabra entera: según el tokenizador, puede ser una palabra, una parte de ella, un signo de puntuación o una combinación de caracteres. El modelo recibe el texto como una secuencia de estas unidades, representadas mediante identificadores numéricos.

Conviene distinguir el token de IA de otros conceptos que comparten el mismo nombre. En seguridad informática, un token puede ser una credencial de autenticación; en blockchain, puede representar un activo digital. En un modelo de lenguaje, el token es una unidad de procesamiento, no una medida directa de significado, calidad o esfuerzo humano. Tampoco equivale necesariamente a un carácter o una palabra: la relación depende del texto y del tokenizador.

Token, palabra y carácter

Estas unidades describen aspectos distintos del texto. La forma concreta en que un tokenizador divide una palabra puede variar entre modelos.

UnidadQué representaEjemplo orientativo
CarácterLetra, número o signo individualLas letras de «casa»
PalabraUnidad lingüística separada en la escritura habitual«casa»
TokenFragmento definido por el tokenizador del modelo«casa» podría ser un token o dividirse en fragmentos
03

Cómo funciona la tokenización

La tokenización transforma el texto en fragmentos que el modelo puede procesar. Primero, un tokenizador divide la entrada según reglas asociadas al modelo. Después, cada fragmento se vincula a un identificador (ID) del vocabulario correspondiente. El modelo usa esos identificadores en sus cálculos; las representaciones numéricas internas, como los embeddings, participan en el procesamiento de la secuencia.

Entre los métodos de subpalabras figuran Byte Pair Encoding (BPE) y WordPiece. Estos métodos permiten representar palabras frecuentes como unidades completas y dividir otras menos habituales en fragmentos reutilizables. Así, una palabra nueva o un error tipográfico no tiene por qué quedar fuera del vocabulario: el tokenizador puede representarlos con unidades disponibles. La secuencia concreta depende del tokenizador; dos modelos pueden dividir de manera distinta el mismo texto.

Del texto a la generación

El flujo simplificado muestra qué hace cada componente. Los detalles de implementación varían según el modelo.

  1. 01El tokenizador divide el texto en unidades según sus reglas.
  2. 02Cada unidad se convierte en un ID del vocabulario del modelo.
  3. 03El modelo procesa la secuencia de IDs mediante sus representaciones internas.
  4. 04Durante la generación, el modelo calcula una distribución de probabilidades para el siguiente token.
  5. 05El proceso de generación continúa añadiendo tokens hasta que termina la respuesta o se alcanza un límite configurado.
04

Ejemplos en idiomas, código y conversaciones

La cantidad de tokens no se deduce contando palabras o caracteres. Depende del idioma, la escritura, el vocabulario del tokenizador y el contenido. Por eso, una regla aproximada de caracteres por token puede servir para orientarse, pero no sustituye el recuento hecho con el tokenizador del modelo que se vaya a utilizar.

En comparaciones entre idiomas, una frase traducida puede producir recuentos distintos. Algunos tokenizadores representan ciertos textos en inglés con menos unidades que su equivalente en otros idiomas, pero no existe un porcentaje universal aplicable a todos los modelos y frases. En código también influyen la sintaxis, los espacios y los signos. Un bloque de código puede requerir más tokens que un texto de longitud visual similar; el recuento exacto debe medirse con el sistema correspondiente.

Qué cambia entre situaciones

El texto visible no basta para calcular el consumo. El contador del modelo ofrece una medida más fiable para cada caso.

SituaciónQué puede alterar el recuentoComprobación práctica
Texto en distintos idiomasPalabras, tildes y secuencias de caracteres que el vocabulario representa de manera diferenteContar cada versión con el tokenizador del modelo elegido
Código fuenteNombres, operadores, sangría y estructura del lenguaje de programaciónMedir el bloque de código real que se enviará
Conversación largaInstrucciones y mensajes previos que la aplicación vuelve a incluirRevisar qué historial se envía en cada solicitud
05

Ventana de contexto, costo y rendimiento

La ventana de contexto establece cuántos tokens puede procesar un modelo en una interacción, de acuerdo con los límites de ese modelo y del servicio. El presupuesto puede incluir instrucciones, mensajes, documentos u otros datos de entrada, además del espacio reservado para generar la respuesta. Algunas aplicaciones recortan o resumen contenido cuando se supera un límite; otras pueden rechazar la solicitud. El comportamiento concreto depende de su implementación.

Algunos servicios calculan el precio según los tokens de entrada y salida, y pueden aplicar tarifas distintas a cada categoría. El volumen enviado, la longitud de las respuestas y las condiciones del proveedor determinan el costo; el recuento de tokens no basta para calcularlo sin conocer las tarifas aplicables. Generar una respuesta token por token también puede influir en el tiempo de generación, pero el número de tokens, por sí solo, no permite comparar la velocidad de modelos distintos.

Revisar el presupuesto de una solicitud

Este proceso ayuda a identificar qué ocupa contexto y qué se factura, cuando el servicio cobra por tokens.

  1. 01Identificar el modelo y sus límites de entrada y salida.
  2. 02Reunir las instrucciones, el mensaje actual y los documentos que la aplicación enviará.
  3. 03Comprobar si el historial anterior se vuelve a incluir y qué parte se conserva.
  4. 04Contar la entrada y estimar la salida con las herramientas compatibles con el modelo.
  5. 05Aplicar las tarifas vigentes del servicio y revisar el uso registrado después de la solicitud.
06

Errores frecuentes y criterios prácticos

Un error habitual es asumir que una palabra equivale a un token. Esa aproximación puede distorsionar el presupuesto, sobre todo en textos técnicos, nombres poco comunes o idiomas distintos del usado para establecer la estimación. Los espacios y signos también forman parte del texto que procesa el tokenizador; por eso, la longitud visual no es una medida fiable del recuento.

Otro error es tratar la ventana de contexto como memoria permanente o suponer que reducir tokens mejora automáticamente una respuesta. Acortar instrucciones o historial puede ahorrar uso en ciertos sistemas, pero también puede eliminar información necesaria. Antes de reducir contexto, conviene comprobar que la tarea sigue recibiendo los datos relevantes y que el resultado cumple los criterios de evaluación previstos.

Decisiones de uso y evaluación

El recuento sirve para gestionar límites y, cuando corresponde, costos. No sustituye la evaluación de la utilidad o la calidad de la respuesta.

DecisiónComprobación útilLímite de la conclusión
Estimar el consumoUsar el contador del tokenizador del modelo seleccionadoUna regla general no predice con exactitud otros modelos o textos
Reducir historialComparar qué información se conserva y qué se eliminaMenos tokens no garantiza una respuesta mejor
Comparar costosRevisar recuentos y tarifas actuales de entrada y salidaEl número de tokens por sí solo no determina el costo total
Evaluar una respuestaMedir la calidad con criterios propios de la tareaEl consumo de tokens no mide precisión ni valor de manera directa
07

Métodos, usos y preguntas frecuentes

Un tokenizador es el componente que divide el texto y asigna a sus unidades identificadores del vocabulario. BPE y WordPiece son métodos de subpalabras; no son nombres intercambiables para todos los tokenizadores ni implican que dos sistemas produzcan la misma segmentación. Los vocabularios y reglas dependen del modelo y de su configuración.

La tokenización también se usa fuera de la generación de texto. En búsqueda y procesamiento lingüístico, un sistema puede dividir documentos en unidades para indexarlos o analizarlos; en esos casos, la tokenización y los filtros posteriores no necesariamente coinciden con los del tokenizador de un LLM. También existen usos de «token» en autenticación y blockchain, que describen conceptos distintos. Para una tarea concreta, la referencia adecuada es el método y el contador del sistema que realmente se utilizará.

Preguntas rápidas

Estas respuestas resumen las distinciones esenciales sin asumir que todos los proveedores aplican las mismas reglas comerciales o técnicas.

PreguntaRespuesta
¿Un token siempre es una palabra?No. Puede ser una palabra, una parte de ella u otro fragmento definido por el tokenizador.
¿Todos los modelos cuentan igual?No necesariamente. El resultado depende del tokenizador y del texto.
¿Un token equivale a una unidad de calidad?No. El recuento describe segmentación y uso, no la exactitud o utilidad de la respuesta.
¿Todos los servicios cobran por token?No. Las condiciones dependen del producto; algunos servicios usan cuotas u otros límites.
08

Ejemplos rápidos

09

Conceptos relacionados

Fuentes consultadas