
Definición en una frase
Unidad en la que un modelo divide una entrada o salida para procesarla y, a menudo, contabilizar contexto y uso.
Definición y conceptos que no deben confundirse
Un token es la unidad básica de información textual que un modelo de lenguaje (LLM) utiliza para procesar y generar contenido. No es necesariamente una palabra entera: según el tokenizador, puede ser una palabra, una parte de ella, un signo de puntuación o una combinación de caracteres. El modelo recibe el texto como una secuencia de estas unidades, representadas mediante identificadores numéricos.
Conviene distinguir el token de IA de otros conceptos que comparten el mismo nombre. En seguridad informática, un token puede ser una credencial de autenticación; en blockchain, puede representar un activo digital. En un modelo de lenguaje, el token es una unidad de procesamiento, no una medida directa de significado, calidad o esfuerzo humano. Tampoco equivale necesariamente a un carácter o una palabra: la relación depende del texto y del tokenizador.
Token, palabra y carácter
Estas unidades describen aspectos distintos del texto. La forma concreta en que un tokenizador divide una palabra puede variar entre modelos.
| Unidad | Qué representa | Ejemplo orientativo |
|---|---|---|
| Carácter | Letra, número o signo individual | Las letras de «casa» |
| Palabra | Unidad lingüística separada en la escritura habitual | «casa» |
| Token | Fragmento definido por el tokenizador del modelo | «casa» podría ser un token o dividirse en fragmentos |
Cómo funciona la tokenización
La tokenización transforma el texto en fragmentos que el modelo puede procesar. Primero, un tokenizador divide la entrada según reglas asociadas al modelo. Después, cada fragmento se vincula a un identificador (ID) del vocabulario correspondiente. El modelo usa esos identificadores en sus cálculos; las representaciones numéricas internas, como los embeddings, participan en el procesamiento de la secuencia.
Entre los métodos de subpalabras figuran Byte Pair Encoding (BPE) y WordPiece. Estos métodos permiten representar palabras frecuentes como unidades completas y dividir otras menos habituales en fragmentos reutilizables. Así, una palabra nueva o un error tipográfico no tiene por qué quedar fuera del vocabulario: el tokenizador puede representarlos con unidades disponibles. La secuencia concreta depende del tokenizador; dos modelos pueden dividir de manera distinta el mismo texto.
Del texto a la generación
El flujo simplificado muestra qué hace cada componente. Los detalles de implementación varían según el modelo.
- 01El tokenizador divide el texto en unidades según sus reglas.
- 02Cada unidad se convierte en un ID del vocabulario del modelo.
- 03El modelo procesa la secuencia de IDs mediante sus representaciones internas.
- 04Durante la generación, el modelo calcula una distribución de probabilidades para el siguiente token.
- 05El proceso de generación continúa añadiendo tokens hasta que termina la respuesta o se alcanza un límite configurado.
Ejemplos en idiomas, código y conversaciones
La cantidad de tokens no se deduce contando palabras o caracteres. Depende del idioma, la escritura, el vocabulario del tokenizador y el contenido. Por eso, una regla aproximada de caracteres por token puede servir para orientarse, pero no sustituye el recuento hecho con el tokenizador del modelo que se vaya a utilizar.
En comparaciones entre idiomas, una frase traducida puede producir recuentos distintos. Algunos tokenizadores representan ciertos textos en inglés con menos unidades que su equivalente en otros idiomas, pero no existe un porcentaje universal aplicable a todos los modelos y frases. En código también influyen la sintaxis, los espacios y los signos. Un bloque de código puede requerir más tokens que un texto de longitud visual similar; el recuento exacto debe medirse con el sistema correspondiente.
Qué cambia entre situaciones
El texto visible no basta para calcular el consumo. El contador del modelo ofrece una medida más fiable para cada caso.
| Situación | Qué puede alterar el recuento | Comprobación práctica |
|---|---|---|
| Texto en distintos idiomas | Palabras, tildes y secuencias de caracteres que el vocabulario representa de manera diferente | Contar cada versión con el tokenizador del modelo elegido |
| Código fuente | Nombres, operadores, sangría y estructura del lenguaje de programación | Medir el bloque de código real que se enviará |
| Conversación larga | Instrucciones y mensajes previos que la aplicación vuelve a incluir | Revisar qué historial se envía en cada solicitud |
Ventana de contexto, costo y rendimiento
La ventana de contexto establece cuántos tokens puede procesar un modelo en una interacción, de acuerdo con los límites de ese modelo y del servicio. El presupuesto puede incluir instrucciones, mensajes, documentos u otros datos de entrada, además del espacio reservado para generar la respuesta. Algunas aplicaciones recortan o resumen contenido cuando se supera un límite; otras pueden rechazar la solicitud. El comportamiento concreto depende de su implementación.
Algunos servicios calculan el precio según los tokens de entrada y salida, y pueden aplicar tarifas distintas a cada categoría. El volumen enviado, la longitud de las respuestas y las condiciones del proveedor determinan el costo; el recuento de tokens no basta para calcularlo sin conocer las tarifas aplicables. Generar una respuesta token por token también puede influir en el tiempo de generación, pero el número de tokens, por sí solo, no permite comparar la velocidad de modelos distintos.
Revisar el presupuesto de una solicitud
Este proceso ayuda a identificar qué ocupa contexto y qué se factura, cuando el servicio cobra por tokens.
- 01Identificar el modelo y sus límites de entrada y salida.
- 02Reunir las instrucciones, el mensaje actual y los documentos que la aplicación enviará.
- 03Comprobar si el historial anterior se vuelve a incluir y qué parte se conserva.
- 04Contar la entrada y estimar la salida con las herramientas compatibles con el modelo.
- 05Aplicar las tarifas vigentes del servicio y revisar el uso registrado después de la solicitud.
Errores frecuentes y criterios prácticos
Un error habitual es asumir que una palabra equivale a un token. Esa aproximación puede distorsionar el presupuesto, sobre todo en textos técnicos, nombres poco comunes o idiomas distintos del usado para establecer la estimación. Los espacios y signos también forman parte del texto que procesa el tokenizador; por eso, la longitud visual no es una medida fiable del recuento.
Otro error es tratar la ventana de contexto como memoria permanente o suponer que reducir tokens mejora automáticamente una respuesta. Acortar instrucciones o historial puede ahorrar uso en ciertos sistemas, pero también puede eliminar información necesaria. Antes de reducir contexto, conviene comprobar que la tarea sigue recibiendo los datos relevantes y que el resultado cumple los criterios de evaluación previstos.
Decisiones de uso y evaluación
El recuento sirve para gestionar límites y, cuando corresponde, costos. No sustituye la evaluación de la utilidad o la calidad de la respuesta.
| Decisión | Comprobación útil | Límite de la conclusión |
|---|---|---|
| Estimar el consumo | Usar el contador del tokenizador del modelo seleccionado | Una regla general no predice con exactitud otros modelos o textos |
| Reducir historial | Comparar qué información se conserva y qué se elimina | Menos tokens no garantiza una respuesta mejor |
| Comparar costos | Revisar recuentos y tarifas actuales de entrada y salida | El número de tokens por sí solo no determina el costo total |
| Evaluar una respuesta | Medir la calidad con criterios propios de la tarea | El consumo de tokens no mide precisión ni valor de manera directa |
Métodos, usos y preguntas frecuentes
Un tokenizador es el componente que divide el texto y asigna a sus unidades identificadores del vocabulario. BPE y WordPiece son métodos de subpalabras; no son nombres intercambiables para todos los tokenizadores ni implican que dos sistemas produzcan la misma segmentación. Los vocabularios y reglas dependen del modelo y de su configuración.
La tokenización también se usa fuera de la generación de texto. En búsqueda y procesamiento lingüístico, un sistema puede dividir documentos en unidades para indexarlos o analizarlos; en esos casos, la tokenización y los filtros posteriores no necesariamente coinciden con los del tokenizador de un LLM. También existen usos de «token» en autenticación y blockchain, que describen conceptos distintos. Para una tarea concreta, la referencia adecuada es el método y el contador del sistema que realmente se utilizará.
Preguntas rápidas
Estas respuestas resumen las distinciones esenciales sin asumir que todos los proveedores aplican las mismas reglas comerciales o técnicas.
| Pregunta | Respuesta |
|---|---|
| ¿Un token siempre es una palabra? | No. Puede ser una palabra, una parte de ella u otro fragmento definido por el tokenizador. |
| ¿Todos los modelos cuentan igual? | No necesariamente. El resultado depende del tokenizador y del texto. |
| ¿Un token equivale a una unidad de calidad? | No. El recuento describe segmentación y uso, no la exactitud o utilidad de la respuesta. |
| ¿Todos los servicios cobran por token? | No. Las condiciones dependen del producto; algunos servicios usan cuotas u otros límites. |