Token : définition, fonctionnement et limites dans les modèles de langage

Définition et concepts à ne pas confondre

Un token est l'unité fondamentale d'information textuelle qu'un grand modèle de langage (LLM) utilise pour traiter, interpréter et générer du contenu. Contrairement à la perception humaine, qui opère sur des mots ou des lettres, le modèle travaille sur une séquence de fragments numériques. Un token peut être un mot complet (comme « maison »), un sous-mot (comme « inter » dans « international »), un signe de ponctuation, un espace blanc ou même un émoji.

Il est essentiel de distinguer le token d'IA d'autres concepts homonymes. Dans le domaine de la sécurité informatique, un token est une credential d'authentification ; dans la blockchain, c'est un actif numérique. Dans le contexte des LLM, le token est strictement une métrique de traitement et de syntaxe. De plus, il ne doit pas être confondu avec le caractère (unité d'écriture) ni avec le mot (unité linguistique), car la relation entre eux n'est pas fixe et dépend de l'algorithme de tokenisation et de la langue.

Fonctionnement étape par étape

Le processus de tokenisation convertit le texte non structuré en une séquence d'identifiants numériques que le modèle peut manipuler mathématiquement. Ce processus a lieu avant que le modèle n'analyse le sens sémantique. D'abord, le texte est découpé en fragments selon les règles du tokeniseur. Ensuite, chaque fragment est mappé à un identifiant unique (ID) dans le vocabulaire du modèle. Enfin, ces IDs sont transformés en vecteurs de haute dimension (embeddings), qui représentent les relations sémantiques entre les tokens.

La plupart des modèles modernes, comme ceux de la famille GPT, utilisent des algorithmes de sous-mots comme le Byte Pair Encoding (BPE) ou WordPiece. Ces algorithmes apprennent pendant l'entraînement à fusionner les caractères ou les tokens les plus fréquents en unités plus grandes. Cela permet de gérer les mots inconnus ou les fautes de frappe en les divisant en sous-unités connues, évitant ainsi le problème des mots hors vocabulaire (OOV). La génération de sortie est itérative : le modèle prédit le prochain token le plus probable sur la base des précédents, ce qui explique pourquoi les réponses s'écrivent en temps réel.

Trois exemples développés dans des domaines pertinents

Le comportement des tokens varie considérablement selon la langue et le type de contenu. Voici trois scénarios illustrant comment la tokenisation affecte les performances et le coût.

Premièrement, considérons la différence linguistique entre l'anglais et l'espagnol. Étant donné que les premiers modèles ont été entraînés majoritairement sur du texte en anglais, leurs vocabulaires sont optimisés pour cette langue. Une phrase en espagnol nécessite généralement entre 15 % et 30 % de tokens de plus que son équivalent en anglais. Par exemple, le mot « biodégradable » en anglais peut être un seul token, tandis qu'en espagnol, il pourrait être divisé en « bio », « degrad » et « able ». Cela impacte directement le coût des API pour les utilisateurs hispanophones, bien que les modèles plus récents (comme GPT-4o) aient réduit cet écart en élargissant leur vocabulaire multilingue.

Deuxièmement, analysons l'impact sur le développement logiciel. Le code source, en particulier dans des langages comme Python, contient de nombreux symboles, espaces et indentations. Les tokeniseurs modernes ont été ajustés pour regrouper les nombres et gérer la syntaxe de programmation de manière plus efficace. Un bloc de code de 100 lignes peut consommer beaucoup plus de tokens qu'un paragraphe de prose de même longueur visuelle, en raison de la densité de symboles et de la structure stricte. C'est crucial pour les outils d'IA qui assistent à la programmation, où le contexte de code peut épuiser rapidement la fenêtre de contexte.

Troisièmement, examinons un cas de service client automatisé. Un chatbot qui maintient un historique de conversation renvoie tout le contexte précédent à chaque nouvelle interaction. Si une conversation a 50 messages, le 51e message traitera les tokens des 50 précédents plus le nouveau. Cela fait que la consommation de tokens croît de manière non linéaire. Optimiser l'historique (par exemple, en résumant les anciens messages) est une technique clé pour réduire les coûts et améliorer la vitesse de réponse dans les systèmes de longue durée.

Comment évaluer le résultat et gérer les limites

La gestion des tokens est critique pour la conception des applications d'IA. Chaque modèle a une fenêtre de contexte maximale, qui est la limite totale de tokens (entrée + sortie) qu'il peut traiter en une seule interaction. Si le texte dépasse cette limite, le système peut rejeter la requête, tronquer l'information ou perdre le contexte initial (effet d'amnésie). Pour évaluer le résultat, les développeurs doivent surveiller l'utilisation des tokens par interaction et la projeter au volume total d'utilisateurs.

La complexité computationnelle des modèles basés sur Transformers échelle quadratiquement (O(n²)) avec la longueur de la séquence. Cela signifie que doubler la longueur du texte quadruple le travail de calcul nécessaire pour le mécanisme d'attention. Par conséquent, les fenêtres de contexte très larges (comme celles de 128 000 ou 200 000 tokens) nécessitent du matériel spécialisé et consomment beaucoup plus de mémoire RAM sur les GPU. Une fenêtre large ne garantit pas une meilleure compréhension ; souvent, les modèles fonctionnent mieux avec des contextes plus concis et pertinents.

Erreurs courantes et limites

Une erreur courante est de supposer que 1 mot équivaut à 1 token. Cette supposition sous-estime la consommation réelle, en particulier dans les langues à morphologie complexe ou dans les textes techniques. Une autre erreur fréquente est d'ignorer le coût des tokens de sortie, qui sont souvent plus chers que ceux d'entrée car le modèle doit calculer les probabilités séquentiellement, tandis que l'entrée est traitée en parallèle.

De plus, de nombreux utilisateurs ne considèrent pas que les espaces, les sauts de ligne et les émojis consomment également des tokens. Un émoji, par exemple, peut se décomposer en plusieurs tokens en raison de son encodage UTF-8. Enfin, c'est une erreur de croire que la fenêtre de contexte est une mémoire permanente. Le modèle ne « se souvient » pas des conversations passées à moins que ce contexte ne lui soit explicitement renvoyé à chaque nouvelle requête. La gestion efficace des tokens nécessite une stratégie d'ingénierie de prompts qui équilibre la précision et l'économie de ressources.

Questions fréquentes et sources primaires

Pourquoi facture-t-on par tokens et non par mots ? Parce que le coût de calcul dépend des opérations sur les vecteurs numériques. Pour le matériel, traiter n'importe quel token (qu'il contienne 2 ou 10 caractères) nécessite le même effort de calcul de base, de sorte que la facturation par token reflète avec précision l'utilisation des ressources.

Qu'est-ce qu'un tokeniseur ? C'est l'algorithme ou l'outil qui divise le texte en tokens. Des exemples incluent le BPE (utilisé par GPT), WordPiece (utilisé par BERT) et SentencePiece. Chaque tokeniseur a un vocabulaire spécifique, de sorte que le même texte peut avoir un nombre différent de tokens dans différents modèles.

La documentation technique de Microsoft et les études académiques sur l'architecture Transformer confirment que la tokenisation est l'étape fondamentale qui permet aux modèles de langage d'opérer sur des données structurées, posant les bases de la génération de langage naturel et de la recherche sémantique.

Concepts associés