Définition en une phrase
Quantité maximale de jetons qu'un modèle peut prendre en compte entre l'entrée, l'historique, les outils et la sortie dans une requête.
Comment interpréter ce concept
La fenêtre de contexte limite la séquence qu'un modèle peut traiter dans une interaction. Selon l'API et le modèle, le budget peut inclure des instructions, un historique, des documents, des résultats d'outils et une sortie. Le maximum d'entrée et le maximum de génération ne doivent pas être confondus : il faut consulter les deux limites dans la documentation spécifique.
Une grande fenêtre ne garantit pas que le modèle utilise tous les détails avec la même fiabilité. Inclure du matériel non pertinent peut augmenter le coût et la latence, et tronquer sans critère peut éliminer une condition essentielle. Il est préférable de réserver de l'espace pour la réponse, de prioriser les preuves et de conserver la provenance des fragments sélectionnés.
Exemple pratique : lors de l'analyse d'un long contrat, il ne suffit pas de vérifier que le fichier tient. Il faut inclure les annexes applicables, les instructions et les questions, et vérifier que la réponse respecte les exceptions dispersées. Si le document est divisé, l'application doit contrôler quelles parties sont restées en dehors ; résumer ou couper n'équivaut pas à préserver intégralement le contenu.
