Definizione in una frase
Quantità massima di token che un modello può considerare tra input, storico, strumenti e output in una richiesta.
Come interpretare questo concetto
La finestra di contesto limita la sequenza che un modello può elaborare in un'interazione. A seconda dell'API e del modello, il budget può includere istruzioni, storico, documenti, risultati di strumenti e output. Il massimo di input e il massimo di generazione non devono essere confusi: è necessario consultare entrambi i limiti nella documentazione specifica.
Una finestra grande non garantisce che il modello utilizzi tutti i dettagli con la stessa affidabilità. Includere materiale irrilevante può aumentare costo e latenza, e troncare senza criterio può eliminare una condizione essenziale. È opportuno riservare spazio per la risposta, priorizzare le prove e conservare la provenienza dei frammenti selezionati.
Esempio pratico: nell'analizzare un contratto lungo, non basta verificare che il file rientri nei limiti. È necessario includere allegati applicabili, istruzioni e domande, e verificare che la risposta rispetti eccezioni sparse. Se il documento viene diviso, l'applicazione deve controllare quali parti sono rimaste fuori; riassumere o tagliare non equivale a preservare integralmente il contenuto.
