Definition in einem Satz
Maximale Anzahl an Tokens, die ein Modell in einer Anfrage zwischen Eingabe, Verlauf, Tools und Ausgabe berücksichtigen kann.
So ist dieser Begriff zu verstehen
Das Kontextfenster begrenzt die Sequenz, die ein Modell in einer Interaktion verarbeiten kann. Je nach API und Modell kann das Budget Anweisungen, Verlauf, Dokumente, Tool-Ergebnisse und Ausgabe umfassen. Das Eingabe-Maximum und das Generierungs-Maximum sollten nicht verwechselt werden: Beide Grenzen müssen in der spezifischen Dokumentation konsultiert werden.
Ein großes Fenster garantiert nicht, dass das Modell alle Details mit derselben Zuverlässigkeit verwendet. Das Einbeziehen irrelevanter Materialien kann Kosten und Latenz erhöhen, und das willkürliche Abschneiden kann eine wesentliche Bedingung entfernen. Es ist sinnvoll, Platz für die Antwort zu reservieren, Evidenz zu priorisieren und die Herkunft der ausgewählten Fragmente zu erhalten.
Praktisches Beispiel: Bei der Analyse eines langen Vertrags reicht es nicht, zu prüfen, ob die Datei passt. Es müssen anwendbare Anhänge, Anweisungen und Fragen einbezogen und überprüft werden, ob die Antwort verstreute Ausnahmen respektiert. Wenn das Dokument aufgeteilt wird, muss die Anwendung kontrollieren, welche Teile ausgeschlossen wurden; Zusammenfassen oder Kürzen ist nicht gleichbedeutend mit der vollständigen Erhaltung des Inhalts.
