Was ein Kontextfenster ist und was passiert, wenn es voll wird

Ein Modell hat zwischen zwei Anfragen kein Gedächtnis. Alles, was es über Ihre Unterhaltung weiss — die Systemanweisungen, jede Nachricht von beiden Seiten, jede angehängte Datei, jedes Werkzeugergebnis — wird bei jeder einzelnen Runde erneut mitgeschickt. Dieses Bündel ist das Kontextfenster, und es wird in Tokens gemessen, nicht in Wörtern oder Zeichen.

Diese eine Tatsache erklärt das meiste von dem, was Menschen an diesen Systemen seltsam finden.

Ein Budget, kein Aktenschrank

Eine Datei anzuhängen legt sie nirgendwo ab. Sie kommt ins Bündel und bleibt dort für den Rest der Unterhaltung — in Runde vierzig kostet sie genauso viel wie in Runde eins. Zehn PDFs „für alle Fälle“ sind keine kostenlose Absicherung, sondern eine dauerhafte Abgabe auf jede weitere Anfrage.

Wie „voll“ tatsächlich aussieht

Es kündigt sich selten an. Was Sie stattdessen sehen:

• Anweisungen von früher in der Unterhaltung werden nicht mehr befolgt.
• Es fragt Dinge erneut, die Sie bereits beantwortet haben.
• Antworten werden vager und allgemeiner, als arbeite es mit einer Zusammenfassung Ihres Problems statt mit dem Problem.
• In einem Agenten-Werkzeug wiederholt es Arbeit, die es schon erledigt hat.

Die Qualität sinkt lange vor der harten Grenze. Wenn eine Fehlermeldung kommt, haben Sie meist schon eine Weile schlechtere Antworten bekommen.

Zum Ausprobieren

Fragen Sie mitten in einer Unterhaltung: „Ohne zurückzuscrollen — welche Einschränkung habe ich dir genannt?“ Ist die Antwort falsch oder ausweichend, ist diese Einschränkung aus der wirksamen Aufmerksamkeit gefallen. Das ist Ihr Signal, nicht irgendein Zähler.

Was schiefgeht

Eine lange Unterhaltung für gesammelte Erfahrung halten. Es fühlt sich an, als lerne das Modell Ihr Problem kennen. Tut es nicht. Es bekommt ein längeres und lauteres Bündel. Nach zwanzig Runden ist eine frische Unterhaltung mit einer guten Zusammenfassung meist besser als weitermachen.

Alles vorab anhängen. Der Reflex, „vollständigen Kontext“ zu geben, ist genau der Reflex, der die Antwort verschlechtert. Geben Sie die drei Dateien, auf die es ankommt.

Das mit Erinnerung verwechseln. Funktionen, die über Unterhaltungen hinweg bestehen, sind ein eigener Mechanismus: Sie schreiben etwas auf und fügen es erneut ein. Das Kontextfenster selbst erinnert sich an nichts, sobald die Anfrage vorbei ist.

So prüfst du das Ergebnis

Nachdem Sie Geladenes reduziert haben, stellen Sie die Frage erneut, bei der es schieflief. Wird die Antwort besser, war der Kontextdruck das Problem. Wird sie nicht besser, haben Sie ein Prompt-Problem oder eine ehrlich schwierige Frage, und das Umsortieren von Anhängen behebt keines von beiden.