Ein Kontextfenster für eine lange Aufgabe budgetieren

Worum es geht

Das Kontextfenster ist alles, was das Modell bei einem Aufruf sieht: System-Prompt, Werkzeugdefinitionen, der bisherige Gesprächsverlauf einschliesslich Werkzeugergebnisse und die von ihm erzeugten Token. Die Anbieterdokumentation zu Kontextfenstern beschreibt, wie diese Bestandteile auf die Grenze angerechnet werden, und nennt serverseitige Kompaktierung als Strategie für Gespräche, die sich der Grenze nähern. Zwei Eigenschaften machen das Fenster zu einem Budget statt zu einem blossen Behälter. Das zitierte Paper zu langen Kontexten berichtet, dass die Leistung häufig am höchsten ist, wenn relevante Informationen am Anfang oder Ende der Eingabe stehen, und abnimmt, wenn sie in der Mitte liegen. Der zitierte technische Beitrag von Anthropic nennt denselben Effekt Context Rot: Mit zunehmender Tokenzahl im Fenster sinkt die Fähigkeit des Modells, Informationen daraus abzurufen.

Warum es wichtig ist

Eine lange Aufgabe (ein dateiübergreifendes Refactoring, ein Recherchebericht, eine Migration) erzeugt weit mehr Text, als in einem gegebenen Moment gebraucht wird. Ohne Budget füllt sich das Fenster mit altem Werkzeugergebnis, die früh gegebene Anweisung liegt jetzt in der Mitte, und die Antwort wird von der Ausgabegrenze abgeschnitten. Jeder dieser Fälle ist ein stiller Fehlschlag: es tritt kein Fehler auf, das Ergebnis wird einfach schlechter.

So wird es angewendet

• Das Budget in vier Teile aufteilen und jedem eine Grösse geben: fest (System-Prompt, Werkzeugdefinitionen), Aufgabenmaterial (die Spezifikation, die betroffenen Dateien), Arbeitsmenge (aktuelle Werkzeugergebnisse, höchstens wenige Schritte tief) und Reserve (die längste Antwort, die die Aufgabe erfordern kann, plus Platz für eine weitere Werkzeugrunde).
• Die Spezifikation und die Abnahmekriterien an den Anfang stellen; das aktuelle Teilziel am Ende jeder Runde erneut nennen, damit die beiden Enden das Wichtige tragen.
• Plan, Fortschritt und Entscheidungen in einer Notizdatei halten, die der Agent laufend überschreibt, und diese nach jeder Kompaktierung neu laden; Kompaktierungszusammenfassungen sind verlustbehaftet und sollten nicht die einzige Kopie sein.
• Einen Kompaktierungspunkt deutlich unter der Grenze setzen und nach Absicht kompaktieren (was entschieden wurde, was noch offen ist), nicht nach zeitlicher Abfolge.
• Die Nutzung anhand der Token-Zählungen der anbietenden Seite bei jedem Aufruf verfolgen und die Aufgabe übergeben oder aufteilen, sobald die Arbeitsmenge auch nach Kompaktierung nicht mehr hineinpasst.
• Mehrere fokussierte Aufgaben mit frischem Kontext einem einzigen Kontext vorziehen, der alles mitträgt.

Stolpersteine

Das Fenster füllen, nur weil es gross ist. Die Abnahmekriterien wegkompaktieren. Die Ausgabegrenze aus Gewohnheit setzen und dadurch die Schlussantwort abschneiden. Einer Kompaktierungszusammenfassung vertrauen, die eine offene Frage fallen liess, sodass diese danach als geklärt erscheint.