Wiederabspielbare Ausführungsprotokolle für Agenten: jeden Modell- und Werkzeugaufruf aufzeichnen

Worum es geht

Ein wiederabspielbares Protokoll ist eine Aufzeichnung eines Agentenlaufs, aus der jeder Schritt rekonstruiert werden kann: die exakte an das Modell gesendete Anfrage (System-Prompt, Nachrichten, Werkzeugdefinitionen, Sampling-Parameter), die Antwort (Inhalt, Werkzeugaufrufe, Stop-Grund, Nutzung) sowie für jeden Werkzeugaufruf dessen Argumente, Ergebnis und Fehlerstatus, in Reihenfolge und mit Zeitstempeln. Die GenAI Semantic Conventions von OpenTelemetry definieren dafür Attributnamen; sie sind weiterhin als «in Entwicklung» markiert und liegen inzwischen in einem eigenen Repository semantic-conventions-genai, während die Attributregistrierung auf opentelemetry.io sie mit einem Hinweis auf den Umzug führt. Dazu gehören gen_ai.request.model, gen_ai.request.temperature, gen_ai.request.seed, gen_ai.response.id, gen_ai.response.finish_reasons, gen_ai.usage.input_tokens, gen_ai.usage.output_tokens, gen_ai.tool.call.id, gen_ai.tool.call.arguments, gen_ai.tool.call.result und gen_ai.conversation.id zur Gruppierung. Evaluationsrahmenwerke halten dieselben Informationen pro Sample fest; Inspect etwa schreibt für jede evaluierte Aufgabe eine Protokolldatei und stellt sie als EvalLog-Objekt bereit.

Warum es wichtig ist

Modellausgaben sind nicht deterministisch, Werkzeugergebnisse ändern sich mit der Welt, und ein Lauf kann Hunderte von Schritten umfassen. Ohne das Protokoll lässt sich «der Agent hat die falsche Datei gelöscht» nicht auf den Schritt zurückführen, in dem der falsche Pfad in den Kontext gelangte. Mit ihm kann die Anfrage, die zu einer schlechten Entscheidung führte, wörtlich erneut gesendet werden, um eine Prompt-Korrektur zu testen, und Werkzeugergebnisse können aus dem Protokoll simuliert werden, sodass der Rest des Laufs ohne Nebeneffekte erneut abläuft.

So wird es angewendet

• An der Grenze protokollieren, an der die Anfrage den Prozess verlässt, nicht anhand der Prompt-Vorlage: massgeblich sind die tatsächlich gesendeten Bytes.
• Jedem Lauf eine ID geben und jedem Schritt eine Sequenznummer; Werkzeugergebnisse über die Werkzeugaufruf-ID verknüpfen statt sich auf die Reihenfolge zu verlassen.
• Vollständige Inhalte speichern, aber Geheimnisse und Personendaten vor dem Schreiben schwärzen (dieselben Regeln wie für Anwendungsprotokolle) und eine Aufbewahrungsfrist festlegen.
• Die Antwort-ID festhalten und, wo der Anbieter eine anbietet, eine Version oder einen Fingerabdruck des ausgelieferten Modells.
• Einen Replay-Modus aufbauen: Anhand eines Protokolls liefert der Harness aufgezeichnete Werkzeugergebnisse für identische Aufrufe und markiert Aufrufe, die von der Aufzeichnung abweichen.
• Dieselben IDs in Traces und Metriken verwenden, damit Kosten- und Latenz-Dashboards zu einem Transkript zurückführen.

Stolpersteine

Nur die endgültige Antwort zu protokollieren. Werkzeugergebnisse im Protokoll abzuschneiden, was die eingeschleuste Anweisung oder die fehlerhafte Payload verbirgt, die den Fehler verursacht hat. Ein Replay gegen ein Live-Modell als deterministisch zu behandeln: Der Replay reproduziert die Eingaben, nicht die Entscheidung. Protokolle, die bei jedem Schritt die gesamte Dokumentmenge wiederholen, wachsen schnell; nach Inhalts-Hash deduplizieren.